Как узнать что нет в robots.txt

webdizn
На сайте с 05.04.2010
Offline
106
505

Решил проверить индексацию форума, по запросу в google(запрос: http://msaveliev.ru/f/?mingleforumaction=viewtopic&t=1.2#postid-33) показывает сообщение, что "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" сам robot.txt вот


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Host: msaveliev.ru

Sitemap: http://msaveliev.ru/sitemap.xml.gz
Sitemap: http://msaveliev.ru/sitemap.xml

Либо самого описания нет, или надо в ручную забить разрешение на индексцию msaveliev.ru/f/ ?

https://al-site.ru - обзоры конструкторов сайтов
satellitmaker
На сайте с 04.08.2011
Offline
90
#1

Точно не уверен, но мне кажется причина в этом:


Disallow: /*?*

У Вас в урлах есть знак вопроса вот оно и попадает под правило.

попробуйте в роботсе убрать строку и проверить robots в вебмастерсе яндекса или гугла.

CH
На сайте с 27.10.2008
Offline
56
#2
TF-Studio
На сайте с 17.08.2010
Offline
334
#3

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий