Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Что не так в роботс.тхт?

U
На сайте с 02.11.2009
Offline
74
untee
277

http://antidroid.net/robots.txt

Просто в гугле вот такая байда выскакивает "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. "

http://www.google.ru/search?hl=ru&q=site:antidroid.net&newwindow=1&filter=0

Вот я хочу понять, что-то в роботс не так или это из-за того, что сайт некоторое время был закрыт для индексации, и именно тогда гугл мой роботс и схавал..?

P.S. может еще какие замечания будут по роботс...

denden11
На сайте с 29.06.2005
Offline
94
denden11
#1

в гугле webmaster есть Заблокированные URL - проверьте ваш роботс там, и если он нормальный, то причина в том сайт некоторое время был закрыт для индексации

а если не нормальный - то он вам покажет какая строка роботс закрывет его от индексирования

Закрыть от индексации в Борьба с дублями на Закрытие от индексации и
SeoWebC
На сайте с 09.05.2012
Offline
78
SeoWebC
#2
untee:
http://antidroid.net/robots.txt

Просто в гугле вот такая байда выскакивает "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. "
http://www.google.ru/search?hl=ru&q=site:antidroid.net&newwindow=1&filter=0

Вот я хочу понять, что-то в роботс не так или это из-за того, что сайт некоторое время был закрыт для индексации, и именно тогда гугл мой роботс и схавал..?

P.S. может еще какие замечания будут по роботс...

рааслабьтесь обойдет поисковик роботс новый и все ок будет это из за того что вы сайт закрыли роботсом и получилось что из за этого поисковик не может сформировать сниппет

по поводу роботса следующие поправки

User-agent: *

Disallow: /wp-includes

Disallow: /share42

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-content/uploads

Disallow: /page*

Disallow: /2012

User-Agent: Googlebot

Disallow: /wp-includes

Disallow: /share42

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-content/uploads

Disallow: /page*

Disallow: /2012

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /author*

Disallow: /page*

Disallow: /2012

Disallow: */feed

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Sitemap: http://antidroid.net/sitemap.xml

Host: antidroid.net

Вопрос по robots.txt Грамотный robots.txt для яндекса Как запретить в роботсе

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий