Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Гугл жестко игнорирует файл robots.txt.. и не хочет сканировать сайт. Что делать?

Chelsea
На сайте с 30.01.2013
Offline
99
Chelsea
1897

Друзья профессионалы, помогите плиз - в вебмастере гугла появилось такое сообщение - "Google не удалось просканировать ваш сайт, так как закрыт доступ к файлу robots.txt"

Я что-то не могу найти причину того почему этот доступ закрыт, файл роботс ведь есть в корне сайта!

Когда проверяю ссылки в "Посмотреть как Гуглбот", выдает "Переадресовано". Переадресовывет вот сюда : http://www.сайт.com/http:/www.сайт.com/robots.txt

Друзья, есть мысли по этому поводу?

Что интересно - в Яндексе все ок..

Matman
На сайте с 05.06.2010
Offline
148
Matman
#1

Для разных роботов скорее всего разный disallow

сайт на чем. кто написал robots вы или плагин ?

скорее всего ошибка в файле.

Buylink.pro (https://buylink.pro/) - качественные вечные ссылки
Chelsea
На сайте с 30.01.2013
Offline
99
Chelsea
#2
Matman:
Для разных роботов скорее всего разный disallow
сайт на чем. кто написал robots вы или плагин ?
скорее всего ошибка в файле.

Сайт на вордперсе

Роботс скопирован с рекомендаций

Вот сам файл, кажись одинаков как для Я. так и для Г

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /author/

Disallow: /*?*

Disallow: /?s=

Disallow: /tag

Disallow: /tag/*

Disallow: */tags/

Disallow: /category

Disallow: /archives/tag/

Disallow: /2013/*

Disallow: /page/*

Disallow: */page/*

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /feed/

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /author/

Disallow: /*?*

Disallow: /?s=

Disallow: /tag

Disallow: /tag/*

Disallow: */tags/

Disallow: /category

Disallow: /archives/tag/

Disallow: /2013/*

Disallow: /page/*

Disallow: */page/*

Host: www.сайт.com

Sitemap: http://сайт.com/sitemap.xml

Sitemap: http://сайт.com/sitemap.xml.gz

Составление файла robots.txt 9 советов по оптимизации Google: URL, заблокированные через
PC
На сайте с 28.08.2007
Offline
83
PapaCarlo
#3

User-agent: Yandex

и

User-agent: *

Где же одинаков?

Chelsea
На сайте с 30.01.2013
Offline
99
Chelsea
#4
PapaCarlo:
User-agent: Yandex
и
User-agent: *
Где же одинаков?

Символ " * " указывает правила индекисрования для всех поисковых роботов, для Яндекса указывают отдельно. Ну так пишут во всех мануалах по составлению файла robots.txt..

Надеюсь это правильно

Matman
На сайте с 05.06.2010
Offline
148
Matman
#5

Посмотрел сайт. Страницы в индексе гугл.

Возможно глюк в панели вебмастера.

Во всяком случае проблема не большая на индекс не влияет.

но попробуйте создать отдельные правила и для гугл-бота.

Пускай тоже будут.

У меня к примеру такие:

User-agent: Googlebot
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /author/*
Disallow: /trackback
Disallow: */trackback
Disallow: */comments
Disallow: */attachment/*
Disallow: /*?*
Disallow: /*?
Disallow: */stati
Disallow: */tag/*
Google рассказал, как 500 Google: обновления основного алгоритма Яндекс.Поиск для сайта: дополнительный

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий