Google обнаруживает призрачный robots.txt

GZ
На сайте с 07.12.2012
Offline
59
641

Отправил на проверку в Вебмастере все карты сайта, которые есть. Форум работает на SMF, установлены модули, которые генерируют sitemap отдельно на изображения, на wap-версию и на сообщения, темы и разделы. Перед отправкой я создал robots.txt и внес туда параметры индексирования, чтобы это не повлияло на нагрузку сервера. Начал замечать, что в поиске Google результатов сайта все меньше и меньше. Вебмастер выдал предупреждения:

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt
Проблем 1652

Удалил этот robots.txt, снес все сайтмапы в Вебмастере и снова все загрузил. На следующий день ситуация совершенно не изменилась, следовательно, форум не индексируется. Как определить каким это образом Google-bot пытается проиндексировать форум, натыкаясь при этом на robots.txt, который был удален? Возможно ли отследить механизм индексации, чтобы понять, на что именно натыкается поисковый бот?

Вообще странно получается: очень часто google-bot игнорировал robots.txt, это по практике на других сайтах, а тут какая-то абсурдная ситуация получается. Может, сервер создает какой-то блок для поисковой системы, чтобы снизить нагрузку? Такое может быть?

evildevel
На сайте с 14.11.2011
Offline
39
#1

Нечто похожее я описал в своей теме, буду рад если кто-то откликнется.

evildevel.com (http://evildevel.com)
Trafikgon
На сайте с 24.10.2008
Offline
174
#2

Уменя такая проблема была я сразу понял что это хостинг ...... исправили

. (#)
evildevel
На сайте с 14.11.2011
Offline
39
#3
Trafikgon:
Уменя такая проблема была я сразу понял что это хостинг ...... исправили

Это не хостинг 100%. мой сервак работает как часы =) Проблема в чем то другом, подозреваю, что в гугле.

Villis
На сайте с 29.07.2011
Offline
76
#4
evildevel:
Это не хостинг 100%. мой сервак работает как часы =) Проблема в чем то другом, подозреваю, что в гугле.

Согласен! Похоже гугля не любит, когда ему что то не разрешают, он сам любит определять, что важно, а что нет. Например, поставил роботс, т.к. пс выдавал в поиск не релевантную страницу. В роботсе я её запретил. Прошло две недели, все это время гугл ругался, что роботс запрещает ВАЖНЫЕ страницы! При этом, ненужную страницу из индекса не выкинул, а продолжал считать её правильной. Тогда я в принудительном порядке, подал запрос на удаление. На следующий день страница выпала из индекса, но гугл теперь ругается на то, что важные страницы удалены и запрещены в роботсе. Что за нах? Я владелец сайта, это моё дело какие страницы предоставлять поисковой системе! В общем, прошло уже месяц, ситуация в гвм не меняется, напротив сайта стоят восклицательные знаки. Имхо гугл охренел вконец! Мало ему пингвинов разных, он теперь и на роботс хезает!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий