Гугл индексирует запрещенные директории?!

Alex GT, пора подавать иск :d

А что именно появилось в индексе? Кеш есть? Или только урлы? Если урлы, то это обычная картина, а вот если еще и кеширует, то надо смотреть более пристально

2 svift

проблема в том, что в индексе гугла появились странички с редиректами. Они не содержат контента, только тупой редирект в мета теге. поэтому сказать, что это, просто урлы или кэш не могу.

Проблемка в том, что ведь мета редирект сильно не любят поисковики и гугл в частности.

Не повлияет ли это на мою основную часть сайта?

Хотя, хотя по логам, робот на эти страницы вроде бы не заходит. Хотя, на парочку зашел.

ИМХО Гугля начинается проявлять игнор к Robots.txt

была замечена похожая трабла...

Alex GT, да смысл в том, что можно закрыть директории/файлы файлом robots.txt, можно поставить на ссылки rel=nofollow - но Google будет заносить запрещенные урлы в базу, однако ни кеша у таких адресов не будет, ни в выдаче их не встретишь... то есть то что по запросу site:domen.com Google выдает кучу запрещенных урлов без снипета - это не такая уж страшная беда... надо просто принять это как факт и не парится... у меня такое было, когда определенные служебные урлы были закрыты в robots.txt + ссылки на них если и были, то были с nofollow - но Гугля их упорно съела, однако в выдаче их нет и картину они не портят...

Но тем не менее автоматические пауки обязаны (причем насколько я слышал, не 100% что правда, но именно обязаны) слушаться robots.txt. Ну, в реале то понятно, что просто умный очень и с черными оптимизатоарми так борется. %)

Так вот писались на них абузы пару раз - пишут, что извиняются за ошибку скрипта и что больше не повторится. :)

Alex GT, выводов делать не буду, опишу факт.

На крупном сайте две недели стоял robots.txt полностью запрещающий индексацю. Трафик с Гугля (ок. 300 чел/день) не уменьшился. Гугль индексировал сайт каждый день.

А не факт, что роботы его не слушаются. Файл запрещает обращение к документам, но Гугль часто публикует их URL'ы и может даже неплохо ранжировать благодаря ссылочному. Использовать ведь информацию о внешних ссылках на документ файл robots.txt ведь не запрещает.

Конкретно в моем случае это, скорее всего, не так - весь трафик идет по низкочастотникам, в тексте ссылок они наверняка нигде не упоминаются.

Может быть, Гуглю нужно больше времени (например, месяц), чтобы начать выполнять директиву robots.txt?

А вы поглядите на даты кешей этих страниц - наверняка они посещались роботом еще до появления запрещающих директив