Гугл игнорирует роботс.тхт

Повторю и я свой вопрос:

:)

Сниппет и сохранённая копия есть только у страниц индексация которых была задумана.

sirota77 добавил 06.11.2010 в 23:13

зы:

поспешил с ответом, сниппет и копия есть только у некоторых что должны быть проиндексированы

sirota77 добавил 06.11.2010 в 23:17

bober, в роботсе всё просто и правильно

проверка robots.txt в инструментах веб-мастеров выдаёт ожидаемые результаты

Что и требовалось доказать. Робот на страницы не ходил, но знает о них по ссылкам, выдает в поиске только их урлы. Это баян.

По-видимому, у Google другое мнение.

Kost, спасибо просвятили.

http://kill-your-time.com/robots.txt

Если я правильно понимаю, проблемы только с директориями /admin/ (они, кстати, не имеют сниппета и кэша) и поддиректориями типа /user/password/? Или еще что-то?

Насчет /admin/ - в ней нет файлов (а если есть - то они успешно запрещены), а есть только поддиректории, которые и вылезают, и на которые, видимо, где-то есть ссылки без заключительного слэша.

То же самое насчет /user/blah-blah/.

Я бы попробовал так:

Все ИМХО.