ПС и директива Disallow

На 100% сказать не могу, но, вроде бы, ходят. Иногда даже каким-то боком запрещенные к индексации страницы появляются в кеше, если память не изменяет и я внимательно смотрел когда проверял.

Но, все это не факт, возможно я "не так" смотрел что-то.

Лазиют иногда. К тому же у ПС много разных ботов, например есть предположение, что у каждой крупной ПС есть "бот-шпион", который кладёт болт на любый запретительные директивы в роботсе и ищет любые косяки на всех страницах сайта. Раньше про яшиного "шпиона" частенько писали.

Еще как ходят и все записывают... вот по 403 ответу они не ходят... а роботс это рекомендация как бы...

Это да. У меня яша все страницы с мета noindex добавил, которые составили 60% от общего кол-ва. Я написал в службу, они ответили - разберемся. А в то время на те странички(метки в wp) траф небольшой пошел, думаю пусть разбираются, а noindex пока отключу. Все равно яше пофиг :)

Ну даже не знаю. Таким образом можно только один "косяк" найти - клоакинг.

А интересовало меня это потому как думаю закрыть страницы "/page/" в блоге от индексации, но не знаю будут ли дотягиваться ПС до ранних записей. Перелинковки нет, карт тоже нет.

Упреждение:

Все что было проин... закачано роботом - проверяется! Я однажды так косякнул!

По этой причине:

1.Все что не используется с сервера удаляйте.

2.Все что удалено должно давать 404

3.Все что не хотите показывать должно показывать 403ъ

И не путайте загружено с индексом... загружено не показывают по запросу пользователя, но не значит что не посещают!