Переходит ли робот по ссылкам со страниц запрещенных в robots.txt?

Во всех трех вариантах боты забивают на запрет, т.е. - по ссылкам ходят. Запрет в роботе, по факту запрещает только индексировать контент, сканировать (т.е. ползать по странице и ссылкам) не запрещает. Ноиндекс, фолоу - то же самое. Ноуиндекс, ноуфолоу, вроде как должен запрещать и сканирование, но игнорируется.

Слышал мнение, что нужно по возможности сократить количество заблокированного в robots.txt, т.к. сайт могут посещать не только роботы ПС, но и роботы всяких агрегаторов и проч.нечисть - они могут специально сканировать закрытые страницы в поисках уникального контента с целью разместить его у себя.

Как страшно жить...

Пруф?

Не "вроде как должен", а запрещает.

Если что, ответ Платона:

"Если страница закрыта от индексирования в robots.txt, робот не посещает такую страницу и не скачивает ее содержимого, в том числе и ссылки."

Смотрю тема использования robots.txt будоражит не только мой мозг. )

У Гугла есть инструмент проверки удобства сайта для пользователей мобильных устройств. Проверял я там один сайт, где в роботс тхт закрыт каталог с темой сайта.

Так после анализа сайт на скрине (на стр анализа) отображается без стилей. Что это значит, что робот не может перейти в каталог темы и считать файлы стилей.

Но когда тестим, через PageSpeed Insights, то сайт на скрине отображается нормально, все стили читаются.

Более скажу, видел страницы в индексе Гугла, по которым шло ранжирование и которые были закрыты в роботсе. на них была крепкая ссылочная масса. Так что роботс не следует воспринимать никак иначе, кроме как "рекомендацию".

1. Страницы могли уже находиться в индексе, их закрыли в robots, но им нужно будет время, чтобы вылететь из индекса.

2. При обходе роботом сайта robots мог быть недоступен, составлен некорректно и робот обошел сайт без него.

Какой смысл поисковым системам придумывать инструменты для вебмастеров, а потом игнорировать их? Просто бы не давали бы возможности пользоваться таким функционалом как robots.

Да и тем более никто не будет закрывать в robots важные страницы сайта, которые могут генерировать траф, это чушь.

На каждом проекте используем robots и на каждом проекте он отрабатывает нормально. Я вам могу привести множество примеров адекватной работы этого файла, попробуйте привести хоть парочку с косячной работой...

Дело в том, что у меня, например, страницы с переадресацией Китайцы прогнали по каталогам, сделав переадресацию на дорвей. И совсем скоро прилетел бан от Яндекса с пометкой "мобильный редирект на опасные страницы".

Ну да, могли по поведенческим определить. Мог не основной робот зайти, а какой-то дополнительный. Но факт в том, что глупо думать, что можно скрыть что-то от ПС обычным запретом в роботс. Нужно будет - проверят хоть даже вручную.

Во-первых, не Яндексом единым. Во-вторых

Это и есть, последствие

Или, если хотите так

Ну и третье, вопрос был не про индексацию страниц, и вывод их в поиск по контенту, а ползают ли ним боты, переходят ли по ссылкам. Понаблюдайте за логами на сервере, и вы убедитесь, что по этим страницам боты шуршат, ровно с той же активностью что и по любым другим.

Но ТС почему-то изменил вопрос :)

Это все из разряда гадания, мое мнение что ходят, но страницы не индексируются, для экономии ресурсов.

Кроме роботса пауку нужно еще думать о ловушках, так что если вы не удачно сделаете бесконечный генератор странц, то сайт может вообще никогда не загрузиться :D

Я вечером сюда вам вышлю пример такого роботс тхт, где главная стр. закрыта для бота, но сайт в топе