Сотрудник Google Гэри Илш назвал «глупой идеей» повторную блокировку страниц от индексирования в robots.txt после того, как их сканирование было временно разрешено (после блокировки), чтобы поисковик увидел атрибут noindex.
Обсуждение на эту тему завязалось после очередного твита Илша. Он опубликовал напоминание о том, что краулеры, подчиняющиеся директивам в robots.txt, не увидят noindex на странице, если эта страница закрыта от сканирования.
your periodic reminder that crawlers that obey robotstxt won't see a noindex directive on a page if said page is disallowed for crawling.
— Gary 鯨理／경리 Illyes (@methode) 25 марта 2021 г.
prompted by https://t.co/i7ouMoqNT6 which was answered by @patrickstox pic.twitter.com/98NLF2twz1
После этого один из специалистов написал, что в SEO-сообществах он часто видит рекомендацию временно разблокировать страницу, чтобы краулеры могли ее просканировать и увидеть noindex, а затем снова заблокировать ее для поисковых роботов. Он отметил, что с его точки зрения, это не имеет смысла.
Илш согласился с ним и написал, что он бы не добавлял повторно директиву disallow на страницы после того, как они были просканированы. «Это звучит как глупая идея».
yeah i wouldn't re-disallow the pages once they were crawled. that sounds like a silly idea
— Gary 鯨理／경리 Illyes (@methode) 25 марта 2021 г.
