Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

«Стоит помнить, что если эти страницы заблокированы в robots.txt, тогда теоретически возможна ситуация, когда кто-то случайно сошлётся на одну из них. И если это произойдёт, то мы можем индексировать эту страницу без контента, поскольку она заблокирована в robots.txt…

Поэтому, если на этих страницах есть что-то, что вы не хотите, чтобы было проиндексировано, тогда не отклоняйте их, а используйте метатег noindex», - заявил гуглер.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

https://youtu.be/rx9WslZH2ag

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.

Источник: Search Engine Journal
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Яндекс.Директ дополнит статистику новыми моделями атрибуции конверсий

Яндекс.Директ дополнит статистику новыми моделями атрибуции конверсий

В самое ближайшее время в статистике Яндекс...
preview Google тестирует новые варианты оформления Posts on Google в результатах поиска

Google тестирует новые варианты оформления Posts on Google в результатах поиска

Пользователи заметили, что в результатах поиска Google тестируются три новых варианта оформления записей от компаний, сделанных через функцию Posts on Google. 1
preview Яндекс позволил управлять дизайном Турбо-страниц при помощи CSS

Яндекс позволил управлять дизайном Турбо-страниц при помощи CSS

Яндекс выпустил обещанное обновление для тех, кто хочет полностью управлять дизайном своих Турбо-страниц...
preview Баг в плагине Yoast SEO 7.0 привёл к снижению позиций сайтов

Баг в плагине Yoast SEO 7.0 привёл к снижению позиций сайтов

В SEO-плагине Yoast версии 7.0 содержался баг, который влиял на ранжирование отдельных сайтов...
preview Госдума одобрила штрафы для поисковиков за выдачу ссылок на запрещенные сайты

Госдума одобрила штрафы для поисковиков за выдачу ссылок на запрещенные сайты

Госдума приняла в третьем, окончательном чтении закон об административных штрафах за нарушение закона об анонимайзерах
preview Количество запросов к Google о биткоине с начала года упало на 75%

Количество запросов к Google о биткоине с начала года упало на 75%

С начала года, согласно данным Google Trends, количество поисковых запросов со словом [bitcoin] упало на 75%