Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц.

Мюллер ответил так: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».

На вопрос, почему отображаются заголовки и ссылки, если URL не сканируются, Мюллер ответил: «Заголовки обычно берутся из ссылок, однако сниппетов не должно быть». При этом он добавил, что хотел бы взглянуть на сами URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – это инструмент для управления сканированием, но не индексированием. Чтобы предотвратить индексацию, нужно использовать соответствующую директиву в метатеге robots или HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел эти директивы, ему нужно разрешить сканировать эти страницы.

Джон Мюллер отметил твит Адамса «лайком».

Источник: Search Engine Journal
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Google Ads добавит данные по кросс-девайс конверсиям во все отчёты по атрибуции

Google Ads добавит данные по кросс-девайс конверсиям во все отчёты по атрибуции

Начиная с 1 мая Google Ads будет включать данные по конверсиям, полученным в результате взаимодействий на нескольких устройствах, во все отчёты по атрибуции
preview Все первоапрельские розыгрыши Google 2019

Все первоапрельские розыгрыши Google 2019

Сегодня первое апреля – международный День смеха – и Google традиционно развлекает пользователей шуточными «анонсами», «запусками» и другими розыгрышами
preview Дзен становится социальным сервисом с профилями пользователей

Дзен становится социальным сервисом с профилями пользователей

В Яндекс.Дзене появились публичные профили пользователей сервиса. В них можно увидеть, чем интересуется человек, на какие каналы подписан и какие публикации ему понравились
preview В России вступили в силу законы о фейковых новостях и неуважении к власти

В России вступили в силу законы о фейковых новостях и неуважении к власти

Сегодня в России вступили в силу законы о запрете распространения фейковых новостей и оскорблении представителей власти, государственных символов и институтов власти в СМИ и...
preview Яндекс перестал делиться с Mediascope данными о своей аудитории

Яндекс перестал делиться с Mediascope данными о своей аудитории

Яндекс снял со своих ресурсов счетчики исследовательской компании Mediascope...
preview Яндекс.Справочник начал добавлять информацию о бизнесе без фактического адреса

Яндекс.Справочник начал добавлять информацию о бизнесе без фактического адреса

В Яндекс.Справочник теперь можно добавить информацию о бизнесе, у которого нет фактического адреса — офиса или магазина