Google обновил спецификации файла robots.txt

В этом месяце Google обновил справочный документ «Спецификации файла robots.txt», в котором описано, как поисковик обрабатывает эти файлы.

Руководство теперь содержит больше примеров и объяснений по различным конфигурациям robots.txt.

Фрагмент обновленного документа:


Обновлением спецификаций занимались сотрудники Google Гэри Илш и Лиззи Харви.

Заметил апдейт один из специалистов отрасли:


Обновленный документ уже переведен на русский язык. Это было сделано 15 апреля. В англоязычную версию изменения были внесены 7 апреля.

В последний раз этот документ значительно обновлялся в 2019 году.

О том, что в Google собираются переработать документацию по файлу robots.txt, стало известно в марте.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Google не блокирует сайты от показа в ленте рекомендаций Discover

Google не блокирует сайты от показа в ленте рекомендаций Discover

Но нужно следить за качеством контента
preview Неподтвержденный апдейт в основном и локальном поиске Google

Неподтвержденный апдейт в основном и локальном поиске Google

В районе 23 апреля
preview Google тестирует новый блок с «более конкретными запросами»

Google тестирует новый блок с «более конкретными запросами»

Для уточнения запроса
preview Google: завершающие слеши не влияют на SEO

Google: завершающие слеши не влияют на SEO

Главное - быть постоянными в своем выборе
preview Как Google определяет авторов и создает их сущности

Как Google определяет авторов и создает их сущности

Без поддержки авторской разметки