Google перестанет поддерживать директиву noindex в robots.txt

Начиная с 1 сентября Google перестанет поддерживать недокументированные правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt.

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд устаревшего весь код, который обрабатывает неподдерживаемые и неописанные в документации правила (такие, как noindex), 1 сентября 2019 года», - говорится в сообщении компании.

В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:

  • Noindex в метатегах robots;
  • Коды ответа сервера 404 и 410;
  • Disalow в robots.txt;
  • Инструмент удаления URL в Search Console;
  • Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Яндекс.Маркет перестал ставить критичные ошибки при автоматических проверках

Яндекс.Маркет перестал ставить критичные ошибки при автоматических проверках

Магазины больше не будут получать критичные ошибки при автоматических проверках, которые проводит робот Яндекс.Маркета
preview Реклама приложений Google Ads станет чаще показываться в браузерах на iOS

Реклама приложений Google Ads станет чаще показываться в браузерах на iOS

С этого месяца реклама приложений Google Ads будет появляться по большему числу запросов в мобильных браузерах на iOS
preview Google решил вернуть Ads API обратно в бету

Google решил вернуть Ads API обратно в бету

Google возвращает Ads API на стадию бета-тестирования, из которой он вышел в марте. Причиной такого решения стали проблемы с производительностью
preview В работе Cloudflare снова произошёл масштабный сбой

В работе Cloudflare снова произошёл масштабный сбой

Сегодня в работе крупнейшего DNS- и CDN-сервиса Cloudflare произошёл масштабный сбой, в результате которого миллионы сайтов по всему миру ушли офлайн - примерно на 30 минут
preview Яндекс ответил на претензии относительно доступа к колдунщикам в поиске

Яндекс ответил на претензии относительно доступа к колдунщикам в поиске

В начале недели стало известно, что пять сайтов – частных объявлений Avito, поиска недвижимости ЦИАН, поиска специалистов Profi.ru, карт 2ГИС и онлайн-кинотеатр Ivi...
preview Google опубликовал список всех изменений в спецификации robots.txt

Google опубликовал список всех изменений в спецификации robots.txt

В рамках работы по переводу Robots Exclusion Protocol (REP) в разряд официальных интернет-стандартов Google обновил свою документацию по robots.txt