Начиная с 1 сентября Google перестанет поддерживать недокументированные правила в Robots Exclusion Protocol. Это значит, что поисковик больше не будет поддерживать директиву noindex в файле robots.txt.
«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы переведём в разряд устаревшего весь код, который обрабатывает неподдерживаемые и неописанные в документации правила (такие, как noindex), 1 сентября 2019 года», - говорится в сообщении компании.
В качестве альтернативы директиве noindex в robots.txt Google предлагает использовать следующие варианты:
- Noindex в метатегах robots;
- Коды ответа сервера 404 и 410;
- Disalow в robots.txt;
- Инструмент удаления URL в Search Console;
- Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.
Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.
В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.
