Google напомнил о скором прекращении поддержки noindex в robots.txt

До 1 сентября осталось всего ничего, и Google напомнил вебмастерам, что те, кто продолжает использовать директиву noindex в файле robots.txt, могут оказаться в неприятной ситуации.

Google перестанет поддерживать директиву noindex в robots.txt с 1 сентября. Об этом было объявлено еще в начале июля и даже разосланы письменные уведомления через Search Console.

В качестве альтернативы Google предлагает использовать следующие варианты:

  • Noindex в метатегах robots;
  • Коды ответа сервера 404 и 410;
  • Disalow в robots.txt;
  • Инструмент удаления URL в Search Console;
  • Защиту паролем. Если на странице не используется разметка для платного контента, то использование логина и пароля для доступа к содержимому страницы обычно приводит к её удалению из индекса Google.

Напомним, что в настоящее время Google активно работает над тем, чтобы перевести Robots Exclusion Protocol, основанный на использовании файла robots.txt, в разряд официальных интернет-стандартов.

В рамках этой инициативы Google также открыл исходный код своего парсера для robots.txt и обновил документацию по этому файлу.

Источник: Seroundtable.com
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Алиса научилась идентифицировать пользователей навыков с разных устройств

Алиса научилась идентифицировать пользователей навыков с разных устройств

В Яндекс.Диалогах появилась возможность связать два аккаунта пользователя навыков: на Яндексе и в собственном сервисе...
preview ВКонтакте запускает гранты для авторов

ВКонтакте запускает гранты для авторов

Социальная сеть ВКонтакте запускает гранты для создателей контента и расширяет программу поддержки VK Talents
preview В Bing Webmaster Tools появилась возможность проверки сайта  через Google Search Console

В Bing Webmaster Tools появилась возможность проверки сайта через Google Search Console

Инструменты Bing для вебмастеров пополнились возможностью проверки сайтов и их импорта через Google Search Console
preview Поисковикам в России запретят выдавать ссылки на пиратский контент

Поисковикам в России запретят выдавать ссылки на пиратский контент

Поисковики, работающие в России, будут обязаны оперативно, без решения суда, удалять ссылки на страницы с пиратским контентом
preview MAPS.ME: как россияне проводят время в поездках по стране

MAPS.ME: как россияне проводят время в поездках по стране

Картографический сервис MAPS.ME, совместно с компанией ResearchMe, опросили пользователей рунета, путешествовавших по России в течение последнего года
preview Google тестирует новый ярлык для рекламных объявлений

Google тестирует новый ярлык для рекламных объявлений

Англоязычные пользователи заметили, что Google тестирует новый ярлык для рекламных объявлений. В этой версии ярлык содержит заключенный в рамку текст – «Advt»