Google может полностью убрать поддержку директивы noindex в robots.txt

Google уже многие годы говорит вебмастерам, что не поддерживает директиву noindex в файле robots.txt. Однако некоторые SEO-специалисты по-прежнему её используют. Поэтому в компании задумались над тем, чтобы полностью отказаться от этой директивы и сделать так, чтобы она не работала. Об этом заявил сотрудник поиска Гэри Илш в ходе обсуждения на эту тему в Twitter.

Обсуждение инициировал один из пользователей соцсети. Он обратился к Джону Мюллеру и попросил совета относительно использования noindex в robots.txt. Однако Мюллер ответил, что официально эта директива не поддерживается:

Известный западный SEO-консультант Мари Хэйнс (Marie Haynes) на это отметила, что по мнению многих специалистов, она по-прежнему неплохо работает:

Здесь к обсуждению присоединился Гэри Илш, который сказал, что в скором времени это может измениться.

«Я сейчас чищу эту часть кодовой базы Googlebot, а эта штука торчит, как монахиня в мош-пите», - написал он.

Далее он добавил, что «технически robots.txt предназначен для сканирования. Метатеги – для индексирования. Во время индексации они будут применяться на одной и той же стадии, поэтому нет никаких веских оснований иметь их обоих».

На что один из специалистов отметил, что директива noindex в robots.txt - это очень полезная функция при взаимодействии с внешними разработчиками/агентствами - когда не получается получить доступ к конкретному поддомену.

Илш ответил, что проведёт исследование, чтобы посмотреть, как вебмастера используют эту директиву. Если таких будет много, то он обсудит этот вопрос с вышестоящим руководством.

Напомним, в 2017 году стало известно, что для Google директива Noindex, follow со временем переходит в Noindex, nofollow.

Источник: Search Engine Roundtable
subscribe

Подпишитесь на рассылку SearchEngines

preview Для чего используются голосовые помощники? Исследование Microsoft

Для чего используются голосовые помощники? Исследование Microsoft

72% владельцев смартфонов пользуются голосовыми помощниками. Об этом свидетельствуют результаты исследования Microsoft. Отчёт компании основан на двух опросах
preview Джон Мюллер о роли TF-IDF в алгоритме Google

Джон Мюллер о роли TF-IDF в алгоритме Google

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о роли TF-IDF в алгоритме Google
preview Партнеры Bringly смогут продавать товары на площадках друг друга

Партнеры Bringly смогут продавать товары на площадках друг друга

Маркетплейс Bringly сможет не только продавать россиянам товары зарубежных интернет-магазинов, но и позволит партнерам торговать товарами на площадках друг друга
preview Google открыл доступ к AI-инструменту для анализа изображений

Google открыл доступ к AI-инструменту для анализа изображений

Google опубликовал новый инструмент, который позволяет получать развёрнутый анализ изображений, сделанный с помощью алгоритма машинного обучения
preview В Google Таблицах появились новые функции для работы с объектами

В Google Таблицах появились новые функции для работы с объектами

Google запускает несколько новых функций и инструментов, с помощью которых можно будет создавать более привлекательные и информативные отчёты в Таблицах
preview В API Директа появится поддержка турбо-страниц

В API Директа появится поддержка турбо-страниц

Яндекс анонсировал предстоящие изменения в API Директа, связанные с поддержкой турбо-страниц. В сервисе Ads появится новое поле — TurboPageId