Google: как ускорить индексирование новой версии файла robots.txt

Сканирование и индексирование обновлённого файла robots.txt можно ускорить. Об этом рассказал специалист службы качества поиска Google Джон Мюллер (John Mueller) на форуме Google Webmaster Help.

«Вы можете ускорить обработку последней версии robots.txt Google (обычно, мы сканируем его раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию,  и сможете отправить в Google изменённый файл для повторного сканирования», - пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

google-submit-robots-txt-1451913678.png

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

Google приглашает протестировать AMP-функционал в Search Console

Google приглашает принять участие в бета-тестировании нового функционала в Search Console, связанного с AMP (Accelerated Mobile Pages

Число поисковых запросов к DuckDuckGo достигло 12 млн в день к концу 2015

Представители поисковой системы DuckDuckGo подвели итоги минувшего года, сообщив, что на 14 декабря 2015 число поисковых запросов, ежедневно поступающих от пользователей...

Результаты платной и органической выдачи Bing полностью интегрировались в AOL

Начиная с 1 января 2016 года, результаты платной и органической выдачи Bing полностью интегрировались в AOL и будут отображаться на всех устройствах и во всех регионах...

Google: полная история заявок на пересмотр сайта не всегда доступна

У Google нет возможности показать новым владельцам сайта все старые заявки на повторную проверку ресурса после наложения санкций

Google обновил поисковый алгоритм 29 декабря 2015 года?

29 декабря 2015 года вебмастера заметили признаки возможного обновления поискового алгоритма Google. Об этом говорят их сообщения на форуме Webmaster World

Google добавил ссылку «View on Twitter» к твитам в поисковой выдаче

Англоязычные пользователи заметили, что Google добавил кликабельную ссылку «View on Twitter» к твитам в результатах поиска