Google: как изменить скорость сканирования в массовом порядке

В конце прошлого месяца на форуме Google Webmaster Central Help обсуждался интересный вопрос: как изменить скорость сканирования для большого количества поддоменов сразу.

Полностью вопрос выглядел так:

«У нас есть 1000 разных поддоменов (*.mydomain.com), работающих на базе одной и той же серверной фермы. Google сканирует наш сайт 8 млн раз в день, что вызывает проблемы с нагрузкой. Есть ли какой-то способ изменить скорость сканирования для всех 1000 поддоменов сразу? В Search Console таких настроек нет. Чтобы изменить скорость сканирования для каждого поддомена, мне нужно вручную поменять настройки 1000 раз, а через 90 дней сделать то же самое, что попросту невозможно».

В ответ представитель поиска Джон Мюллер посоветовал обратиться к команде, отвечающей за сканирование, отправив запрос. По его словам, они занимаются такого рода вопросами и могут помочь.

Также можно настроить сервер так, чтобы он возвращал код ответа 503. Наконец, не помешает проверить, какие URL обрабатывает поисковый робот. Во многих случаях высокая скорость сканирования наблюдается по тем сайтам, которые имеют проблемную структуру URL. В частности, если она включает множество уникальных страниц с аналогичным (или очень похожим) контентом.

subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview AdSense: что делать, если ваш код используется на сторонних сайтах

AdSense: что делать, если ваш код используется на сторонних сайтах

В Google AdSense рассказали, что делать в том случае, если ваш рекламный код используется на сторонних сайтах
preview AdWords опубликовал руководство по объявлениям с отправкой SMS по клику

AdWords опубликовал руководство по объявлениям с отправкой SMS по клику

Google AdWords опубликовал официальное руководство по объявлениям с отправкой сообщения по клику
preview Всё, что вам нужно знать о последних нововведениях в КМС Google

Всё, что вам нужно знать о последних нововведениях в КМС Google

Ответы на распространённые вопросы об адаптивных объявлениях, кросс-девайс ремаркетинге, расширениях адреса и показателе «Посещаемость магазина»
preview Расходы на интернет-рекламу в США выросли на 20% в III квартале

Расходы на интернет-рекламу в США выросли на 20% в III квартале

По данным IAB, в третьем квартале 2016 года расходы на интернет-рекламу в США достигли $17,6 млрд
preview Обновление Search Console могло временно повлиять на учёт ссылок на сайты

Обновление Search Console могло временно повлиять на учёт ссылок на сайты

Обновление инфраструктуры Google Search Console могло временно повлиять на данные отчёта «Ссылки на ваш сайт»...
preview Яндекс поделится опытом внедрения машинного обучения

Яндекс поделится опытом внедрения машинного обучения

«Большие данные», «машинное обучение» и «искусственный интеллект» - эти слова давно у всех на слуху