Снова про Bing Bot нагрузку и Crawl-delay

Тема довольно избитая (раз, два, три , четыре...) но сегодня пришлось решать ребус заново, поэтому внесу свои 5 копеек.

Начало стандартное - Bing Bot начал вешать сервер в течение нескольких суток выпуливая в мой сайт в среднем по 10, иногда до 20 запросов в секунду. Сайт сложный, динамический, местами стал подтормаживать.

Начал разбираться. В robots.txt у меня стояло:

Читаю мануал от Бинга - там английским языком написано, что User-agent: * он понимает. Ладно, думаю, вдруг в мануале ошибка. Ставлю специальную секцию:

Жду когда подхватит. Но ничего не меняется! По-прежнему лупит по десятке в секунду.

Банить бинг совсем жалко - пусть трафик с него небольшой (порядка 100 заходов в сутки), но не нулевой...

Смотрю логи, куда он заходит. Оказался следующий казус. У меня сайт разделён по региональному принципу на поддомены: msk.site.ru, spb.site.ru и т.д. Вероятнее всего бинг воспринимает Crawl-delay не для сайта в целом, а для каждого поддомена отдельно (это, кстати, соответствует стандартной интерпретации robots.txt, но другие поисковики ведут себя более интеллигентно, подобных проблем не создавая). Соответственно он может, выдерживая указанную задержку для каждого поддомена, тем не менее создавать нагрузку в несколько десятков запросов в секунду на весь сайт в целом. В моём случае региональных поддоменов около 2 тысяч, соответственно чтобы получить гарантированно не более 1 запроса в секунду нужен Crawl-delay 2000, что было бы не полезно для сайта.

Ставлю Crawl-delay 20. Через какое-то время поток запросов снижается до 3-4 запросов в секунду. При этом Бинг действительно почти всегда выдерживает паузу в 20 секунд для каждого домена. Почти, потому что запросы идут с нескольких IP-адресов, и если к одному домену идёт обращение с разных IP, то между собой они могут эту паузу и не выдержать (очевидно, очереди на разных серверах у Бинга не синхронизируются). Дальше увеличивать Crawl-delay не хотел, т.к. на сайте есть ключевые домены (московский, питерский и т.п.) которые желательно индексировать оперативно.

Так же ещё придумал вставлять такой код в начало страницы:

для задержки её отдачи Бингу (потом уже нашёл на форуме, что подобный способ уже предлагал seo_optimist. :) ), но поразмыслив понял, что по сути это тот же Crawl-delay только кривой.

В итоге решил отрегулировать Crawl-delay и сделать его разным для разных доменов. Для больших и важных сделать поменьше, для прочих побольше. Хотя это полностью сайт от Бинга не защищает, т.к. он всегда может решить одновременно заняться всеми доменами сразу и жёстко нагрузить сайт, но можно сбалансировать общую нагрузку так чтобы Бинг быстро обходил полезные части сайта и не часто интересовался прочими.

Кстати, судя по всему Гугл и Яндекс на эти грабли уже наступали и проблемы решили, т.к. запросы от них идут в соответствии с выставленным Crawl-delay так как если бы он действовал в рамках всего сайта.