Одновременно куча ботов

crawl-delay

Не помогает, тот же гугл не учитывает crawl-delay для внутренних страниц, остальные боты тоже кладут на crawl-delay. Ahrefs, sape, все игнорируют...

access.log покажите если есть возможность.

бешеные и не адекватные это bingbot msnbot, помню пристали к клиенту и роняли его впс причем настойчиво с разных ип( ну а с остальными не когда прооблем не видел.

зы шаред хостинг намного мощнее дешевый впс поэтому нет проблем.

да а что смотреть access.log я и сам вижу, что от одного бота 3-4 запроса. Сейчас вот Ahrefs долбит, до этого bingbot долбил. Когда оба приходят вообще вилы.

шаред то мощнее вдс, я понимаю, но на шареде сколько сайтов? в десятки и сотни раз больше вдс. Как шаред справляется с этим?

какая разница сколько сайтов, да и сайты бывают разные, некоторые спокойно 100 паралельных запросов на бэкенд переварят а другие при 10-20 сделают плохо серверу.

на шараде обычно есть некие лимиты что бы 1 юзер не забрал все ресурсы сервера, ботам будет отдаваться к примеру 503 а остальные сайты у соседей будут как то пытаться работать.

нет не каких секретов, рубите ботов в nginx если вы считаете их бесполезными или увеличивайте ресурсы сервера что бы он мог справится с таким потоком запросов.

это самое простое, еще можно посмотреть в сторону оптимизации скриптов, кэширование.

Den73, еще яндекс умеет бесится. Особенно на "очень красивых" сайтах ;)

Еще в том же nginx можно попробовать настроить модуль ngx_http_limit_req_module, с его помощью можно ограничивать кол-во запросов в секунду и или резать соединения или задерживать их. С помощью параметра burst можно настроить nginx так, чтобы он пропускал первый всплеск запросов, когда настоящий юзер заходит на сайт и качает остальные скрипты/цсс/картинки.