Пошла большая нагрузка на сайт. Хостер сказал, что слишком много и часто боты разные приходят, дали список:
22631 yandex.com/bots
21768 YandexBot/3.0
4901 SERankingBacklinksBot/1.0
3763 www.google.com/bot.html
3763 Googlebot/2.1
Основное - это, в цитате, остальное - мелочь пузатая.Серанк заблочить.По яндексу - в вебмастере есть параметр с частотой запросов, поставить вместо автоматической - минимальную из ручных. (Это если яндексботы там реальные, а не парсинг с фейковыми юзерагентами. Просто как допущение.)
Настройте Last-Modified. Ваш сервер должен сообщать краулерам, страница изменилась или нет, для того, чтобы впустую не переиндексировалось одно и то же.
А люди ли? Кроме дзена, там же в соседнем отчете, переходы с сайтов, есть mail.ru?
Вот срез трафика с Дзен по одному из сайтов. На скриншоте боты, проверочную капчу не проходили.Переходы с MegaFon, Vimpelcom, T2 Mobile, MTS, один из стационарных провайдеров. Т.е. то, что с тем же htaccess не зафильтруешь. Ну и там же - есть Битерика и Moshonkin Ilia Sergeevich. Это то, что можно банить по ASN или диапазонам.
В целом стандартное явление. То Китай, то Гонконг, то Сингапур, то еще что.Смотрите ASN заходов и блочьте или диапазонами, или целиком подсетями. Какой-нибудь Tencent можно для разнообразия блокануть сразу, не раздумывая.
Вероятнее всего - следы ПФ ботов.
Накрутчики нередко ошибаются в настройках своих программ и вместо результирующих запросов могут использовать шаблоны вместе с операторами, которые используются для комбинаторики.
🤔
Не совсем так.