Лучше выдавать 403 ошибку при наличии utm метки в url адресе.
Можно реализовать через htaccess
RewriteCond %{QUERY_STRING} utm [NC]
RewriteRule .* - [F]
К сожалению пробовал разные варианты, включая этот, не удалось заблочить.
Столкнулся с аналогичной ситуацией.Есть подозрение, предположение, что utm метки созданы фиктивно, так как наблюдал переход с одного IP адреса(заблочил диапазон) несколько раз подряд якобы по рекламе с одной и той же статьи в дзене, а так наверно не может быть, потому что рекламные обьявления ротируются на площадках. Я к тому, что эти товарищи к Яндекс рекламе не имеют никакого отношения. Только что метрика считывает их как рекламные переходы.
Не поверите, директива REMOTE_ADDR прекрасно отрабатывает. Кстати по данному логическому шаблону можно банить любых фейков.
Как решили? Прямым запретом конкретных IP?
Опытным методом подобрали,и также ребята с хабра помогли:
<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteCond %{REMOTE_ADDR} !^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\.
RewriteCond %{REMOTE_ADDR} !^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
RewriteRule ^ - [F]
</IfModule>Все работает на ура.
Почему они фейковые?
66.249.66.9 - - [04/Dec/2023:16:13:05 +0300] "GET / HTTP/1.0" 200 10609 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - настоящий гугл бот176.62.72.69 - - [04/Dec/2023:16:26:16 +0300] "GET / HTTP/1.0" 200 49181 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)" - фейковый
109.195.153.68 - - [04/Dec/2023:10:31:46 +0300] "GET / HTTP/1.0" 200199 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.6045.123 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" - фейковый
Такого рода фейковых ботов с ip адресами, которые отличаются от 66.249. хотелось бы заблокировать....
Настройте сайт нормально и 99% запросов бота Яндекса к вашему сайту не будут его грузить ибо будут такими:
Уважаемый, а не подскажите как Вы настраивали 304 ответ сервера, ибо не совсем компетентен в этом.
Мне больше интересовало не почему нагрузка создается на сайте (это и так было понятно), а почему яндекс.бот с 22 мая начал усердно атаковать сайты (у меня их пару штук). Думал тут найду объяснение этому феномену. До этого по пол года все шло ровно.
P.S Такие всплески активности бота замечаю периодически в промежутки от 3-6 месяцев. То есть 3-6 месяцев идет норм обход бота, а потом на неделю-две бот становится агрессивным 😀
P.S.S Скорость обхода в ВМ стоит минимум (0.6 запросов в секунду.)
Такая же тема примерно с 20 чисел июня, грузит, пылесосит все подряд, причем одну и ту же страницу может сосать по 20 раз, бесит уже. Причем может с разных IP на одну страницу накинуться. Это просто пипец товарищи.
Причем до этого полгода была тишина. Оптимизировал все что можно, не помогает...
