Прочитайте статью - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov
"Всех, кто приходит с IPV6 и без HTTPS заставляем разгадать каптчу" - не надо так делать, надо в клаудфларе через апи отключить ipv6 чтоб дальше работать только с ipv4.
https://pastebin.com/Kqq1wgjp вынести метрику во внешний файл, и показывать ее только тем ip которые не запятнали репутацию.
ну и проверить чтоб на сайте небыло посторонних js виджетов , фреймов, в которых может подгружаться чужая метрика.
не нужно ничего считать и гадать. посмотреть в лог сервера и увидеть все. и дальше уже решать по результату этого как бороться.
Какой в этом смысл? Нет этих ботов в логах, это просто не сможет дать никакого эффекта. При этом логи полные, в лог пишется все, каждое обращение к домену без исключений (страницы, картинки, GET/POST - все пишется). ПС периодически проверяют работоспособность сайта в том числе по главной странице (та же метрика постоянно проверяет и реферер она не шлет), если сервер им всем выдаст, скажем, 404 в течение одного дня - считаю это точно не скажется положительно на позициях.
естественно предполагается что вы сначала создадите белый список для поисковых и т.п. нужных ботов.
больше 15 лет он был ВСЕМ удобен и вдруг стал ВСЕМ неудобен, откуда такая статистика
он небыл удобен и это было тупо а не защита.
больше ботов на сайте - больше дешевых кликов. больше вероятность бана сайта в РСЯ.
если ботов фильтруешь (раньше так было, сейчас хз, в начале месяца яндекс многим посрезал заработки) то кликов меньше но они становились дороже.
да удобный метод.
Они в логах сервера-то есть или это все тот же спам метрики напрямую?
это скорее всего обычный. все будет в логах. явление не редкое.
да каноникал это самое правильное решение, все норм будет.
Получается дураки ботоводы разоряются на дорогие прокси, всякие фишки с распознаванием капчки, эмуляторы браузеров и тд. Я конечно не спец, но выглядит все это как бред...
нет. все это нужно. и прокси и полноценный браузер (хуман, зенка, бас) которым этот запрос слать и для парсинга яндекса нужны капчи обходить.
