Если на самом деле есть такие боты, вряд ли они спамят только ваши счетчики. Я тут на форуме про такое не читал, если бы реально был массовый случай, то была бы уже новая тема с десятком страниц (про то, что боты спамят метрику напрямую, не заходя на сайт).
Я вас понял, но не понимаю как банить ботов которых не видит сервер, вы уверены что сервер что-то пропускает, я считаю что нет. Если от метрики не будет ответа и действий - попробую побанить прямые заходы, добавив ip относящиеся к хорошим ботам в белый список, если это делать на коленке и наспех может забанится что-то важное, нужно накопить больше данных для анализа.
Поставьте cloudflare и в WAF вот эти 2 правила создайте, ничего лишнего при этом не забаните. Ботов ПС будет пропускать, а остальным на прямые заходы будет проверка.
Если у вас после этого половина прямых заходов не пропадет, тогда ваша теория будет более правдоподобна.
Вы можете сделать как вам предлагают или ждать помощи от Яндекса. Мои сайты боты начали долбить с ноябре, куда им только не писал, толку 0. Так что выбирайте сами вариант😁
Ну допустим я найду еще десяток-другой ip с ПС остальные ~150 - забаню (это не правильно, конечно, надо будет собирать статистику по нескольким неделям хотя бы и проверять все ip добавляя в бан/белый список постепенно, но допустим сделаю это) - что это по вашему мнению даст?
Прочитайте статью - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov
Какой в этом смысл? Нет этих ботов в логах, это просто не сможет дать никакого эффекта. При этом логи полные, в лог пишется все, каждое обращение к домену без исключений (страницы, картинки, GET/POST - все пишется). ПС периодически проверяют работоспособность сайта в том числе по главной странице (та же метрика постоянно проверяет и реферер она не шлет), если сервер им всем выдаст, скажем, 404 в течение одного дня - считаю это точно не скажется положительно на позициях.
Поставьте cloudflare и включите показ капчи для всех прямых заходов. Если они на ваш сайт не заходят, то количество ботов не убавится, если заходят то уменьшится значительно.
Для ботов ПС поставите исключение и они без проблем на сайт будут заходить.
Если боты идут на внутренние страницы, можно вообще блокировку включить (на какое то время) и посмотреть как это отразится на данных в метрике.
Сегодня опять пришли боты по прямым заходам на главную (не турбо, а на обычную версию страницы). До этого поставил на сайте код, который отправлял в метрику параметры визитов (ip и реферер) сразу после загрузки страницы.
Ни у одного бота нет этих параметров визитов, в логах сервера их нет и роботность по метрике у этих ботов почти нулевая, метрика считает роботами около 8% этих "визитов".
А какое правило нужно в cloudflare прописать для капчи под прямые заходы и те, которые маскируются под переходы с сайтов?
Я читал статью на vc, на которую ранее ссылались в этом топике. Или не понял что-то, или там нет спасительного правила от данного вида ботов?
От прямых заходов это. Только я ставлю не JS challenge, а Managed challenge.
Про переходы маскирующиеся под переходы с сайтов, нужно посмотреть логи сервера, какие атрибуты у них. У меня боты только по прямым заходам идут и маскирующиеся под рекламу (через utm метки).
