Какой в этом смысл? Нет этих ботов в логах, это просто не сможет дать никакого эффекта. При этом логи полные, в лог пишется все, каждое обращение к домену без исключений (страницы, картинки, GET/POST - все пишется). ПС периодически проверяют работоспособность сайта в том числе по главной странице (та же метрика постоянно проверяет и реферер она не шлет), если сервер им всем выдаст, скажем, 404 в течение одного дня - считаю это точно не скажется положительно на позициях.
Поставьте cloudflare и включите показ капчи для всех прямых заходов. Если они на ваш сайт не заходят, то количество ботов не убавится, если заходят то уменьшится значительно.
Для ботов ПС поставите исключение и они без проблем на сайт будут заходить.
Если боты идут на внутренние страницы, можно вообще блокировку включить (на какое то время) и посмотреть как это отразится на данных в метрике.
Сегодня опять пришли боты по прямым заходам на главную (не турбо, а на обычную версию страницы). До этого поставил на сайте код, который отправлял в метрику параметры визитов (ip и реферер) сразу после загрузки страницы.
Ни у одного бота нет этих параметров визитов, в логах сервера их нет и роботность по метрике у этих ботов почти нулевая, метрика считает роботами около 8% этих "визитов".
А какое правило нужно в cloudflare прописать для капчи под прямые заходы и те, которые маскируются под переходы с сайтов?
Я читал статью на vc, на которую ранее ссылались в этом топике. Или не понял что-то, или там нет спасительного правила от данного вида ботов?
От прямых заходов это. Только я ставлю не JS challenge, а Managed challenge.
Про переходы маскирующиеся под переходы с сайтов, нужно посмотреть логи сервера, какие атрибуты у них. У меня боты только по прямым заходам идут и маскирующиеся под рекламу (через utm метки).
Толку банить, надо прятать метрику и рся блоки от таких видов трафика, оставлять только для поискового. У самого повалили прямые заходы, поставил капчу на прямые заходы, 400 визитов, только 20 прошли капчу. 😂
Согласен, с cloudflare можно практически полностью вычистить таких ботов, не навредя другим источникам трафика.
Сегодня вместо прямых заходов полезли боты через "переходы по ссылкам на сайты". Яша фиксирует переходы с таких сайтов как За рулем, Авито, Вести и т.п. Таких сайтов более 500, с каждого по одному заходу, все разные. Все переходы на главную.
Боты по прямым заходам ходить перестали.
Какая то для меня новая хрень. Надо подождать чутка и банить все эти переходы.
Прокси нужны чтобы был другой внешний ip для запроса к метрике https://mc.yandex.ru/watch/999999, я дальше не буду объяснять, вы то ли тролите, то ли реально не понимаете как ваш и другие сайты работают.
Это бред... По вашему можно без домена спамить сервер метрики запросами и накручивать нужные показатели визитов?
У вас визиты (которые как вы думаете без захода на ваш сайт) идут через прямые заходы? Не пробовали поставить запрет на директ трафик на сервере и посмотреть будут ли после этого прямые заходы в метрике?
Причем тут отображение на сайте метрики, все данные к яндексу уходят через запросы вида https://mc.yandex.ru/watch/999999... Еще раз все данные с вашего сайта со счетчиком метрики уходят в метрику только в виде таких запросов и их можно спокойно воспроизвести без сайта. Как реализовано технически: смотрите справку по fetch curl и прочим подобным функциям в зависимости от языка.
Получается дураки ботоводы разоряются на дорогие прокси, всякие фишки с распознаванием капчки, эмуляторы браузеров и тд. Я конечно не спец, но выглядит все это как бред...
