Непонятная атака ботов на сайт

Это боты, которые всегда где-то и что-то парсят для каких-то целей. Любой школьник пишет бота на Питоне за пол часа и запускает на своем компе. Я тоже, например, таких ботов пишу, которые ходят и парсят мне массово инфу с сайтов, которые мне интересны 😁

Бороться с ботами это тоже самое что бороться с городским шумом. Ну ходят и ходят какая проблема, не понимаю. Но советы блокировать целыми подсетями это прям супер советы «бывалых».

Эти боты влияют на Отказы в метрике. вариант блокировок по подсетями - это один из способов это остановить. Потому что эти боты идут постоянно с разных IP  тысячи заходов 99%  которых используются только один раз в сутки

Анализ логов веб-сервера показал, что примитивные боты не оказываются даже в отчете "Роботы" метрики. Они там пачками могут заходить, в метрике их нет. Но вот когда атаковали отдельную страницу, метрика секла роботов.

Сколько лет ботов обсуждают, а так в среднем никто так и не понял, чем боты с браузером отличаются от ботов без браузера. Каждый раз подобные топики читаешь, за голову хвататься хочется. В куче теплое мягкое мокрое фиолетовое.
Естественно примитивные боты в метрику не попадут, метрика пишет только браузерные заходы.

главное чтобы примитивные боты не попадали в статистику РСЯ...

иначе пиши пропало....

Они все с браузером в логах. Другое дело, что это просто строка, а не реальная имитация поведения.

Я не о поисковых роботах и т.п. говорил.

То, что в метрике отфильтровано по поведенческим, не значит, что бот мало сидел или отказ. Как раз наоборот, они могут поднимать поведенческие, скликивать рекламу.

Антифрод яндекса работает и определяет их по другим признакам.

И людей он тоже в боты отправляет.

Поставь себе блокировщик метрики, она тебя тоже перестанет видеть.

У ботов есть браузеры. Но бывают боты без браузеров.

Некоторые боты с браузерами метрику не грузят специально.

Клики по сниппету на серпе яндекс учитывает, как и их отсутствие.

Разберись. Кто мешает?

У меня не совсем примитивные боты, javascript в них выполняется и Метрика их считает нормальными пользователями.   Иногда они приходя волнами, как на скрине. 

Пока вместо блокировки подсетями, пытаемся выдать этим подсетям капчу... посмотрим что это даст