Борьба с ботами

Ок. Но среди них не только боты, там и люди. Если даже отсеять ботов по юзерагенту с пометкой bot, то вырезать все по IP - слишком жестко. Так и полезных ботов отрезать можно. Я в этом плане не очень понимаю решение до сих пор.

ну насколько эффективно CF фильтрует, видно и по ивентам и по общей статистике.  Тут же вопрос что фильтровать, как найти кого фильтровать, а не каким образом фильтровать. Вот первый пациент найден, что в предыдущем скрине. Запретил реффер через него и уже вижу результат. Режутся.

С список IP... при прошлой проверке уже отфильтрованных через CF за день прошло более 900 уникальных IP c пометкой bot в useragent... каждый вручную резать - это перебор, я все еще не понимаю этого варианта решения вопроса. 

Здравствуйте по анализам я всех отправил в чёрный список xthtp htaccess и они у меня перестали лазить. Сегодняшний результат. если кому-то нужно скажите помогу.

Я уже месяц как борюсь с этими ботами вроде бы у меня получился избавится от чёрных ботов. Не хочу раньше времени кричать ураааа но тву тву похоже победил. Если что помогу моими знаниями. Это сегодня сфоткал

Само собой, смысл как раз в том, чтобы из общей массы заходов отсеивать ботов и оставлять людей.

Нужно понимать, что используя CF вы задействуете сразу несколько срезов.

Первый срез - это то, что CF фильтрует по своим автоматизированным настройках. Далее на эти настройки наслаиваются те, что вы определяете пользовательскими настройками в самом CF.

А нет единого универсального решения оптимального для всех случаев, поэтому вы шаг за шагом фильтруете трафик и смотрите, что в сухом остатке проходит в Метрику.

Есть боты, которые умеют обходить CF, поэтому вопрос решается не за один присест и со 100% гарантий, а по принципу удовлетворительного состояния.

Есть методика использования ботов с мобильных подсетей, с которых нельзя явно банить заходы по IP и их подсетям, поэтому здесь нужна более тонкая работа.

У вас судя по скриншоту проходит Битерика, а это чаще всего бот трафик.

Раньше они кликали по рекламе, и все норм было. Потом РСЯ затух с доходом и баны стал раздавать - люди не поняли прикола, т.к не крутят.
Потом ботов стало больше и они чисто под яндекс поиск. Зачем они  сейчас нужны, если только нагрузку создают, да еще в таком количестве.

Прямые заходы, другие страны просто отсекать. А что можно сделать с роботностью 60% из Рф из поиска яндекс? Как тут можно отсечь ботов от людей?

И своим все обрубили. Здесь спецы делают себе такие настройки CF, что к ним не могут зайти с главных РФ провайдеров ...

Зачем вам CF, если можно прекрасно жить без этой облачной капусты ???

Каждые примерно 2 минуты идут на главную " / ", получают 403.
С ПФ это связано быть не может, это скорее всего Питоновец пытается сервер нагрузить.

Интересно, какую цель преследуют подобные дятлы? Сайт молодой, топы не занимал, никому пока не мешал.

Я сам питонил весной, тренировался парсить, скачивал категории. Но здесь тупо в главную без вариаций ..