Анти БОТ

Анти БОТ
Рейтинг
129
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
TheVS #:
Подключение одного из сайтов к cloudflare показало, что там этих ботов за ботов не считают, они проходят все имеющиеся проверки. Фильтруется только то, что и так без проблем через htaccess фильтровалось.

Какие все )
Кроме как включить клауд, его и настраивать нужно. Или вы врубили режим Under Attack и ждете что он вам поведенческих ботов забанит? Он вообще не для этого.

Это как купить микроволновку, и даже не вынимая ее из коробки кричать что не работает. Давайте уже по конкретике пройдемся.

Бахин #:

сами вчитайтесь в то, что написали! "...прямые с подменой рефереров..." 🤣

Да ладно, человек хотел показаться очень умным, и даже не заметил как сходил под себя, бывает 😂

Form777, прямой заход - это заход в котором нет реферера.
А заход с подменой реферера из соседнего топика (переход с какого-то якобы сайта) - это заход в котором реферер ЕСТЬ 🤣

Мы тут в теме обсуждаем первый вариант, ту проблему которая есть у топикстартера.
Перед тем, как с уверенным видом гнать пургу, нужно хотя-бы загуглить о чем речь и как что называется. А не придумывать новые, неведомые доселе понятия, наподобие прямых заходов с подменой рефереров. Ох уж эта пятница...

MaddeN #:

Ну а как заблокировать, ставить Cloudfare на все прямые заходы? Или только на эту страницу? Если там вообще такая возможность есть.

Да вот буквально вчера это в соседнем топике обсуждалось, про то как отдельную страницу по прямым в блок или под капчу.
Вот прямой линк на нужный кусок кода в правило.
https://searchengines.guru/ru/forum/1075193/page52#comment_16933615

Решение обсуждается вот здесь.
https://searchengines.guru/ru/forum/1075193

Если вкратце - это боты и их нужно сразу блокировать. Смените страницу - начнут ломиться на другую. Так что блокируйте на этой.
Вот можно себе увлекательное чтиво по теме, на 50 страниц, организовать.
https://searchengines.guru/ru/forum/1075193
RomarioSpirtberg #:

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Реферер пустой при прямом заходе сразу на страницу /contacts/. А если зайти куда-то там на сайт, потом перейти на страницу контактов - он уже не пустой.
Раз страница /contacts/ не существует (правило распространяется только на нее, а не на вторую с about), а боты на нее ломятся - ну так и блочьте нещадно всех кто туда лезет, чего стесняться.

master32 #:

этих блокируй, 100% боты от cloudflare

Нужно значок сарказма ставить, почему-то не все его распознают.
А то совет по отправке в блок всей подсети AS 13335 CLOUDFLARENET кто-нибудь обязательно примет за чистую монету. 🤣

sh1kamaru #:

С таким никто не сталкивался? Очень много переходов с рандомных сайтов
Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

Ваш сервер пишет айпишники клауда, а не айпишники посетителей. Загуглите - как получить реальный IP адрес посетителя через Cloudflare.

GasTarbols #:
Смотрю на некоторых сайтах боты ломятся на 1 страницу, самую "суровую" проверку cloudflare они проходят. У всех пребывание на сайте до 15 сек. Вопрос такой: если настроить правило, которое блочит доступ на эту страницу для всех кто пришёл с пустым реферером, то на базе собранных айпишников есть смысл делать чёрный список или эти айпи каждую неделю будут разные? Очень много прёт с Краснодара, но по AS банить не хочу.

Список айпишников наверное нет смысла составлять,  обычно каждый такой заход - с нового.
Краснодарские боты - это скорее всего AS 12389 ROSTELECOM-AS (угадал?).
Я ростелекомовским подсовывал капчу, судя по отчету процент фильтрации был хороший, пролазило не так много.
Проверить можно здесь
https://db-ip.com/

RomarioSpirtberg #:

Т. е. надо поставить то, что в конце  URL-адреса без https://? Например, страница  https://site.ru/contacts/? надо поставить 

?

Alaev и WantNight выше все верно вам подсказали (спс).

(http.request.uri eq "/contacts/" and http.referer eq "")
iSmel #:
Та же проблема с неделю примерно пошли переходы левые с сайтов... насколько знаю к накрутчиков ПФ начались проблемы, ищут новые варианты похоже, нагуливают новых ботов

Да просто закончился сезон отпусков, дети пошли в школу, все пришли на работу. Снова подкрутили ботофермы на максимум, поперли заказы на ботов, вот и полезло на прогрев. 

Всего: 1326