Анти БОТ

Анти БОТ
Рейтинг
135
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
RomarioSpirtberg #:

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Реферер пустой при прямом заходе сразу на страницу /contacts/. А если зайти куда-то там на сайт, потом перейти на страницу контактов - он уже не пустой.
Раз страница /contacts/ не существует (правило распространяется только на нее, а не на вторую с about), а боты на нее ломятся - ну так и блочьте нещадно всех кто туда лезет, чего стесняться.

master32 #:

этих блокируй, 100% боты от cloudflare

Нужно значок сарказма ставить, почему-то не все его распознают.
А то совет по отправке в блок всей подсети AS 13335 CLOUDFLARENET кто-нибудь обязательно примет за чистую монету. 🤣

sh1kamaru #:

С таким никто не сталкивался? Очень много переходов с рандомных сайтов
Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

Ваш сервер пишет айпишники клауда, а не айпишники посетителей. Загуглите - как получить реальный IP адрес посетителя через Cloudflare.

GasTarbols #:
Смотрю на некоторых сайтах боты ломятся на 1 страницу, самую "суровую" проверку cloudflare они проходят. У всех пребывание на сайте до 15 сек. Вопрос такой: если настроить правило, которое блочит доступ на эту страницу для всех кто пришёл с пустым реферером, то на базе собранных айпишников есть смысл делать чёрный список или эти айпи каждую неделю будут разные? Очень много прёт с Краснодара, но по AS банить не хочу.

Список айпишников наверное нет смысла составлять,  обычно каждый такой заход - с нового.
Краснодарские боты - это скорее всего AS 12389 ROSTELECOM-AS (угадал?).
Я ростелекомовским подсовывал капчу, судя по отчету процент фильтрации был хороший, пролазило не так много.
Проверить можно здесь
https://db-ip.com/

RomarioSpirtberg #:

Т. е. надо поставить то, что в конце  URL-адреса без https://? Например, страница  https://site.ru/contacts/? надо поставить 

?

Alaev и WantNight выше все верно вам подсказали (спс).

(http.request.uri eq "/contacts/" and http.referer eq "")
iSmel #:
Та же проблема с неделю примерно пошли переходы левые с сайтов... насколько знаю к накрутчиков ПФ начались проблемы, ищут новые варианты похоже, нагуливают новых ботов

Да просто закончился сезон отпусков, дети пошли в школу, все пришли на работу. Снова подкрутили ботофермы на максимум, поперли заказы на ботов, вот и полезло на прогрев. 

alaev #:

Да хорош! За месяц большинство ботов отлетает. В большинстве случаев.

Ну там скорее всего имелось в виду, что при определенном багаже знаний.
А если вот так вот, с ноля, не видя разницы между доменом и поддоменом, то да, это может быть на годы.

RomarioSpirtberg #:

На прямые заходы. Что именно надо написать, не подскажите?

(http.request.uri eq "/abvgbarglag" and http.referer eq "")

Правило если страница = /abvgbarglag и пустой реферер (ну т.е. прямой заход.)

RomarioSpirtberg #:
Всем доброго времени суток! Может кто-нибудь подсказать в какое правило и что именно надо написать, чтобы запретить вход на определённые страницы сайта?

Вход кому, всем подряд? Или там например на прямые заходы или подобное?
Вносите в то правило, в котором есть нужное действие - блок, капча или проверка браузера.
site.ru/abvgbarglag

(http.request.uri eq "/abvgbarglag")
WantNight #:

можно добавить себя в исключение) но нет так нет, конечно у такого метода есть свои минусы, но и плюсы очевидные

Я на прямые заходы с ростелекома, тулабранч и еще что-то там третье, поставил капчу на одном из проектов сегодня. Это в дополнение к существующим правилам.
По метрике через какое-то время будет видно, насколько поменяется отчет. Отпишусь здесь.

WantNight #:

верно.

Ради эксперимента поставил себе так. Ввел адрес своего сайта. Словил блок.
Мне не понравилось, вернул как было )

Всего: 1391