Анти БОТ

Анти БОТ
Рейтинг
136
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
MaddeN #:

Ну а как заблокировать, ставить Cloudfare на все прямые заходы? Или только на эту страницу? Если там вообще такая возможность есть.

Да вот буквально вчера это в соседнем топике обсуждалось, про то как отдельную страницу по прямым в блок или под капчу.
Вот прямой линк на нужный кусок кода в правило.
https://searchengines.guru/ru/forum/1075193/page52#comment_16933615

Решение обсуждается вот здесь.
https://searchengines.guru/ru/forum/1075193

Если вкратце - это боты и их нужно сразу блокировать. Смените страницу - начнут ломиться на другую. Так что блокируйте на этой.
Вот можно себе увлекательное чтиво по теме, на 50 страниц, организовать.
https://searchengines.guru/ru/forum/1075193
RomarioSpirtberg #:

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Реферер пустой при прямом заходе сразу на страницу /contacts/. А если зайти куда-то там на сайт, потом перейти на страницу контактов - он уже не пустой.
Раз страница /contacts/ не существует (правило распространяется только на нее, а не на вторую с about), а боты на нее ломятся - ну так и блочьте нещадно всех кто туда лезет, чего стесняться.

master32 #:

этих блокируй, 100% боты от cloudflare

Нужно значок сарказма ставить, почему-то не все его распознают.
А то совет по отправке в блок всей подсети AS 13335 CLOUDFLARENET кто-нибудь обязательно примет за чистую монету. 🤣

sh1kamaru #:

С таким никто не сталкивался? Очень много переходов с рандомных сайтов
Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

Ваш сервер пишет айпишники клауда, а не айпишники посетителей. Загуглите - как получить реальный IP адрес посетителя через Cloudflare.

GasTarbols #:
Смотрю на некоторых сайтах боты ломятся на 1 страницу, самую "суровую" проверку cloudflare они проходят. У всех пребывание на сайте до 15 сек. Вопрос такой: если настроить правило, которое блочит доступ на эту страницу для всех кто пришёл с пустым реферером, то на базе собранных айпишников есть смысл делать чёрный список или эти айпи каждую неделю будут разные? Очень много прёт с Краснодара, но по AS банить не хочу.

Список айпишников наверное нет смысла составлять,  обычно каждый такой заход - с нового.
Краснодарские боты - это скорее всего AS 12389 ROSTELECOM-AS (угадал?).
Я ростелекомовским подсовывал капчу, судя по отчету процент фильтрации был хороший, пролазило не так много.
Проверить можно здесь
https://db-ip.com/

RomarioSpirtberg #:

Т. е. надо поставить то, что в конце  URL-адреса без https://? Например, страница  https://site.ru/contacts/? надо поставить 

?

Alaev и WantNight выше все верно вам подсказали (спс).

(http.request.uri eq "/contacts/" and http.referer eq "")
iSmel #:
Та же проблема с неделю примерно пошли переходы левые с сайтов... насколько знаю к накрутчиков ПФ начались проблемы, ищут новые варианты похоже, нагуливают новых ботов

Да просто закончился сезон отпусков, дети пошли в школу, все пришли на работу. Снова подкрутили ботофермы на максимум, поперли заказы на ботов, вот и полезло на прогрев. 

alaev #:

Да хорош! За месяц большинство ботов отлетает. В большинстве случаев.

Ну там скорее всего имелось в виду, что при определенном багаже знаний.
А если вот так вот, с ноля, не видя разницы между доменом и поддоменом, то да, это может быть на годы.

RomarioSpirtberg #:

На прямые заходы. Что именно надо написать, не подскажите?

(http.request.uri eq "/abvgbarglag" and http.referer eq "")

Правило если страница = /abvgbarglag и пустой реферер (ну т.е. прямой заход.)

Всего: 1414