Помощь в фильтрации ботов через CloudFlare

S1
На сайте с 08.09.2023
Offline
0
#521

С таким никто не сталкивался?

Очень много переходов с рандомных сайтов

Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.147 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.123 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.177 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

172.70.251.24 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

png czynex_y1uk99_2023-09-08_r_09.10.33.png
M3
На сайте с 09.02.2022
Offline
108
#522
sh1kamaru #:

С таким никто не сталкивался?

Очень много переходов с рандомных сайтов

Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.147 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.123 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.177 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

172.70.251.24 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

этих блокируй, 100% боты от cloudflare

merser
На сайте с 21.06.2005
Offline
181
#523
зайдите на эти сайты, посмотрите источник переходов (ссылки или скрипт)
RUALL - Реклама и продвижение - ( https://ruall.biz/?ref=51 )
KH
На сайте с 08.12.2016
Offline
112
#524
master32 #:

этих блокируй, 100% боты от cloudflare

Зачем их блокировать если это CF боты, которые не скликивавют рекламу и распознаются как роботы?

AB
На сайте с 27.01.2016
Offline
116
#525
sh1kamaru #:

С таким никто не сталкивался?

Очень много переходов с рандомных сайтов

Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.147 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.123 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.250.177 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

172.70.251.24 - - [08/Sep/2023:08:18:09 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

Тоже заметил большое количество прямых заходом с реферерами левых сайтов, на которых точно нет ссылок на меня. Есть способы с этим бороться?

Анти БОТ
На сайте с 14.03.2020
Offline
129
#526
master32 #:

этих блокируй, 100% боты от cloudflare

Нужно значок сарказма ставить, почему-то не все его распознают.
А то совет по отправке в блок всей подсети AS 13335 CLOUDFLARENET кто-нибудь обязательно примет за чистую монету. 🤣

sh1kamaru #:

С таким никто не сталкивался? Очень много переходов с рандомных сайтов
Лог выглядит примерно так:

172.70.250.163 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"
172.70.251.26 - - [08/Sep/2023:08:18:08 +0300] "GET"Mozilla/5.0 (Linux; arm_64; Android 10; Mi 9T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5105.106 Mobile Safari/537.36"

Ваш сервер пишет айпишники клауда, а не айпишники посетителей. Загуглите - как получить реальный IP адрес посетителя через Cloudflare.

Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
RS
На сайте с 05.05.2023
Offline
10
#527
GuruSite24 #:

Alaev и WantNight выше все верно вам подсказали (спс).

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Анти БОТ
На сайте с 14.03.2020
Offline
129
#528
RomarioSpirtberg #:

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Реферер пустой при прямом заходе сразу на страницу /contacts/. А если зайти куда-то там на сайт, потом перейти на страницу контактов - он уже не пустой.
Раз страница /contacts/ не существует (правило распространяется только на нее, а не на вторую с about), а боты на нее ломятся - ну так и блочьте нещадно всех кто туда лезет, чего стесняться.

M
На сайте с 13.06.2020
Offline
50
#529
del
alaev
На сайте с 18.11.2010
Offline
862
#530
RomarioSpirtberg #:

Дело в том, что у меня эта страница почему-то открывается по двум адресам: https://site.ru/contacts/ (код ответа 404) и https://site.ru/about/contacts/ (код ответа 200). Если заблокировать, как вы пишите contacts, то тогда и нормальные пользователи не смогут зайти на страницу contacts. В Метрике я обратил внимание, что по прямым заходам сначала попадают на страницу https://site.ru/contacts, несколько раз по ней ходят, потом переходят на страницу https://site.ru/about/contacts/ и после этого посещение заканчивается. И когда много таких заходов в день, то процент роботности увеличивается. Может быть что-то другое надо сделать?

Во-первых, этот дубль нужно убрать. Либо смотреть код cms, либо в .htaccess прописать 

Redirect 301 /about/contacts/ https://site.ru/contacts/

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий