Помощь в фильтрации ботов через CloudFlare

KH
На сайте с 08.12.2016
Offline
108
#161
sagamorr #:

Вы делали настройку по статье vc?

Для правила с проверкой пустого реферера поставьте Managed Challenge, за место JS.

И отключите правило с проверкой IPV6, там большая часть нормальных юзеров попадает под проверку и проходят ее, поэтому и внутренние переходы растут.

Легче капчу выдавать прямым заходам, так как лично у меня при  Managed Challenge они идут во внутренние переходы, а при капче, все пучком. 

S
На сайте с 12.10.2012
Offline
233
#162
KeicH2O #:

Легче капчу выдавать прямым заходам, так как лично у меня при  Managed Challenge они идут во внутренние переходы, а при капче, все пучком. 

Как на капче и Managed Challenge могут расти внутренние переходы, т.к проверка показывается абсолютно все.

В Managed Challenge система сама выбирает кому выводить проверку и какую, кому то она вообще не показывается.

S
На сайте с 12.10.2012
Offline
233
#163

Нашел "дыру" для ботов которые идут через прямые заходы.

В статье на vc.ru, в правиле настроена проверка на пустого реферера, а у каких то ботов в этом параметре стоит полный url посещаемой страницы: https:// domain.com/category/page-1

Cloudflare такой визит не проверяет, а в метрику он подгружается как прямой заход.

RS
На сайте с 05.05.2023
Offline
10
#164
sagamorr #:
Allow они теперь заменили на Skip. По остальному ничего не поменялось вроде бы.

 Всем доброго времени суток!

Тоже настраивал фильтрацию ботов через CloudFlare по видео и статье  Ивана Зимина. Возникает следующая ситуация: если включить третье правило ( Блокировка трафика из протокола HTTP1.1, код  (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")), то при проверке модуля Яндекс.Маркет в админке сайта (сайт на Битрикс), с помошью которого создаются фиды для Поиска по товарам в Яндексе, выдаёт ошибку и в Вебмастере потом эти фиды блокируются. Также, если при включенном третьем правиле проверить любую страницу сайта в сервисе https://bertal.ru/, то код ответа 403, т. е. заблокировано. Выключаешь это правило, модуль Яндекс.Маркет не выдаёт ошибку и в сервисе https://bertal.ru/ код ответа - 200.

Может кто-нибудь сталкивался с подобной ситуацией и может подсказать что надо написать в этом правиле? И вообще нужно ли это правило или можно обойтись без него?

B
На сайте с 27.05.2018
Offline
140
#165
sagamorr #:

Нашел "дыру" для ботов которые идут через прямые заходы.

В статье на vc.ru, в правиле настроена проверка на пустого реферера, а у каких то ботов в этом параметре стоит полный url посещаемой страницы: https:// domain.com/category/page-1

Cloudflare такой визит не проверяет, а в метрику он подгружается как прямой заход.

Т.е есть нет смысла если таких страниц сотни? Не добавлять же каждую в правила и сидеть днями и вычислять такие страницы

I
На сайте с 16.04.2023
Offline
0
#166
Добрый вечер. Подскажите, я так понимаю дубли страниц  с таким окончанием адресов __cf_chl_tk=.zLpe92OGFOmnFr7FDmZoEXKToOR19M23eNuzUB1d7Y-1682860553-0-gaNycGzNDGU это проделки CF? Редирект 301 поможет? И от чего страницы появляются? Нашел только пару ответов на буржуа, но тоже размыто как-то, вроде появляются при включении режима досс атаки. А если ее не включать дубли будут появлятся?
S
На сайте с 12.10.2012
Offline
233
#167
Biomusor #:

Т.е есть нет смысла если таких страниц сотни? Не добавлять же каждую в правила и сидеть днями и вычислять такие страницы

Нет, можно просто по вхождению домена в реферер проверять.
S
На сайте с 12.10.2012
Offline
233
#168
izummm #:
Добрый вечер. Подскажите, я так понимаю дубли страниц  с таким окончанием адресов __cf_chl_tk=.zLpe92OGFOmnFr7FDmZoEXKToOR19M23eNuzUB1d7Y-1682860553-0-gaNycGzNDGU это проделки CF? Редирект 301 поможет? И от чего страницы появляются? Нашел только пару ответов на буржуа, но тоже размыто как-то, вроде появляются при включении режима досс атаки. А если ее не включать дубли будут появлятся?
Там таких страниц единицы, видимо счетчик раньше подгружается, чем заканчивается JS проверка.
S
На сайте с 12.10.2012
Offline
233
#169
RomarioSpirtberg #:

 Всем доброго времени суток!

Тоже настраивал фильтрацию ботов через CloudFlare по видео и статье  Ивана Зимина. Возникает следующая ситуация: если включить третье правило ( Блокировка трафика из протокола HTTP1.1, код  (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")), то при проверке модуля Яндекс.Маркет в админке сайта (сайт на Битрикс), с помошью которого создаются фиды для Поиска по товарам в Яндексе, выдаёт ошибку и в Вебмастере потом эти фиды блокируются. Также, если при включенном третьем правиле проверить любую страницу сайта в сервисе https://bertal.ru/, то код ответа 403, т. е. заблокировано. Выключаешь это правило, модуль Яндекс.Маркет не выдаёт ошибку и в сервисе https://bertal.ru/ код ответа - 200.

Может кто-нибудь сталкивался с подобной ситуацией и может подсказать что надо написать в этом правиле? И вообще нужно ли это правило или можно обойтись без него?

По умолчанию все боты, кроме Known Bots блокируются. Запустите ваш сервис и после этого найдите этот визит в разделе WAF->Events.

Если сервис добавляет свое название в user agent, то в исключении добавляете проверку на вхождение названия, как для mail_ru сделано.

Если по User agent никак не идентифицировать, то сделайте исключение на AS сеть или IP.

Для Яндекса нужно добавить в исключения сети: 13238 и 208722.

RS
На сайте с 05.05.2023
Offline
10
#170
sagamorr #:

По умолчанию все боты, кроме Known Bots блокируются. Запустите ваш сервис и после этого найдите этот визит в разделе WAF->Events.

Если сервис добавляет свое название в user agent, то в исключении добавляете проверку на вхождение названия, как для mail_ru сделано.

Если по User agent никак не идентифицировать, то сделайте исключение на AS сеть или IP.

Для Яндекса нужно добавить в исключения сети: 13238 и 208722.

А как для Яндекса нужно добавить в исключения сети: 13238 и 208722? Не подскажите код правила или какие ставить значения в Field и Operator?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий