Помощь в фильтрации ботов через CloudFlare

Анти ДДОС
На сайте с 14.03.2020
Online
92
#1031
KeicH2O #:

Почему только all remaining custom rules? А если он зоны настроит или хотлинки, то гугл и яша не будут индексить картинки. Не вводите в заблуждения. Галочки нужны везде известным ботом в первом правиле

Мы же сейчас про обычные стандартные настройки, а не про хотлинки и проч. В абсолютном большинстве случаев за пределы раздела WAF никто не вылазит.

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
vashfreelancer
На сайте с 24.10.2023
Offline
36
#1032
Smuel #:

Парни, а кто с таким сталкивался? Нулевой ASN. Айпишники каждый раз меняются. Боты идут на главную. Обходят Managed Challenge. Как таких банить?


В Вашем случае, достаточно заблокировать AS 0 или сделать точечное правило. Если заход на главную ( и прямой если прямой) и AS содержит 0, то блок. Ответ сразу наперед, да через визуальный редактор, значение 0 не введешь в правиле is in- будет ошибка. Вводите через кодовый вариант и сохраняйте или через точное значение equals.

Зачем Вам советуют отключить  IPV6 я не понимаю, тот же бот в большинстве случаев пойдет по IPV4. С таким же успехом можно блокать IPV6.

milov #:
господа, подскажите как сделать правило чтоб при переходе с ПС капча и т.п. не показывалась, т.е. без проверки заходили.
(http.referer contains "google") or (http.referer contains "mail") or (http.referer contains "yandex") or (http.referer contains "bing") or (http.referer contains "ya.ru") базовый пример, только правило должно быть выше, чем правило капчи. Также учитывайте, что в таком случае боты из поиска пройдут. Поэтому выше этого правила должно быть правило, которое блокирует ботов или же в этом правиле сделать более точную проверку и что бы оно не срабатывал на те сети откуда идут боты. Чтобы боты ушли в нижнее правило и поймали капчу.
Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
egel
На сайте с 20.12.2021
Offline
47
#1033
vashfreelancer #:
Зачем Вам советуют отключить  IPV6 я не понимаю, тот же бот в большинстве случаев пойдет по IPV4. С таким же успехом можно блокать IPV6.

IPv6 можно заюзать огромное количество с почти нулевым ценником. С IPv4 это дороже.

Разбираться с фильрацией 10 000 000 сорсов против 10 000, тем более по низкокачественными геобазам IPv6 на порядок более трудоемкая задача.

юни
На сайте с 01.11.2005
Offline
913
#1034
egel #:
на порядок более трудоемкая задача
Гео можно определять на сайте RIR'а напрямую, сами адреса v6 блокируются подсетями от /48. Как правило, меньше клиентам не выдают.
https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
M
На сайте с 23.01.2015
Offline
79
#1035
господа, почему просто не снять коды я.метрики и вообще не парится с ботами? для статистики лайвинтерент хватит с головой.
JJ
На сайте с 09.07.2010
Offline
240
#1036
А где можно настроить категорию ботов - Verified Bot Category?
Из роботов хочу оставить только Yandex, Google и Bing.
vashfreelancer
На сайте с 24.10.2023
Offline
36
#1037
milov #:
господа, почему просто не снять коды я.метрики и вообще не парится с ботами? для статистики лайвинтерент хватит с головой.

Это вариант, но он не решает другие проблемы с ботами, нагрузка останется. И если ботов в сутки около 100к, то сайту в целом может быть плохо. Не все боты отражаются в метрике. У меня были такие клиенты.

john_j #:
Verified Bot Category

WAF правила. Verified Bot Category  > Search engine crawler. Вот документация

Но я рекомендую добавлять ПС в исключения по ASN сеткам.

M
На сайте с 23.01.2015
Offline
79
#1038
vashfreelancer #:

Это вариант, но он не решает другие проблемы с ботами, нагрузка останется. И если ботов в сутки около 100к, то сайту в целом может быть плохо. Не все боты отражаются в метрике. У меня были такие клиенты.

Боты без метрики потеряют к вам интерес. так что нагрузки не будет.

vashfreelancer
На сайте с 24.10.2023
Offline
36
#1039
milov #:

Боты без метрики потеряют к вам интерес. так что нагрузки не будет.

Я здесь не согласен. Не всегда это так работает. Какая то часть Пф ботов отпадет, но как показывает практика, есть база URL, есть владельцы ботов. Им дают базу, они нагуливают ботов по URL, всё.
Но вообще рекомендую обходиться без метрики на своих проектах.

Анти ДДОС
На сайте с 14.03.2020
Online
92
#1040
egel #:

IPv6 можно заюзать огромное количество с почти нулевым ценником. С IPv4 это дороже.

Разбираться с фильрацией 10 000 000 сорсов против 10 000, тем более по низкокачественными геобазам IPv6 на порядок более трудоемкая задача.

Все правильно. А если кто-то утверждает обратное - в разговоре с ним внимательно следите за своим кошельком, тот в опасности.

Прокачивать ботов на IPv6 тупо дешевле по сравнению с IPV4. Многие сети поведенческих ботов крутятся только на IPv6, и простое отключение этого протокола сразу снижает нагрузку на сайт, в одной действие.

ASN44812 IP SERVER LLC, ASN204916 Racktech в основном по 6 протоколу ходят, и еще целая пачка подобных.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий