Помощь в фильтрации ботов через CloudFlare

Подскажите кто, что это такое? по логам это первый раз такое. Не взлом акка?) То что замазано, там почта от акка mail.workers.dev   Раздел: Manage Account > Audit Log

# (AS44812) IP SERVER LLC

# (AS59504) LLC Vpsville

# (AS204916) Racktech Co. Ltd.

# (AS29182) JSC IOT

# (AS50113) NTX Technologies S.R.O.

# (AS35048) Biterika Group LLC

# (AS45027) LLC Internet Tehnologii

# (AS60389) Manir LLC

# (AS213220) Delta Ltd

# (AS49492) Mehed Studio LLC

# (AS34665) Petersburg Internet Network Ltd.

# (AS211027) Perfect Cloud Technologies LLC

# (AS56630) Melbikomas UAB 

# (AS205125) Network Management Ltd

# (AS204490) Kontel LLC

Попался мне клиент, у которого вот эти AS сети гуляют. Ну битерика понятно, а остальные. Посмотрел через клауд, все есть кроме   AS56630.
Эти сети чисто хостинг компаний,  у клиента галочку клауда (бесплатный тариф) конечно же они проходят :)

Список взял отсюда  [Nginx] Config for block site bots / Конфиг для блокировки вредного трафика от хостинг провайдеров · GitHub

И выделил только AS, там же есть и для .htaccess

Так что блокируйте, ушел смотреть свои сайты на эту бяку.. и у него боты эти сидели больше 15 секунд.

Вот с этими негодяями небольшая загвоздочка есть. Спама от них море, здесь не поспоришь. Но они еще и домашний интернет предоставляют, редиски.
Т.е. в чистый блок как-то рука не поднимается ставить, приходится под капчу.

Лично на моем сайте этих сеток вообще человек 5-10.. (очень мало)  АS  34665 нет..

Один только заход с юзером Scrapy/2.5.1

Есть ли там реальные пользователи вопрос спорный, но у клиента 60% по  HTTP/1.1 - остальные по 2 протоколу. и я думаю тех кто по 1, можно в бан точно, если нет правила блокировки  HTTP/1.1

Ну HTTP1 это понятно. 

Из того списка у меня допустим большая часть или в правилах на блок, или на капчу. И они как правило все на HTTP2 ходят.
С той же PINSPB за вчера на одном из проектов больше 10 тыс коннектов.

Здесь другая интересная темка вырисовывается - если вручную проходят капчу клауда, и потом бот долбится на сайт без перерыва, только юзерагенты меняет.

читал про настройки фильтрации ботов для CF

все упорно рекомендуют фильтровать по протоколу например  HTTP/1.1

бред!

по этому протоколу например на мои сайты поисковые роботы Яндекса и Гугла ходят.

думать надо, когда советуете!

В этой теме 62 страницы, в соседней - 50. В вашем топике (это там где "я включил Under Attack а поведенические боты не пропали, что за обман"), куча советов и обсуждений.  Даже готовых рецептов правил.

То что вы прочли по 1 странице из каждой темы, не значит, что знаний у вас прибавилось. Скорее, наоборот. Иначе не делали бы таких идиотских выводов, как в цитате.

Если вы не способны изучить вопрос, а уже права качаете, ну тогда обращайтесь в Спортлото там, лигу соответствующих меньшинств, в другие подобные организации. Зачем здесь на вентилятор набрасывать.

Думать надо, когда пишите чушь. Например в клауде бесплатном 5 правил. 1 правилом ставите пропуск известных ботов (там галочка есть)..(там есть яндекс и гугл). А затем блок http 1.1 

Если вы не изучали подробно защиту сайта, смысл такое писать?

Изучайте.

По наивности думал, что Клаудфэр сам ботов блочит, а оказывается много мороки.

Напрямую ботву блокирую без КФ, чисто вот так без заморочек.

#
Deny from 45.87.252.0/23
Deny from 2a0c:4182::/32
...

PS Я неопытный в этой теме, несколько дней всего этим занимаюсь. Пока вроде основную массу ботвы отсек ..

Может нужно читать нормально? Что мешает гугла ботов добавить в исключения