Помощь в фильтрации ботов через CloudFlare

Тоже был резкий всплеск прямых заходов, побанил их, теперь заходят по новой методике

В referer указывают  "https://www.google.com/", а ip такого вида: 72.14.201.30 , 72.14.201.70, 193.186.4.25 

Если проверить ip, то можно увидеть "Хост: 193-186-4-25.v4.fetch.tunnel.googlezip.net" , так же у всех один и тот же user-agent "Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Mobile Safari/537.36"

Заходят на несколько страниц на сайте, причем у меня несколько сайтов и на каждом такое. 

У кого-то было такое? 

Попытался заблочить по фильтру Cloudflare, там есть параметр hostname, сделал hostname contains  googlezip, но почему-то не срабатывает. Еще попытался сделать Страна US и referer = "https://www.google.com/", тоже почему-то не сработало.

Если их нужно забанить, то правило надо кинуть выше known bots allow.

Но их лучше не банить. Можно в абузу написать, Гугл отвечает. Мне на один сайт одно время ломились индусы гугловские.

Посмотрите по логам в какое время у вас были эти визиты и найдите их в cloudflare, в WAF->Events.

Скорее всего вы не правильно как то указали правило для фильтрации по User agent.

С этой сети AS15169 помимо ботов гугла, так же бывают и спамные визиты, которые пытаются себя выдать за ботов гугла, но CF их не пропускает без проверки (в Known Bots их нет), т.к скорее всего "белый список" ботов гугла создан их списка IP.

Скиньте сюда правило, как настраиваете фильтр по user agent.

А на странице WAF->Events все запросы отображаются? или только те, которые затрагиваются правилами? Потому что я не вижу там этих запросов, которые есть в nginx access логе

Разобрался, все эти ботовские запросы были с AS15169. Мои правила не срабатывали, потому что я делал Country = US, но на деле cloudflare их другими странами считает.  Вот с этим правилом вроде будут блочиться. 

Те, которые обработаны по правилам.

А у вас эти спам визиты в метрике отображаются как переходы по ссылкам или прямые заходы?

Как переходы из поисковых систем

Никто не пробовал включать эту настройку? Помогает или нет?

Сам спрашивал зачем вы ботов блочите, а вот самого одолевать стали. Глаза мозолить стали, захотел убавить их количество, но чтобы не навредить, не заблочить реальных людей.

Нет, не работает. Поведенческие-спам боты - это бич рунета, за бугром ни у кого такой проблемы нет.

Буквально чуть-чуть помогло. Поменьше процент роботности стал, но всё равно еще высоковатый. Так что да, можно сказать, что не работает.

Совсем не помогло. Не знаю почему, но после включения этой функции у меня трафик с яндекса сильно просел. После выключения - всё на свои места встало. В логах (Events) не так уж много отсеивало, должно было нормально быть (это к тому, что может быть боты рефер яндекса подставляют, но не похоже)

Может кто-то знает в чем дело? Такое ощущение, что за борьбу с ботами яндекс фильтр влепил (скрытый). Вряд ли это так, дело в чем то явно в другом, но по ощущениям примерно так.