Помощь в фильтрации ботов через CloudFlare

Я бы попробовал, повникал, но пока вроде справляюсь. 150-250 реальных людей с поиска на товары в день идут. Прямых заходов (по метрике, не считая логи) в начале Октября было примерно 200 в день, сейчас остались единицы.

Если хлынут тысячи, пойду учить CF. Сейчас ролик посмотрел, там вроде все понятно. Спасибо.

Лучше раньше, чем позже.

Вот этот ASN  AS15169 GOOGLE нужно ли отдельно добавлять в правило SKIP к белым ботам? Или это спамный бот? Может его в Block лучше добавит? Вроде как тут писали, что не бот Google.

CF сейчас его пропускает через правило Manager Challenge.

Это типо Google Cloud - блокируйте его, ничего общего с ПС ботами Google нет. Там хостятся разные сайты / боты.

Отдельно добавлять не нужно, т.к с этой AS бывает как спам боты, так и гугл боты.

Cloudflare сам блокирует спам и пропускает нормальных гугл ботов, если у вас known bots включен.

Скорее всего в Cloudflare боты гугла добавлены белый список по IP.

Кто-нибудь блочит по юзер-агентам, в которых нет "Mozilla"? Разумеется с правилом для игнорирования хороших ботов. Ради эксперимента сделал правило js challenge на небольшом буржуйском сайте и уже месяц полет нормальный.  Понятно что всяких накрутчиков ПФ это не касается, но зато не нужно собирать коллекцию из сотни юзер-агентов очевидных ботов.

Из интересного заметил Mozlila - якобы известное семейство сканеров на уязвимости с опечаткой в юзер агенте, а также Dalvik - насколько понял с таким юзер агентом андроид пытается скачать файлы если стандартный браузер не справился. Еще старая Опера должна иметь Opera в UA, но я такого в логах еще не замечал. Всё остальное пока что бесполезные кравлеры.

Тык.

Но у меня эта сетка блочится примерно так:  (ip.geoip.asnum eq 15169 and not cf.client.bot)
то есть из этой сети действительно идут боты гугла, и когда то шел мусор. То есть правило было такое что пропускает всех из этой сети, кто по мнению клауда чист и потом блочит кого нет в базе.

Но сейчас смотря логи сайта вижу что там в блоке то проверка Ads.txt (она мне не нужна) и некоторые страницы.

Раньше с этой сети шел мусор, сейчас в целом наверное лучше сеть пропускать.

Но это лично для моего сайта сейчас эта сеть норм. Смотрите логи.

Не нашёл акцента, что эта AS является специфической для гугловского облака. Пишут, что она основная (primary).

В общем, да, надо на сам трафик смотреть.

у норм гугл ботов надо смотреть PTR проверяя их обратную валидность (по цепочке: ip-ptr-ip). Норм боты имеют  *.googlebot.com *.google.com