Помощь в фильтрации ботов через CloudFlare

Спасибо, теперь понял )

Доброго времени суток! Как сейчас в 2024 правильно указать User Agent для Яндекса и Гугла ?

В интернете пишут какие-то разные варианты, не хотелось бы КФ блочил поисковые системы. Для Яндекса я нашел, аж три варианта, какой верный то ) И какие поисковые системы еще можно добавить в список

Также как всегда

YandexBot

Если вы указываете юзер агент поисковиков вручную (хз зачем), то в этом же правиле должны быть ip этих поисковиков, иначе это правило будет пропускать все, что представляется этими поисковиками.

Много ботов пошло на сайт который давно в бане РКН и даже не в индексе. В аналитике определяются как Тайланд а метрика не стоит. Смысла гнать ботов не понял. После отключения ipv6 на 90% меньше стало

Нужно разрешать не user agent, а сети ПС.

На первое время (1-2 дня) делаете Known Bots - собираете сети хороших ПС, далее отключаете Know Bots (так как по базе клауда - якобы хорошие боты, не всегда хорошие), делаете правило на пропуск сетей ПС.
Если не хотите заморачиваться, просто Known Bots и наблюдайте.

У меня такое вот условие на блокировку ботов  OJSC Rostelecom Macroregional Branch South. 

Вся суть что боты все равно проходят. Что я делаю не так ? почему боты все равно проходят. Хотя условие стоит : Block

Так же и с некоторыми другими сетями.

У Ростелеком ботов две сети ( 12389 25490 ), да и referer может быть как - (черточка), это тоже пустой реферер и прямой заход. А может быть еще referer (адрес сайта).
Вы своим правилом блочите все прямые заходы с этой сети, что не хорошо.  В яндексе или в гугле вбейте ojsc rostelecom macroregional branch south боты - там есть материал подробный про этих ботов и как заблокировать. Изучайте, настраивайте. Ссылку не кидаю, ибо сочтут за рекламу.. А писать одно и тоже сюда не вижу смысла. Все бесплатно и доступно..)

Сегодня наблюдал очень много заходов из сети Hetsner c User Agent Googlebot.
Как считаете, это реальный Google, или кто-то маскируется под него ?

Где-то в другой ветке нашла это правила для белых ботов, подскажите, нормально правило? Посещаемость падает, пытаюсь разобраться в каждом настроенном мною пункте. Может что-то лишнее поставила?