Помощь в фильтрации ботов через CloudFlare

Парни, не сталкивались ли вы вот с таким моментом.

Периодически возникают ситуации, когда смотрю Метрику, захожу по ссылке захода на сайт, страница открывается, а картинок на сайте нет, фото товара в каталоге. Сбрасываю кэш на сайте, потом в Клауде, перезагружаю и все появляется. Можно даже в Клауде его не сбрасывать, только на сайте. Тут на форуме встретил обсуждение такой темы. У меня в принципе стоит модуль кеширования.

Отключил в Клауде кеширование всего. Рульс - Кэш рульс - и там создал правило. Пару галок всего проставить. Там же отключается кэширование?

-----

Пробовал Caching Level переключить со Стандарта на  No query string, но видать это к другому относится, не особо помогло.

Если при создании правил пользоваться только визуальным редактором, который предлагает нам Cloudflare, это накладывает на нас сильные ограничения — нам становятся доступны только 20-30% от возможностей WAF. К примеру, мы не можем применять в условиях скрытые функции, которые перечислены вот здесь.  Если, допустим, нам нужно добавить в «белый список» Яндекс, Google и Bing , важно учесть, что существуют боты, которые подделывают User-Agent, маскируясь под популярных пауков. А здесь без функции lower() для рЕгистРонезаВисимой проверки строки не обойтись, но её в стандартном редакторе нет.

Также, если просто нажимать на кнопки, интуитивно комбинируя блоки AND и OR, заметно «распухает» общий объём выражений. Когда к одной и той же ASN нужно добавить чуточку отличающиеся дополнительные условия, это приводит к чрезмерному дублированию (как у вас на 2 и 3 картинках). И лимит в 4,096 символов становится ближе, чем кажется в самом начале пути.

Написала недавно подробный туториал по продвинутому использованию Cloudflare WAF на примере бесплатной учётки. Но из-за специфики ниши (слишком высокая конкуренция, все пытаются своровать друг у друга дорогой контент с помощью парсеров), озвучить в паблике абсолютно все условия правил я не могу. Ограничилась только самыми важными, включая описание параметра Verified Bot Category, который значительно сокращает размер выражений:

Начинать читать можно вот отсюда. Время чтения: ~8 минут.

а разве можно пройти условие known bots только подделав user agent?

Можно еще проставить Энд если не входит в АСН, то блок. Вот у меня интересная картина есть, болтается бот Гугла, не пропускает его из за пустого рефера. АСН Гугла, в юзер агенте тоже вроде бы норм, никаких запретов на его Айпи или диапазон не стоит. В разрешениях стоит Известные Боты и боты Серч Энджин. Короче вроде все ок. А он все равно по рефереру не проходит.

Еще такой же Google Other, та же картина. Блока нет, но не проходит. Не знаю, может у Клауда не обновлена инфа.

условие known bots уже подразумевает набор условий, таких как user-agent и ASN, и прочих Reverse DNS...
то есть не имеет значения пытаться зайти под видом "known bots", не выполнив все условия
но там про другое, использовать не весь "known bots", а указанную категорию, например поисковики, но при не пускать ботов от AI
но эта функция доступна через интерфейс, нет проблем указать эти условия

                options: [{
                    value: "Search Engine Crawler",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.search_engine_crawler")
                }, {
                    value: "Search Engine Optimization",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.search_engine_optimization")
                }, {
                    value: "Monitoring & Analytics",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.monitoring")
                }, {
                    value: "Advertising & Marketing",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.advertising")
                }, {
                    value: "Page Preview",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.page_preview")
                }, {
                    value: "Academic Research",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.academic_research")
                }, {
                    value: "Security",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.security")
                }, {
                    value: "Accessibility",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.accessibility")
                }, {
                    value: "Webhooks",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.webhooks")
                }, {
                    value: "Feed Fetcher",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.feed_fetcher")
                }, {
                    value: "AI Crawler",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_crawler")
                }, {
                    value: "Aggregator",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.aggregator")
                }, {
                    value: "AI Assistant",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_assistant")
                }, {
                    value: "AI Search",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_search")
                }, {
                    value: "Archiver",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.archiver")
                }, {
                    value: "Other",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.other")
                }],

Блокируй по рефереру "https://xn--80aal9arbhf/"

Спасибо Огромное

curl -X PATCH "https://api.cloudflare.com/client/v4/zones/afd83df0d******ccb7827b4/settings/ipv6"\ -H "X-Auth-Email: ***@yandex.ru"\ -H "X-Auth-Key: e9adef2c******c31ed046a4af4685"\ -H "Content-Type: application/json"\ --data "{\"value\":\"off\"}"

В ответ получаю:

{"success":false,"errors":[{"code":7003,"message":"Could not route to \/zones\/afd83df******bc0fd11ccb7827b4\/settings\/ipv6\\, perhaps your object identifier is invalid?"},{"code":7000,"message":"No route for that URI"}],"messages":[],"result":null}

Ключи по несколько раз перепроверил, все правильно. Первый ключ из раздела, где кнопка отключения IPv6, второй это Global API. Почему не может достучаться, х.з.