Помощь в фильтрации ботов через CloudFlare

Это нормальная ссылка , если была пройдена капча, то так и должно быть.

Я себе на одном из сайтов добавил эти правила 4 и 5 пунктом, при условии что такие хосты не проверялись раннее. Т.к. если они проверялись, и успешно прошли проверку, то по этому правилу проверяться уже не будут. Поэтому ставить в skip реферер вместе с хорошими ботами не рекомендую. Лучше сначала проверить по версии http, ssl. И да, это не панацея, т.к. идут ПФ-боты и с реферером поисковиков (гугл, яндекс), тут уже смотреть метрику и ip (как правило это меньше 15 секунд и не обязательно отказ).

У меня так:

1. Баню плохие asn, ии ботов, ненужные страны типа Индии.

2. Пропускаю хороших ботов

3. Блочу всех кто http < 2, ssl

4. Пропускаю (http.referer contains "google") or (http.referer contains "ya.ru") or (http.referer contains "yandex") or (http.referer contains "site")

5. Managed Challenge :  (http.referer eq "") or (http.referer contains ".ru") or (http.referer contains ".com") or (http.referer contains ".io") и т.д.

Проходят по 5 пункту, как говорит Cloudflare - 6%.

Повторюсь, это на одном из сайтов и в режиме тестирования. Аргументированная критика приветствуется.

Ваш метод я попробовала в своем правиле с белыми ботами.  Он у меня вторым идет. Вот только сомневалась по поводу   or (http.referer contains "site") - в одной ветке видела такое сообщение с гугл и яндекс, решила попробовать без своего сайта. Пробовала зайти через поиск яндекс со своего мобильного интернета, стили с сайта сбились, картинки не отображались. Добавила в правило   or (http.referer contains "site") - ну и вроде все подгрузилось. Вот не знаю, это именно по этому? Хочу еще раз протестить после перезагрузки, должен вроде ip смениться. Мне приходится тестить все на моем основном сайте, который мне важен. Поэтому стараюсь все внимательно изучить. 
Мои правила для моего сайта более менее сработали. Видимо под каждый проект нужны свои наборы правил. Все индивидуально. 

Кэш cloudflare можно попробовать очистить и кэш браузера (или в анонимной вкладке).

http.referer contains "site" - как раз для загрузки стилей, скриптов и т.д. Еще обратите внимание, если что-то подгружается со сторонних ресурсов (шрифты, например), также добавьте в skip. Да, все индивидуально.

p.s. это тоже основной сайт, просто улетел в августе 2023 (незначительное падение началось в марте-апреле 2023, порядка 10-15% с яндекса, думал сезонность), пару раз возвращался, но снова улетал. Еще на нем (по сравнению с другими моими сайтами) много спамных ссылок идет с сайтов-картинок и прочим мусором. Поэтому решил на нем проводить тесты, а более лайтовые на другом. При этом есть сайт, где много рекламы, нет ботов, нет спамных ссылок и он хорошо сидит в поиске.

Ооо.. с нашим проблемным было примерно то же самое. То же началось в марте с середины и тоже с картинок много шли. А еще прямые заходы с посторонних сайтов. 

У меня одного сейчас такое при попытке редактировать правила в WAF?

PS
Проблема общая, в cloudflarestatus появился тикет на эту тему.

К нам пошли визиты на страницу товара, на одну и ту же страницу за вчера было около 40 прямых заходов. Изучая эту тему поняла, что причина может та, что указана на фото ниже

Правильно ли я делаю, что добавляю в исключение это правило? Может что-то нужно еще сделать, чтобы поисковики нормально индексировали мои фото товаров? 

Поисковики и так будут нормально индексировать картинки, если им это доступно )))

В яшку доры из картинок с других сайтов ботами заталкивают. Яшке нужен траф на странице, хоть прямые заходы, лишь бы не отказы, тогда и картинки полетят в индекс. Но это уже не про защиту от ботов.

подскажите, как с помощью cloudflare сделать блокировку ботов пытающихся массово сканировать сайт, но получающих ошибку 404?