Я думаю Семраш бот является известным и хорошим ботом для Клауда.
Список Known Bots - то что пропускает Cloudflare
ahrefs
Ahrefs SEO bot
apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions
archive.org
Archive.org bots
baidu
Baidu search engine bots
better uptime
Bot for monitoring website uptime
bing
Bing search engine bots
feedbin
Feedbin.com bots
google
Google search engine bots
grapeshot
Grapeshot (Oracle) SEO bots
linkedin
LinkedIn bots
mail.ru
Mail.ru bots
naver
Naver (South Korean) search engine bots
pingdom
Pingdom.com monitoring bots
pinterest
Pinterest bots
seznam
Seznam search engine bots
sogou
Sogou search engine bots
uptimerobot
Uptime Robot monitoring bots
yahoo
Yahoo! search engine bots
yandex
Yandex search engine bots
***
Если правило Allow - то Known Bots - зеленая галочка
Если Block - серая
У меня правила в Firewall rules расположены в таком порядке
1. Что жестко блокировать (Block - конкретные Usera Agents которые никак нельзя пропускать)
2. Что Обязательно пропускать (первым Known Bots а дальше feedburner, pinterest, facebook и т.д.)
3. Что пропускать через JS проверку ( все подозрительно и идущее через http/1.0 и 1.1, запросы к админке и т.п.)
ТО ЧТО ИДЕТ ВВЕРХУ ПО ПРАВИЛАМ CLOUDFLARE ПРИОРИТЕТНЕЕ К ВЫПОЛНЕНИЮ - то есть если вверху разрешить known bots а внизу логически запретить - то по общему правилу он разрешит.
Спасибо Вам огромное. Правда не нашел я где этот Allow в самом верху. Но сделал так, вроде это одно и тоже.
Если рефер пустой и ботов не знаем - блочим
правило Allow создайте и там включите Known Bots зеленым - на картинке у Вас block (внизу)
А вообще вся настройка cloudflare может уложиться в три строчки - Known Bots разрешить + разрешить все по http/2 и 3 - все остальное под JS challenge или под Challenge или вообще можно под блок. Правда в Allow придется позже занести полезные сервисы типа Feedburner и ботов вк и одноклассников, facebook и pinterest (если хотите чтобы расшаривали) ни и т.п. что нужно но работает под http/1.1 - нагрузка падает в разы - а погрешность (старые браузеры) всего до 1% - идея принадлежит Mik Foxi - за что я ему лично благодарен что он поделился.
PS но от поведенчески ботов это не спасет - там обычные браузеры - а вот парсеры и прочее отсекает на 99%
Тогда нужно пропускать роботов яндекс, гугл, bing, mail
Вот что первое пришло в голову
When incoming requests match… Referer equals Value (пустое) - block
AND
User-Agent DOES NOT CONTAIN "yandex"
User-Agent DOES NOT CONTAIN "google"
Поставил такой фильтр. Роботы яндекса нормально заходят, роботы гугла вроде тоже.Сейчас узнаю что в user-agent у bing и mail и тоже добавлю.
Разрешите Known Bots - в самом верху расположите правило Allow и там разрешите - там уже все - и яша и гоша и бинг и прочее (с недавних пор даже mail.ru )
Да у меня на сервере еще и htaccess не поддерживается)
Что выполняет данная директива?
блокирует direct трафик
Пропишите в htaccess на время
RewriteEngine onRewriteCond %{HTTP_REFERER} ^$RewriteRule ^ - [F,L]
если волна спадет - то чтобы не терять закладочников cloudflare+challenge - другого варианта Вам тут никто не подскажет говорено-переговорено на тысячи страниц - и в клауде готового решения нет - там есть решения по отсечению тупых БОТОВ а тут нормальные БРАУЗЕРЫ которые ничем от юзверевских не отличаются априори
Это здесь неприменимо, так как они с refferer
ну если они с referer то это не прямые заходы
Не ПОМОЖЕТ - при "под атакой" проверка js всего лишь - а у ботов реальные браузеры. Либо клауд - либо антибот ,с прямыми пустыми клауд справится, а когда с сотен липовых referer то только антибот (не реклама - просто сколько голову не ломали никто ничего путного так и не нашел)
