Помощь в фильтрации ботов через CloudFlare

Я удалил мэйл.ру из отдельного правила, где know bots. И всё равно он заходит на сайт, что видно по логам. А тут в соседней теме на форуме пишут, что "мыло" уже сменилось на яндекс и теперь такого отдельного поиска нет. Так что думаю, что пора уже добавлять мэйл.ру к плохим роботам, чтобы не заходил на сайт и не создавал лишнюю нагрузку.

это никакая потеря трафика, чем какая ))

Вопрос из начала темы. 

есть видос который упоминали. сделал все так же.

нагрузка на сайт не упала. в CF работа вроде идет за 15 минут где то  bad country 10
http 5
а полезные боты где то 50. это точно полезные? что то их много.

помогите как убрать нагрузку) и если убрать конкретно всех ботов что тогда будет? даже полезных. так как я вижу из яндекса ботов куча их ранее не было. а щас все боты мира у меня 

получается мне надо заблочить и яндекс и гугл? судя по айпи адресам лезет яндекс из рф. а рф у меня открыт

Из полезных ботов можно оставить Яндекс, Гугл, бинг и что-то там ещё.

А все остальное в бан. Всякие ahrefs, majestic и прочие.

за 20 минут зашло в районе 15 ботов
и 25 ботов гугла

это нормально? я только что не делал) запрещал и через роботс и через .htaccess
через что банить их? и почему так много ботов от гугла и яндекса 

за последние 3 дня вот эти боты заходят

"msnbot|Googlebot|PetalBot|YandexRenderResourcesBot|bingbot|AhrefsBot|YandexBot|MJ12bot|DotBot|AdsBot-Google|BLEXBot"

Можно поставить отдельным правилом, перед know bots, банить если юзерагент такой-то. И всех левых ботов туда.

только имейте в виду, с cloudflare такое есть, без него все быстро. для тех кому важна всякая такая скорость.

Это не про клауд, а про оптимизацию самого сайта / хостинг )
Не нужно вводить людей в заблуждение.

возможно ) но пока гугл прислал только на те сайты, которые с клаудом, а те которые просто на шареде бегета не прислал. и оно и визуально заметна разница, что с клаудом получается медленнее, если клиент гдето в ссср.