Помощь в фильтрации ботов через CloudFlare

У всех крупных компаний свои отдельные AS, которые можно нагуглить. Все AS хостеров можно смело блочить.

Всё, что прошло через флару превращается во внутренние переходы по метрике. Это ни на что не влияет, не переживайте. Не знаю, что и как у Вас настроено. Принцип должен быть такой. 1) Первое правило, пускаем белых ботов, но исключаем mail.ru  облачные сервисы гугла. Пропускаем ботов рамблера и системы оплаты например у нас подключено Юмани. Пропускаем все ip адреса ботов которые выложил яндекс в открытый доступ. Пропускаем толокеров, и пропускаем Вк роботов которые дёргают сниппеты для постов и тп в Вконтакте.

Вторым должно быть правило которое блокирует всю чушь, например у нас стоит все кто не из России в блок. Почему? Да потому что пусть лучше мне напишет человек(нам пишут в Вк), что не может попасть на сайт, я пойму, что он использует ВНП пытается зайти из другой страны и тд. Я ему объясню что нужен доступ из России. Чем буду с "такими" пускать ещё кучу мусора из-за бугра на свой сайт. Ещё как вариант можете сделать правило редирект там же на фларе, что если не из Вашей страны, то пусть человек идёт на такой-то адрес страницы. Главное исключить белых ботов. Создаёте по этому адресу страницу информационную типа "бла бла бла выключи VPN". Всё любой кто прётся не из России будет на нее закольцован. Также блокируем Tor  и неизвестные регионы. Блокируем все юзер агенты в которых встречается Bot,bot,BOT,Spyder,Spider,spider,spyder,crawl,Crawl,python,Python. Пустой и пробел юзерагент, HTTP/1.0 ,  всё что имеет уровень опасности выше 20 по мнению флары. Закрываем также если URL содержит sitemap, и рефер содержит redirect, googleusercontent.com. Закрываем AS47764, т.е в первом мы пустили ботов Вконтакте которые дергают сниппет, а тут остальным закрываем. Нечего им  делать на сайте.

3-е правило тоже блокируем всех опасных ботов из распространённого списка. Исключая тех кто содержит в названии Bot,bot,BOT,Spyder,Spider,spider,spyder,crawl,Crawl,python,Python. Поэтому должно поместиться из 2-х списков в 1, ну не влезет около 10-20 шт. из можно добавить во второе, там будет места достаточно.

4) И вот только тут переходим Manage Challenge: показываем всем кто пришёл из поисковых систем, то бишь рефер например yandex.ru/kz/by и тд, если рефер пустой. И если протакол http/1.1 и 1.2

5) Проверка JS Challenge всем кто прётся не https, важно чтобы у Вас был сертификат и работало https и также добавить правило редиректа там же на фларе с что все кто идёт по http перенаправляло на https. Хз галочка в настройках у них почему-то не работает, если ручками прописать, то всё хорошо.  Также проверка если рефер не Ваш сайт. 

Т.е. про итогу должно быть так, сначала пускаем всех хороших, потом точно баним всех плохих. А последние 2 правила - проверка всех остальных на вшивость. 

Ещё флара пускает в белых ботах amason, semrash, эти сети нужно отдельно забанить в последней вкладке. Нельзя ни в коем случае просто так пускать всех из известных сетей, сейчас куча облачных сервисов в этих же сетях, где можно взять вдс-ку и чё угодно творить.  

А ещё тут на форуме сидят те самые ушлёпки которые пускают на Вас ботов, которые будут Вам советовать такие настройки которые не заблокируют их;) Я вот собрал список около 700 ip из ростелекома и ещё 2 сетей с ботами, интересно подгадит им жить если выложить, сколько стоит сейчас купить прокси 150 рублей? тогда около 10к в рублях на новые придётся им потратить, это мала... нужно копить собрать по максимому. А потом выложить подосрать ушлёпкам.

Скорее всего пользователь пошлет подальше такой сайт, а не будет что-то писать.

Всем известно где находится наибольшее количество ботов.

Сначала бы прочитали документацию КФ, а потом учили других

Нет, это вот, потому что пускаете по юзерагент. А нужно дать фларе пустить фларе ботов которых она знает, так как у Яндекс могут быть новые, то пустить все ip которые яндекс выложил на всеобщее обозрение. Ну в крайнем случае у Вас должно быть привязка юзерагент должен совпадать с сетью. Т.е. например агент Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) и его сеть должна быть AS15169. Если не совпадает, то не пускает.

Пожалуйста, можно не банить. Я написал, что можно перенаправить их на страницу на которой будет инфа "выключи ВПН".  Куча мусора, зачем мне он нужен, если я за бугром не торгую. И основная масса людей редко использует VPN на постоянной основе. Нужно знать ещё свою аудиторию конечно. А что не так по amason, semrash? Не даём собирать статистику и сканировать свой сайт всем кто пользуется Семраш, зачем их пускать, пусть оптимизаторы на других тренируются. Что не так?  

Я вот тут чуши всякой начитался когда первый раз настраивал, и понял кто тут и что советует. Сам разобрался и мне нравится статистика моего сайта, с 24% отказов упали до 9-11%, время на сайте выросло с 1.09 до 16.00-22.00 минут, и глубина просмотра с 1 до 3. Позиции растут и меня устраивает. А по советам "некоторых" товарищей всё было печально) 

Почитайте документацию как работают правила в WAF (ну или читайте эту ветку - уже обсуждалось). Еще скажите что при таком правиле блокируются боты из белого списка КФ )

Уже неверно. 

Второй раз неверно. Если Вы разрешаете первым правилом (Known Bots - белых ботов) их, то правилом ниже вы не забаните (тот же семраш). В клауде важен порядок. Не предоставляйте неверную информацию.

Зачем исключать? По-моему вы троллите.

Зачем капча для заходов из поиска? Вы хотите чтобы у человека вообще клиентов небыло?

На бесплатном тарифе нельзя делать кастомный HTML или редирект, как вы собираетесь перенаправлять?

Да  что хотите сказать то никак не пойму, про что речь? При каком правиле блокируются боты из белого списка? Я говорю что amazon и semrash сама флара считает за белых ботов.