Odimidorius

Всё, что прошло через флару превращается во внутренние переходы по метрике. Это ни на что не влияет, не переживайте. Не знаю, что и как у Вас настроено. Принцип должен быть такой. 1) Первое правило, пускаем белых ботов, но исключаем mail.ru  облачные сервисы гугла. Пропускаем ботов рамблера и системы оплаты например у нас подключено Юмани. Пропускаем все ip адреса ботов которые выложил яндекс в открытый доступ. Пропускаем толокеров, и пропускаем Вк роботов которые дёргают сниппеты для постов и тп в Вконтакте.

Вторым должно быть правило которое блокирует всю чушь, например у нас стоит все кто не из России в блок. Почему? Да потому что пусть лучше мне напишет человек(нам пишут в Вк), что не может попасть на сайт, я пойму, что он использует ВНП пытается зайти из другой страны и тд. Я ему объясню что нужен доступ из России. Чем буду с "такими" пускать ещё кучу мусора из-за бугра на свой сайт. Ещё как вариант можете сделать правило редирект там же на фларе, что если не из Вашей страны, то пусть человек идёт на такой-то адрес страницы. Главное исключить белых ботов. Создаёте по этому адресу страницу информационную типа "бла бла бла выключи VPN". Всё любой кто прётся не из России будет на нее закольцован. Также блокируем Tor  и неизвестные регионы. Блокируем все юзер агенты в которых встречается Bot,bot,BOT,Spyder,Spider,spider,spyder,crawl,Crawl,python,Python. Пустой и пробел юзерагент, HTTP/1.0 ,  всё что имеет уровень опасности выше 20 по мнению флары. Закрываем также если URL содержит sitemap, и рефер содержит redirect, googleusercontent.com. Закрываем AS47764, т.е в первом мы пустили ботов Вконтакте которые дергают сниппет, а тут остальным закрываем. Нечего им  делать на сайте.

3-е правило тоже блокируем всех опасных ботов из распространённого списка. Исключая тех кто содержит в названии Bot,bot,BOT,Spyder,Spider,spider,spyder,crawl,Crawl,python,Python. Поэтому должно поместиться из 2-х списков в 1, ну не влезет около 10-20 шт. из можно добавить во второе, там будет места достаточно.

4) И вот только тут переходим Manage Challenge: показываем всем кто пришёл из поисковых систем, то бишь рефер например yandex.ru/kz/by и тд, если рефер пустой. И если протакол http/1.1 и 1.2

5) Проверка JS Challenge всем кто прётся не https, важно чтобы у Вас был сертификат и работало https и также добавить правило редиректа там же на фларе с что все кто идёт по http перенаправляло на https. Хз галочка в настройках у них почему-то не работает, если ручками прописать, то всё хорошо.  Также проверка если рефер не Ваш сайт. 

Т.е. про итогу должно быть так, сначала пускаем всех хороших, потом точно баним всех плохих. А последние 2 правила - проверка всех остальных на вшивость. 

Ещё флара пускает в белых ботах amason, semrash, эти сети нужно отдельно забанить в последней вкладке. Нельзя ни в коем случае просто так пускать всех из известных сетей, сейчас куча облачных сервисов в этих же сетях, где можно взять вдс-ку и чё угодно творить.  

А ещё тут на форуме сидят те самые ушлёпки которые пускают на Вас ботов, которые будут Вам советовать такие настройки которые не заблокируют их;) Я вот собрал список около 700 ip из ростелекома и ещё 2 сетей с ботами, интересно подгадит им жить если выложить, сколько стоит сейчас купить прокси 150 рублей? тогда около 10к в рублях на новые придётся им потратить, это мала... нужно копить собрать по максимому. А потом выложить подосрать ушлёпкам.

У меня появились эти заходы как только отключил поддержку ipv6 на сайте.  Предпологаю это тунель для ботов с адресами ipv6.

У мейл.ру нет своего движка поискового, они используют яндек. Поэтому  я так думаю боты выдают себя за него идя из их сети, использую облачные сервисы. Я их заблокировал, так как техподдержка молчит и "мэил ру вебмастер кабинет" не работает!