Борьба с ботами

Думаю, вы преувеличиваете мою оперативность и вовлеченность, я интересуюсь далеко не всеми темами 😊

Я просто обновил страницу и меня заинтересовал ваш комментарий, подумал, может какая новая методика появилась - это всегда интересно.

Хорошо, понял 😎👌

Если кратко, то вот ответ о том, почему топикстартер никак не мог понять, откуда у него там постоянно отсвечивает Тайланд.

Как? Обгуглился. Не получилось. Но у меня и на ВПС логи пишутся. Я могу достать все IP.  Даже отдельить ботов по юзерагенту. Только мне это ничего не даст...

А это очень плохо, если даже увидев эту картинку, я также не понял ничего?: 

Для начинающих - это нормально.

На самом деле, у вас есть целых 2 варианта. В зависимости от количества времени, которое вы готовы посвятить этому вопросу.

1. Попробовать разобраться самостоятельно. Вот тема, в ней 120 страниц.
https://searchengines.guru/ru/forum/1075193
2. Обратиться за услугой к тем, кто в этом разбирается (здесь или на кворке).

Вооо! Уже что-то.  Благодарю!

Я не то чтоб ленивый, просто не всегда понимаю какие мануалы курить нужно, а курить умею.

Таким образом, уже даже после просто запрета http , там чуть ли не по  1 запросу в секунду отсекать начало. Не знаю, правда, чисто ли боты все это. Но посмотрим на результат и постепенно еще правил нарастим.)) 

У меня аналогично с тайем в аналитике, уже писал здесь

https://searchengines.guru/ru/forum/1054913/page140#comment_16988609

120 страниц вряд ли упростит вам задачу, скорее займет больше времени и рассредоточит ваше внимание на огромное кол-ве малопонятных вам частностей.

Действуйте конструктивно и по шагам.

1) Организуйте передачу IP в Метрику - это уже определит более конкретно вашу рабочую картину, потому что нужно понимать ситуацию не с ваших слов, а с наглядной статистики ваших данных. Выше я вам указал, как это сделать.

2) 

Адресации с http запрещать не надо, потому что элементарно у вас могут сохраняться внешние ссылки на ваш сайт c http адресацией, которые данным намерением мы будете блокировать.

Не нужно блокировать http запросы, их надо с помощью автоматического редиректа переводить в https.

Боты могут работать и с https адресацией, равно как и пользователи могут приходить по http.

Я уже настроил. Посмотрел. Да, видно IP.  Но поскольку просто собирать их коллекцию - это не очень интересно - убрал. Эти списки и даже более широкие, я на самом сервере могу собрать. Однако, я не нахожу связи между блокировкой плохих ботов и файлом со списком IP у меня. Все блокировать, вместе с нормальными IP я не хочу, это аналогично полному запрету посещений для всех. 

Перенаправление есть. Однако, как пишут в тех гайдах, большинство ботов лезут по незащищенному.  Однако, я заметил что как оказалось, бешенный рост блокировок показал именно запрет IPV6, а не http. И вот тут хз стоит ли его запрещать. 

Хе, удалось вынудить один из источников ботов, так там такое чудо: 

Нет, не просто, это те IP, которые у вас попадают в Метрику после отсева CF. Это ключевой принципиальный момент.

Не сервере (в логах) вы можете посмотреть общий список IP, которые обращались к вашему серверу, а в Метрику будет уже отфильтрованный вариант.

Следовательно, сравнивания одно и другое, вы поймете насколько эффективно у вас настроена фильтрация в CF.

Большинство - да, потому что это банально дешевле (в вопросе организации бот активности).

А вот это верно - IPV6 надо запрещать, в большинстве случаев там нет полезных пользователей.