Боты заходящие через прямые заходы и определяющиеся в метрике как люди

1. Мне по фигу

2. Ты не увидел главное в моем списке

3. Я не пользуюсь прогами антиботами и не рекомендую ими пользоваться

3.1. Кому надо, тот и так пробьется со своими ботами

3.2. С "водой можно  младенца вылить"

На 100% не решил, но большую часть отсек, поставил запрет на посетителей без куки и поддержки js.

Пробиться конечно можно, только на сколько возрастет стоимость таких ботов. Ботоводу вместо того, чтобы обходить капчу, проще найти другой сайт, где не стоит никаких ограничений.

это антиддос. причем старинный как динозавры. это спасает от старинного ддоса, от браузерных ботов никак не спасает.

хостерам нужно по рукам давать когда они такое включают, особенно некоторые типа джино и бегета могут и без уведомлений включить такую "защиту" и пофиг что у клиента отвалились и поисковые боты и боты эквайрингов, сапа и все остальное.

На сайте, где включил защиту от ботов, стал расти трафик из ПС. Только 98% без поисковых запросов в метрике.

Написал в поддержку метрики, вот что они ответили:

Для определения поискового запроса используется реферер. Если в реферере нет данных о поисковом запросе, информация о нем отсутствует в отчетах Метрики.
Также в настоящее время могут не определяться все поисковые фразы по переходам из поискового саджеста - в случае, если эта информация не была передана в cookies.

Погугли, что такое "поисковый сайджест". В хабре есть статья от яндекса - https://habr.com/ru/company/yandex/blog/455427/

Как я понял, это клики по подсказкам, прямо из поисковой строки Яндекса. В отчетах все эти клики схлопываются, а в вебизоре поискового запроса тоже нет.

Видимо ботоводы таким образом нагуливают профили, чтобы не палить ключевые слова которые прокачивают.

Как можно "ловить" такой трафик в клаудфлейре? Получается нужно условие, что переход идет из Яндекса и у него пустой реферер.

я встречался с тем, что клиент не в курсе был, что у него там какая то защита включилась. и только через неделю когда у него не работала оплата на сайте и еще куча ботов отвалилась и разобрались что включена защита. которая полностью затерла определение ip посетителя.

Боты поисковых не отваливаются

В данном случае имеет смысл заблокировать все юзер-агенты, кроме стандартных браузерных, с которыми серфят обычные пользователи.

Понятно, что из под регионального оператора никакой Яндекс на сайт заходить не будет. Кто-то подменяет заголовки. По простому.