Боты заходящие через прямые заходы и определяющиеся в метрике как люди

Самое оптимальное решение для борьбы с ботами (на мой взгляд), которые идут по прямым заходам - установка cloudflare и отправка директ трафика на проверку Managed Challenge.

У меня большинство ботов выкосило таким способом.

В данном случае имеет смысл заблокировать все юзер-агенты, кроме стандартных браузерных, с которыми серфят обычные пользователи.

Понятно, что из под регионального оператора никакой Яндекс на сайт заходить не будет. Кто-то подменяет заголовки. По простому.

Бред, вы не тех ботов косили. Таких, про которых здесь пишут - которые заходят в одно и то же время в количестве 200-500 штук на сайт, их так не закроешь. Проверено лично на Cloudflare и Antibot. Сегодня первый день, как они не зашли, до этого недели две стабильно заходили. Видимо поставили на паузу эту сетку, а лучше бы и навсегда.

В cloudflare можно посмотреть статистику по заблокированным запросам и судя по количеству заблокированных, никто, ничего не выключал.

Cloudflare показывает много заблокированных заходов, при этом среди них нет ни одного из тех ботов, которых считает метрика. Я использую несколько правил: прямая ссылка, user-agent, регион, http. Cloudflare блокирует кучу мусора по этим правилам, но их примерно 100, когда ботов - 200 (было 200 в первые дни), затем стало 400-500. Cloudflare не записывает в логи эти заходы ни как allowed, ни как blocked, я считал количество, там нет столько и близко. И по времени ни разу не совпадают, сотни ботов заходят в одно и то же время (либо в 6 либо в 8 утра) и в логах этого нет от слова совсем, там 1-2 захода других фиксируется, такой всплеск с одним и тем же временем нереально не увидеть.

Вы явно не сталкивались с такими ботами.

У меня всё точно также, как у nkaado # - https://searchengines.guru/ru/forum/1073074/page6#comment_16878761

Повторюсь, не помог ни Cloudflare (сам настраивал), ни Antibot (настраивал специалист по этой теме). Количество не упало ни на одного бота, напротив - выросло (не из-за сервисов естественно, но это наглядно показывает, что они с ними не могут бороться). Причём в вебвизоре эти боты не отображаются, из-за чего IP не увидеть, ботов видно только в разделе "клиенты и посетители" или в общей метрике. Сегодня - первый день за 2-3 недели, когда они не зашли на сайт.

Прикрепил фотку, боты залетали ежедневно сначала буквально за 1-2 минуты, затем их стало больше и стали растягиваться на 5-10 минут, после этого времени за день они на сайте не появляются. Один раз заходят в одно время и всё.

Какое у вас правило стоит для директа трафика? Скиньте ваши настройки cloudflare сюда и домен на который идут боты, тоже сюда или в личку.

У меня на сайтах где шло по 500 ботных переходов в день, осталось по 30-50.

он был не специалист )) там по умолчанию из коробки все настроено. нужно просто поставить чтоб была нескончаемая радость от результата. 😀

Вы написали "500 в день", но есть разница "500 в день" и "500 за минуту-10".

Домен не кину, правила - пожалуйста. Раньше стоял не managed challenge, а тупо block, но после того как несколько дней кряду он не дал никакого результату, я сменил на mc, чтобы не блокировать всех подряд. Боты мои в метрике определяются с разными гео от Москвы до Ростова и 95% заходят с user-agent'а Windows.

(http.user_agent contains "Windows" and ip.geoip.country eq "RU") or (http.user_agent contains "Win64" and ip.geoip.country eq "RU") or (http.user_agent contains "Win32" and ip.geoip.country eq "RU")

(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")

У вас в правилах нет проверки пустого реферера, как вы без этого планировали, чтобы cloudflare директ-ботов блокировал?😀

Вот статью посмотрите - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov, там все настройки есть.