В cloudflare можно посмотреть статистику по заблокированным запросам и судя по количеству заблокированных, никто, ничего не выключал.
Cloudflare показывает много заблокированных заходов, при этом среди них нет ни одного из тех ботов, которых считает метрика. Я использую несколько правил: прямая ссылка, user-agent, регион, http. Cloudflare блокирует кучу мусора по этим правилам, но их примерно 100, когда ботов - 200 (было 200 в первые дни), затем стало 400-500. Cloudflare не записывает в логи эти заходы ни как allowed, ни как blocked, я считал количество, там нет столько и близко. И по времени ни разу не совпадают, сотни ботов заходят в одно и то же время (либо в 6 либо в 8 утра) и в логах этого нет от слова совсем, там 1-2 захода других фиксируется, такой всплеск с одним и тем же временем нереально не увидеть.
Вы явно не сталкивались с такими ботами.
У меня всё точно также, как у nkaado # - https://searchengines.guru/ru/forum/1073074/page6#comment_16878761
Повторюсь, не помог ни Cloudflare (сам настраивал), ни Antibot (настраивал специалист по этой теме). Количество не упало ни на одного бота, напротив - выросло (не из-за сервисов естественно, но это наглядно показывает, что они с ними не могут бороться). Причём в вебвизоре эти боты не отображаются, из-за чего IP не увидеть, ботов видно только в разделе "клиенты и посетители" или в общей метрике. Сегодня - первый день за 2-3 недели, когда они не зашли на сайт.Прикрепил фотку, боты залетали ежедневно сначала буквально за 1-2 минуты, затем их стало больше и стали растягиваться на 5-10 минут, после этого времени за день они на сайте не появляются. Один раз заходят в одно время и всё.
Какое у вас правило стоит для директа трафика? Скиньте ваши настройки cloudflare сюда и домен на который идут боты, тоже сюда или в личку.
У меня на сайтах где шло по 500 ботных переходов в день, осталось по 30-50.
Бред, вы не тех ботов косили. Таких, про которых здесь пишут - которые заходят в одно и то же время в количестве 200-500 штук на сайт, их так не закроешь. Проверено лично на Cloudflare и Antibot. Сегодня первый день, как они не зашли, до этого недели две стабильно заходили. Видимо поставили на паузу эту сетку, а лучше бы и навсегда.
На сайте, где включил защиту от ботов, стал расти трафик из ПС. Только 98% без поисковых запросов в метрике.
Написал в поддержку метрики, вот что они ответили:
Для определения поискового запроса используется реферер. Если в реферере нет данных о поисковом запросе, информация о нем отсутствует в отчетах Метрики.Также в настоящее время могут не определяться все поисковые фразы по переходам из поискового саджеста - в случае, если эта информация не была передана в cookies.
Погугли, что такое "поисковый сайджест". В хабре есть статья от яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял, это клики по подсказкам, прямо из поисковой строки Яндекса. В отчетах все эти клики схлопываются, а в вебизоре поискового запроса тоже нет.
Видимо ботоводы таким образом нагуливают профили, чтобы не палить ключевые слова которые прокачивают.
Как можно "ловить" такой трафик в клаудфлейре? Получается нужно условие, что переход идет из Яндекса и у него пустой реферер.
это антиддос. причем старинный как динозавры. это спасает от старинного ддоса, от браузерных ботов никак не спасает.
хостерам нужно по рукам давать когда они такое включают, особенно некоторые типа джино и бегета могут и без уведомлений включить такую "защиту" и пофиг что у клиента отвалились и поисковые боты и боты эквайрингов, сапа и все остальное.
Datot #:
3.1. Кому надо, тот и так пробьется со своими ботами
3.2. С "водой можно младенца вылить"
Пробиться конечно можно, только на сколько возрастет стоимость таких ботов. Ботоводу вместо того, чтобы обходить капчу, проще найти другой сайт, где не стоит никаких ограничений.
На 100% не решил, но большую часть отсек, поставил запрет на посетителей без куки и поддержки js.
На закусочку, чтобы мысли зашевелилисьпри проверке обнаружили некоторые нежелательные запросы от IP178.210.44.152, в настоящий момент заблокировано.При детальном анализе логов за 14 марта, пришли в к выводу, что на серверприходит очень большое количество запросов, общее количество 422196. Многозапросов от различных ботов, информация по основным из них:[root@......ru ~] # bzcat /var/log/nginx/*/access.log-20230308.bz2 | wc -l422196[root@.......ru ~] # bzgrep 'MegaIndex.ru' /var/log/nginx/*/access.log-20230308.bz2 | wc -l36306[root@.......ru ~] # bzgrep -i 'yandex.com/bots' /var/log/nginx/*/access.log-20230308.bz2 | wc -l56980[root@.......ru ~] # bzgrep -i 'SemrushBot' /var/log/nginx/*/access.log-20230308.bz2 | wc -l25661
Так кого будем блочить?
Это они через прямые заходы 422196 запросов наделали?😀
Если хотя бы половина вебмастеров защиту от ботов поставят, такие как вы, работы лишитесь, так что очень понимаю ваше беспокойство😁
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
Для ПС стоит исключение, живого трафика с прямых заходов практически нет, тот кто очень хочет посетить сайт, 2-3 сек подождет, не проблема.
На трафик с поиска и рекламы, никаких проверок нет.
Вы так и не ответили в другой теме, каким способом решили проблему прямых заходов.
Тоже присутствуют заходы с этих сетей по IPv6.
это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.
У меня количество прямых заходов сократилось в 10 раз.
Managed Challenge - использует метод на усмотрение системы. Это может быть: блокировка, капча или ожидание 2-3 сек.
И что самое главное такие проверку идут только для трафика с прямых заходов. На трафик с рекламы или поиска никаких ограничений нет.
