На сайте, где включил защиту от ботов, стал расти трафик из ПС. Только 98% без поисковых запросов в метрике.
Написал в поддержку метрики, вот что они ответили:
Для определения поискового запроса используется реферер. Если в реферере нет данных о поисковом запросе, информация о нем отсутствует в отчетах Метрики.Также в настоящее время могут не определяться все поисковые фразы по переходам из поискового саджеста - в случае, если эта информация не была передана в cookies.
Погугли, что такое "поисковый сайджест". В хабре есть статья от яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял, это клики по подсказкам, прямо из поисковой строки Яндекса. В отчетах все эти клики схлопываются, а в вебизоре поискового запроса тоже нет.
Видимо ботоводы таким образом нагуливают профили, чтобы не палить ключевые слова которые прокачивают.
Как можно "ловить" такой трафик в клаудфлейре? Получается нужно условие, что переход идет из Яндекса и у него пустой реферер.
это антиддос. причем старинный как динозавры. это спасает от старинного ддоса, от браузерных ботов никак не спасает.
хостерам нужно по рукам давать когда они такое включают, особенно некоторые типа джино и бегета могут и без уведомлений включить такую "защиту" и пофиг что у клиента отвалились и поисковые боты и боты эквайрингов, сапа и все остальное.
Datot #:
3.1. Кому надо, тот и так пробьется со своими ботами
3.2. С "водой можно младенца вылить"
Пробиться конечно можно, только на сколько возрастет стоимость таких ботов. Ботоводу вместо того, чтобы обходить капчу, проще найти другой сайт, где не стоит никаких ограничений.
На 100% не решил, но большую часть отсек, поставил запрет на посетителей без куки и поддержки js.
На закусочку, чтобы мысли зашевелилисьпри проверке обнаружили некоторые нежелательные запросы от IP178.210.44.152, в настоящий момент заблокировано.При детальном анализе логов за 14 марта, пришли в к выводу, что на серверприходит очень большое количество запросов, общее количество 422196. Многозапросов от различных ботов, информация по основным из них:[root@......ru ~] # bzcat /var/log/nginx/*/access.log-20230308.bz2 | wc -l422196[root@.......ru ~] # bzgrep 'MegaIndex.ru' /var/log/nginx/*/access.log-20230308.bz2 | wc -l36306[root@.......ru ~] # bzgrep -i 'yandex.com/bots' /var/log/nginx/*/access.log-20230308.bz2 | wc -l56980[root@.......ru ~] # bzgrep -i 'SemrushBot' /var/log/nginx/*/access.log-20230308.bz2 | wc -l25661
Так кого будем блочить?
Это они через прямые заходы 422196 запросов наделали?😀
Если хотя бы половина вебмастеров защиту от ботов поставят, такие как вы, работы лишитесь, так что очень понимаю ваше беспокойство😁
Медленные сайты ни одна пс и пользователи не любят, готовьтесь
Для ПС стоит исключение, живого трафика с прямых заходов практически нет, тот кто очень хочет посетить сайт, 2-3 сек подождет, не проблема.
На трафик с поиска и рекламы, никаких проверок нет.
Вы так и не ответили в другой теме, каким способом решили проблему прямых заходов.
Тоже присутствуют заходы с этих сетей по IPv6.
это выкашивает около 60% ботов, тупо потому что это тратит время бота и он не успевает остальное загрузить. но этот процент постоянно падает, все что нужно боту это настроить его чтоб при виде страницы проверки он подождал чуть больше, в остальном клаудфлар не считает этих ботов ботами.
У меня количество прямых заходов сократилось в 10 раз.
Managed Challenge - использует метод на усмотрение системы. Это может быть: блокировка, капча или ожидание 2-3 сек.
И что самое главное такие проверку идут только для трафика с прямых заходов. На трафик с рекламы или поиска никаких ограничений нет.
Самое оптимальное решение для борьбы с ботами (на мой взгляд), которые идут по прямым заходам - установка cloudflare и отправка директ трафика на проверку Managed Challenge.
У меня большинство ботов выкосило таким способом.
Вы закрыли доступ для ботов Яндекса и др. Просто добавьте в WAF следующее правило и ошибки не будет.
Да, там было циклическое перенаправленные из-за того, что редирект на https стоял на хостинге и на cloudflare.
Cloudflare реально вычистил почти всю эту дрянь, можно в этом топике в первом сообщении закрепить инструкцию по настройке WAF от прямых заходов.
