Cloudflare поставь и блокируй их по части таких урл. Это вообще бесплатно.
Можно пример как сделать в cloudflare? Что выбирать?
Подскажите как отрубить спам ботов, которые подменяют реферера и в метрике определяются - Другая реклама: определено по меткам.
На сайт никакой рекламы не идет, так что по идеи можно блокировать всю рекламу.
Подскажите как спрятать метрику, если любой подобный софт тянет с собой специальную версию chromе и имеет полный доступ к спискам загружаемых сайтом ресурсов, а в этом списке метрика сразу раскрывает id сайта.
Если человек переходит из поиска Яндекса, разве реферер может не передаваться в Яндекс Метрику?
А что такое "поисковый саджест"?
Вот что мне ответили в метрике по поводу этого:
Для определения поискового запроса используется реферер. Если в реферере нет данных о поисковом запросе, информация о нем отсутствует в отчетах Метрики.Также в настоящее время могут не определяться все поисковые фразы по переходам из поискового саджеста - в случае, если эта информация не была передана в cookies.
Про сайджест есть статья от Яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял - это клики по подсказкам прямо из поисковой строки Яндекса.
Таким образом я думаю ботоводы нагуливают профили, чтобы не палить ключевые слова которое они продвигают.
Все поисковые запросы из сайджеста схлопываются в одну строку и не видно аномалий по нагуленным поисковым запросам.
Вы написали "500 в день", но есть разница "500 в день" и "500 за минуту-10".
Домен не кину, правила - пожалуйста. Раньше стоял не managed challenge, а тупо block, но после того как несколько дней кряду он не дал никакого результату, я сменил на mc, чтобы не блокировать всех подряд. Боты мои в метрике определяются с разными гео от Москвы до Ростова и 95% заходят с user-agent'а Windows.
(http.user_agent contains "Windows" and ip.geoip.country eq "RU") or (http.user_agent contains "Win64" and ip.geoip.country eq "RU") or (http.user_agent contains "Win32" and ip.geoip.country eq "RU")(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")
У вас в правилах нет проверки пустого реферера, как вы без этого планировали, чтобы cloudflare директ-ботов блокировал?😀
Вот статью посмотрите - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov, там все настройки есть.
В cloudflare можно посмотреть статистику по заблокированным запросам и судя по количеству заблокированных, никто, ничего не выключал.
Cloudflare показывает много заблокированных заходов, при этом среди них нет ни одного из тех ботов, которых считает метрика. Я использую несколько правил: прямая ссылка, user-agent, регион, http. Cloudflare блокирует кучу мусора по этим правилам, но их примерно 100, когда ботов - 200 (было 200 в первые дни), затем стало 400-500. Cloudflare не записывает в логи эти заходы ни как allowed, ни как blocked, я считал количество, там нет столько и близко. И по времени ни разу не совпадают, сотни ботов заходят в одно и то же время (либо в 6 либо в 8 утра) и в логах этого нет от слова совсем, там 1-2 захода других фиксируется, такой всплеск с одним и тем же временем нереально не увидеть.
Вы явно не сталкивались с такими ботами.
У меня всё точно также, как у nkaado # - https://searchengines.guru/ru/forum/1073074/page6#comment_16878761
Повторюсь, не помог ни Cloudflare (сам настраивал), ни Antibot (настраивал специалист по этой теме). Количество не упало ни на одного бота, напротив - выросло (не из-за сервисов естественно, но это наглядно показывает, что они с ними не могут бороться). Причём в вебвизоре эти боты не отображаются, из-за чего IP не увидеть, ботов видно только в разделе "клиенты и посетители" или в общей метрике. Сегодня - первый день за 2-3 недели, когда они не зашли на сайт.Прикрепил фотку, боты залетали ежедневно сначала буквально за 1-2 минуты, затем их стало больше и стали растягиваться на 5-10 минут, после этого времени за день они на сайте не появляются. Один раз заходят в одно время и всё.
Какое у вас правило стоит для директа трафика? Скиньте ваши настройки cloudflare сюда и домен на который идут боты, тоже сюда или в личку.
У меня на сайтах где шло по 500 ботных переходов в день, осталось по 30-50.
Бред, вы не тех ботов косили. Таких, про которых здесь пишут - которые заходят в одно и то же время в количестве 200-500 штук на сайт, их так не закроешь. Проверено лично на Cloudflare и Antibot. Сегодня первый день, как они не зашли, до этого недели две стабильно заходили. Видимо поставили на паузу эту сетку, а лучше бы и навсегда.
На сайте, где включил защиту от ботов, стал расти трафик из ПС. Только 98% без поисковых запросов в метрике.
Написал в поддержку метрики, вот что они ответили:
Погугли, что такое "поисковый сайджест". В хабре есть статья от яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял, это клики по подсказкам, прямо из поисковой строки Яндекса. В отчетах все эти клики схлопываются, а в вебизоре поискового запроса тоже нет.
Видимо ботоводы таким образом нагуливают профили, чтобы не палить ключевые слова которые прокачивают.
Как можно "ловить" такой трафик в клаудфлейре? Получается нужно условие, что переход идет из Яндекса и у него пустой реферер.
это антиддос. причем старинный как динозавры. это спасает от старинного ддоса, от браузерных ботов никак не спасает.
хостерам нужно по рукам давать когда они такое включают, особенно некоторые типа джино и бегета могут и без уведомлений включить такую "защиту" и пофиг что у клиента отвалились и поисковые боты и боты эквайрингов, сапа и все остальное.
Datot #:
3.1. Кому надо, тот и так пробьется со своими ботами
3.2. С "водой можно младенца вылить"
Пробиться конечно можно, только на сколько возрастет стоимость таких ботов. Ботоводу вместо того, чтобы обходить капчу, проще найти другой сайт, где не стоит никаких ограничений.
