На мой взгляд дизайн и структура устарели. Зашел в услуги и не понял, что предлагает компания. В разделе одна длинная портянка, которую вряд ли каждый будет читать-листать и искать, то что ему нужно.
Каждую услугу разбейте по отдельности и оптимизируйте под свою группу запросов. А то получается у вас самая главная страница сайта фактически не работает.
Смотреть какие метки используются в рефере и по ним обрубать.
Чаще всего это вариант utm метки.
Тут все пишут, что нужно проверять URL на наличие подобных меток.
В cloudflare, есть 4 варианта URI, можно брать любой? Или только последний - URI Query String?
Cloudflare поставь и блокируй их по части таких урл. Это вообще бесплатно.
Можно пример как сделать в cloudflare? Что выбирать?
Подскажите как отрубить спам ботов, которые подменяют реферера и в метрике определяются - Другая реклама: определено по меткам.
На сайт никакой рекламы не идет, так что по идеи можно блокировать всю рекламу.
Подскажите как спрятать метрику, если любой подобный софт тянет с собой специальную версию chromе и имеет полный доступ к спискам загружаемых сайтом ресурсов, а в этом списке метрика сразу раскрывает id сайта.
Если человек переходит из поиска Яндекса, разве реферер может не передаваться в Яндекс Метрику?
А что такое "поисковый саджест"?
Вот что мне ответили в метрике по поводу этого:
Для определения поискового запроса используется реферер. Если в реферере нет данных о поисковом запросе, информация о нем отсутствует в отчетах Метрики.Также в настоящее время могут не определяться все поисковые фразы по переходам из поискового саджеста - в случае, если эта информация не была передана в cookies.
Про сайджест есть статья от Яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял - это клики по подсказкам прямо из поисковой строки Яндекса.
Таким образом я думаю ботоводы нагуливают профили, чтобы не палить ключевые слова которое они продвигают.
Все поисковые запросы из сайджеста схлопываются в одну строку и не видно аномалий по нагуленным поисковым запросам.
Вы написали "500 в день", но есть разница "500 в день" и "500 за минуту-10".
Домен не кину, правила - пожалуйста. Раньше стоял не managed challenge, а тупо block, но после того как несколько дней кряду он не дал никакого результату, я сменил на mc, чтобы не блокировать всех подряд. Боты мои в метрике определяются с разными гео от Москвы до Ростова и 95% заходят с user-agent'а Windows.
(http.user_agent contains "Windows" and ip.geoip.country eq "RU") or (http.user_agent contains "Win64" and ip.geoip.country eq "RU") or (http.user_agent contains "Win32" and ip.geoip.country eq "RU")(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")
У вас в правилах нет проверки пустого реферера, как вы без этого планировали, чтобы cloudflare директ-ботов блокировал?😀
Вот статью посмотрите - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov, там все настройки есть.
В cloudflare можно посмотреть статистику по заблокированным запросам и судя по количеству заблокированных, никто, ничего не выключал.
Cloudflare показывает много заблокированных заходов, при этом среди них нет ни одного из тех ботов, которых считает метрика. Я использую несколько правил: прямая ссылка, user-agent, регион, http. Cloudflare блокирует кучу мусора по этим правилам, но их примерно 100, когда ботов - 200 (было 200 в первые дни), затем стало 400-500. Cloudflare не записывает в логи эти заходы ни как allowed, ни как blocked, я считал количество, там нет столько и близко. И по времени ни разу не совпадают, сотни ботов заходят в одно и то же время (либо в 6 либо в 8 утра) и в логах этого нет от слова совсем, там 1-2 захода других фиксируется, такой всплеск с одним и тем же временем нереально не увидеть.
Вы явно не сталкивались с такими ботами.
У меня всё точно также, как у nkaado # - https://searchengines.guru/ru/forum/1073074/page6#comment_16878761
Повторюсь, не помог ни Cloudflare (сам настраивал), ни Antibot (настраивал специалист по этой теме). Количество не упало ни на одного бота, напротив - выросло (не из-за сервисов естественно, но это наглядно показывает, что они с ними не могут бороться). Причём в вебвизоре эти боты не отображаются, из-за чего IP не увидеть, ботов видно только в разделе "клиенты и посетители" или в общей метрике. Сегодня - первый день за 2-3 недели, когда они не зашли на сайт.Прикрепил фотку, боты залетали ежедневно сначала буквально за 1-2 минуты, затем их стало больше и стали растягиваться на 5-10 минут, после этого времени за день они на сайте не появляются. Один раз заходят в одно время и всё.
Какое у вас правило стоит для директа трафика? Скиньте ваши настройки cloudflare сюда и домен на который идут боты, тоже сюда или в личку.
У меня на сайтах где шло по 500 ботных переходов в день, осталось по 30-50.
Бред, вы не тех ботов косили. Таких, про которых здесь пишут - которые заходят в одно и то же время в количестве 200-500 штук на сайт, их так не закроешь. Проверено лично на Cloudflare и Antibot. Сегодня первый день, как они не зашли, до этого недели две стабильно заходили. Видимо поставили на паузу эту сетку, а лучше бы и навсегда.
На сайте, где включил защиту от ботов, стал расти трафик из ПС. Только 98% без поисковых запросов в метрике.
Написал в поддержку метрики, вот что они ответили:
Погугли, что такое "поисковый сайджест". В хабре есть статья от яндекса - https://habr.com/ru/company/yandex/blog/455427/
Как я понял, это клики по подсказкам, прямо из поисковой строки Яндекса. В отчетах все эти клики схлопываются, а в вебизоре поискового запроса тоже нет.
Видимо ботоводы таким образом нагуливают профили, чтобы не палить ключевые слова которые прокачивают.
Как можно "ловить" такой трафик в клаудфлейре? Получается нужно условие, что переход идет из Яндекса и у него пустой реферер.
