Незнаю обсуждали этот момент или нет, но заметил что CloudFlare пропускает AhrefsBot, т.к. он у них входил в группу KnowBots
Вот такое решение:
Known Bots | equals | OnAndUser Agent | does not contain | AhrefsBot
Далее в правиле блокировки по User Agent добавляем AhrefsBot для блокировки.
Ну или прописываем в robots.txt disallow для этого бота 😂
Если присмотреться к логам KnowBots, то там не только AhrefsBot, но еще целая пачка всякого разного непонятного и не нужного. От сайта к сайту, если не считать ашрефс семраш и проч, чуть отличается. Т.е. указанным вами методом можно не один парсер как в примере, блокануть, а много разных.
Если с прямыми заходами и подменой реферера в UTM все понятно, то с ПФ ботами из ПС с пока не нашел однозначного ответа - нужно блокировать или нет.
На показатели нужно смотреть. А то вдруг они там у вас в плюс поведенческие нагуливают, по 3-5 мин сидят делают вид что ищут ответы на свои генерированные поисковые запросы. А вы тут понимаете-ли, замыслили нехорошее.
Помнил бы - рассказал. Помню только, что проблему не решает.
Ясно. Вы что-то попробовали, у вас не получилось. Почему не получилось - не знаете. Но утверждаете, что это не работает. Что именно это - не знаете. Да и не помните. Гениально 🤣
Это из разряда, я попробовал сесть на велосипед но он не работает, я с него упал. Поэтому все велосипеды - проблему передвижения не решают. Нужно ходить пешком.
Это тоже не решает проблему. Загуглите минусы метода этого.
Ну так расскажите здесь. А то может мы не в курсе.
Я долго и нудно гулил. Нет решения проблемы. Вместе с ботами можно заблокировать живых людей.
Ну так не блокируйте, ставьте в клауде под проверку.
Фильтр словил сразу как начал блокировать ботов
А каким образом блокируете?
Мне главное чтобы это все не отразилось на моем сайте, боюсь попасть под санкции поисковиков. Вот ещё пример бота, тут почему то стоят UTM метки, хотя переход из поиска
Это ботный переход с utm метками. Поэтому и попал в отчет переходов по рекламе. Utm term генерированная.
Ну а куда вы денетесь 🤣
Это AS облака Microsoft. Там же и их Bing сидит.
Но имейте в виду, что если вы возьмете инстанс в Microsoft Azure, то ваш сервак скорее всего в этой же подсети будет. Поставите юзерагент Bing и будете всех наклонять 🔥
Так что не все, что пришло с AS8075 - полезно. Как сказал Sagamorr, known bots вам в помощь.
Ну значит остается только один вариант - получить аналогичный опыт с htaccess.
Начните с определения того, с каких подсетей приходят самые многочисленные запросы. Как будет понимание, откуда нагрузка, можно будет смотреть что с этом делать.
Прямо читаешь мои мысли. Я сегодня поставил гугловскую аналитику. Вот за последний час хоть что то показывает, а метрика одни дырки от бублика рисует. Так что может еще Liveinternet верну, это уже не кажется безумной идеей.
Вот-вот.А вот что показывает метрика по вот этой вот пачке сайтов (названия забрюлил).
Уборщица уходя из здания яндекса вечером, предусмотрительно выключила свет в датацентре. Нечего почем зря электричество палить)
