Конечно они спамят не только мои счетчики, и в этой теме уже отписалось пара человек с такими же "симптомами" ботов:
А сколько еще не успело выяснить что ботов нет в логах?
Так что уж не говорите что не читали об этом на форуме, тем более люди в вашей же теме отписались.
Поставьте cloudflare и в WAF вот эти 2 правила создайте, ничего лишнего при этом не забаните. Ботов ПС будет пропускать, а остальным на прямые заходы будет проверка.
Если у вас после этого половина прямых заходов не пропадет, тогда ваша теория будет более правдоподобна.
Взял логи за 14 дней, выдернул все ip и "классифицировал" примерно 50% их по сетям (провайдер мобильный или нет, хостер, страна и т.п.). Ну обнаружил что иногда ходит допустим с мегафона бот и парсит контент, но у него реферер "https://google.ru" и заходы не на главную. Этих ботов можно побанить и есть идеи как это сделать средствами nginx и lua не доводя до php (сайт так работает что до php обычно не доходит nginx сразу отдает сжатую страницу). Согласен что эти правила в cloudflare могут отсечь других ботов, но не этих.
Вот пример бота от которого я хочу избавиться:
Он входит в группу, ботов которые долбят метрику напрямую:
В логах с 8 по 21 марта нет этого ip (куска "188.187.68").
Понятно что боты разные бывают и одних можно банить по протоколам или рефереру, но я не поверю что cloudflare как-то поможет от ботов не появляющихся на сервере, раз сервер его не видит - значит и не забанит.
Я вас понял, но не понимаю как банить ботов которых не видит сервер, вы уверены что сервер что-то пропускает, я считаю что нет. Если от метрики не будет ответа и действий - попробую побанить прямые заходы, добавив ip относящиеся к хорошим ботам в белый список, если это делать на коленке и наспех может забанится что-то важное, нужно накопить больше данных для анализа.
Написал в личку.
Удалить метрику - это пока единственный вариант который должен сработать 100% - оставлю как запасной план. GA4 мне тоже очень не нравится, отчеты очень тормозные, страницы грузятся по 10 секунд, половины данных сходу нет в отчетах, приходится все настраивать, кривой перевод, не влезающие подписи и прочее-прочее, может допилят через год-полтора и можно будет использовать вместо метрики но не сейчас. Да и в целом метрика, для сайта получающего основной трафик с яндекса, разумна для анализа.
не нужно ничего считать и гадать. посмотреть в лог сервера и увидеть все. и дальше уже решать по результату этого как бороться.
Это у вас есть антибот статистика, для меня все ip кроме явно отнесенных к ПС выглядят потенциально подозрительными.
Сегодня создал обращение "к специалистам" в метрике - отправил им и ссылку на отчет и полный лог сервера за вчерашний день. Обещали ответить. Жду.
Если хотите могу продублировать ссылку на отчет, но думаю толку не будет, по поводу ботов впервые им писал 10-го марта - обещали ответить - до сих пор не ответили.
естественно предполагается что вы сначала создадите белый список для поисковых и т.п. нужных ботов.
К главной обратилось 185 ip за день, без каких-то всплесков трафика, все боле-менее равномерно в течение дня, а на период спама метрики ботами было лишь 2 обращения к главной (одно из них метрика - "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)" с ip яндекса - 5.45.207.177), другое тоже "безопасно"...
Ну допустим я найду еще десяток-другой ip с ПС остальные ~150 - забаню (это не правильно, конечно, надо будет собирать статистику по нескольким неделям хотя бы и проверять все ip добавляя в бан/белый список постепенно, но допустим сделаю это) - что это по вашему мнению даст? Вы все же считаете что боты на самом деле ходят на сайт? Или считаете что это не позволит пройти первому боту, который собирает id счетчиков?
Какой в этом смысл? Нет этих ботов в логах, это просто не сможет дать никакого эффекта. При этом логи полные, в лог пишется все, каждое обращение к домену без исключений (страницы, картинки, GET/POST - все пишется). ПС периодически проверяют работоспособность сайта в том числе по главной странице (та же метрика постоянно проверяет и реферер она не шлет), если сервер им всем выдаст, скажем, 404 в течение одного дня - считаю это точно не скажется положительно на позициях.
Сегодня опять пришли боты по прямым заходам на главную (не турбо, а на обычную версию страницы). До этого поставил на сайте код, который отправлял в метрику параметры визитов (ip и реферер) сразу после загрузки страницы.
Ни у одного бота нет этих параметров визитов, в логах сервера их нет и роботность по метрике у этих ботов почти нулевая, метрика считает роботами около 8% этих "визитов".
Нажать на значок справа от названия темы в виде звезды. И он появится в избранном в профиле.
А после подписки должны приходить сообщения о новых сообщениях или это выпилили? Что-то не приходит ничего, не смотря на подписку (да и не нашел где настраивается частота оповещений и т.п.).
