Жаль что способов борьбы с данным недугом так и не нашли .
Почему не нашли? Я с помощью cloudflare вычистил большую часть.
Тоже долгое время ничего с прямыми заходами не делал, думая что Яндекс баг этот пофиксит. Но время шло, а количество ботов только росло, а позиции падали пропорционально росту ботов.
Думаю ни Яндекс, ни Гугл сейчас не могут отличить людей от ботов при прямом заходе, так что как с этим бороться - задача владельца сайта.
В Яндексе конечно могут уменьшить роль ПФ при ранжировании, то тогда количество ботов сильно сократится, что очень сильно ударит по их карману.
Если на самом деле есть такие боты, вряд ли они спамят только ваши счетчики. Я тут на форуме про такое не читал, если бы реально был массовый случай, то была бы уже новая тема с десятком страниц (про то, что боты спамят метрику напрямую, не заходя на сайт).
Я вас понял, но не понимаю как банить ботов которых не видит сервер, вы уверены что сервер что-то пропускает, я считаю что нет. Если от метрики не будет ответа и действий - попробую побанить прямые заходы, добавив ip относящиеся к хорошим ботам в белый список, если это делать на коленке и наспех может забанится что-то важное, нужно накопить больше данных для анализа.
Поставьте cloudflare и в WAF вот эти 2 правила создайте, ничего лишнего при этом не забаните. Ботов ПС будет пропускать, а остальным на прямые заходы будет проверка.
Если у вас после этого половина прямых заходов не пропадет, тогда ваша теория будет более правдоподобна.
Вы можете сделать как вам предлагают или ждать помощи от Яндекса. Мои сайты боты начали долбить с ноябре, куда им только не писал, толку 0. Так что выбирайте сами вариант😁
Ну допустим я найду еще десяток-другой ip с ПС остальные ~150 - забаню (это не правильно, конечно, надо будет собирать статистику по нескольким неделям хотя бы и проверять все ip добавляя в бан/белый список постепенно, но допустим сделаю это) - что это по вашему мнению даст?
Прочитайте статью - https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov
Какой в этом смысл? Нет этих ботов в логах, это просто не сможет дать никакого эффекта. При этом логи полные, в лог пишется все, каждое обращение к домену без исключений (страницы, картинки, GET/POST - все пишется). ПС периодически проверяют работоспособность сайта в том числе по главной странице (та же метрика постоянно проверяет и реферер она не шлет), если сервер им всем выдаст, скажем, 404 в течение одного дня - считаю это точно не скажется положительно на позициях.
Поставьте cloudflare и включите показ капчи для всех прямых заходов. Если они на ваш сайт не заходят, то количество ботов не убавится, если заходят то уменьшится значительно.
Для ботов ПС поставите исключение и они без проблем на сайт будут заходить.
Если боты идут на внутренние страницы, можно вообще блокировку включить (на какое то время) и посмотреть как это отразится на данных в метрике.
Сегодня опять пришли боты по прямым заходам на главную (не турбо, а на обычную версию страницы). До этого поставил на сайте код, который отправлял в метрику параметры визитов (ip и реферер) сразу после загрузки страницы.
Ни у одного бота нет этих параметров визитов, в логах сервера их нет и роботность по метрике у этих ботов почти нулевая, метрика считает роботами около 8% этих "визитов".
