Переходы по ссылкам на сайтах от ботов

Эту сетку я бы тоже не блокировал, с нее конечно прет куча ботов, но и обычных пользователей тоже много.

Удалось, но на уровне предположений, так как строить срезы и искать динамические сопоставления на коротком промежутке времени (почти год) - нет никакого смысла.

Если обобщить: то влияние ботов на сайты, несомненно, есть. В худшую сторону - это и понятно: 0:01с здорово прибавляет к отказам.
И вот тут это влияние нужно дробить на "категории": прямые, соц.сети, якобы по ссылкам с других сайтов, из ПС Яндекса.
Сами переходы тоже дробятся на 2 потока: 1 - злонамеренный; 2 - нагуливают профиль.
У каждого потока свой набор особенностей: IPсеть, разрешение, технология, время, зависимость от кол-ва чистого трафика.

Каждый переход идет на определенную страницу. Позиции и трафик на эти страницы и отслеживается каждый день. Скрупулезно заносится все в таблицу: время захода, продолжительность, кол-во ботов, кол-во чистого трафика, позиция страницы и т.д.

Как бороться:

• Кодом (сегодня предоставили, буду следить на части сайтов).
• CF - даже на бесплатной версии ощутимо решается проблема.

У меня, подчеркну, исключительно по 1 секунде с этой сетки идет. Слежу с конца 2021 года ;)

Автор кода сам предупреждает, что против "живых" ботов (которые в метрике как юзеры определяются) не поможет. А проблемы самые как раз от них, всякий шлак и так не учитывается при ранжировании.

С этих заходов идёт бот трафик, спам рассылки т.д.

Суть в том, что живых пользователей там нет, IP-шники принадлежат облачному сервису, который и используется под подобные мероприятия.

Вы это на практике проверили? Результаты есть?
Подчеркну: у меня упал сайт когда пошли боты - это вообще не исследование, так как сайт в Яндексе может упасть вообще от чего угодно.

Но момент еще:
есть боты по 1 секунде - они портят ПФ всем сайтам из топа - это шлак или "живой" бот? - отслеживали ли Вы влияние таких ботов на сайт? Есть инфо?
есть боты по 2+ минуты - они портят ПФ всем сайтам из топа - это шлак или "живой" бот? - отслеживали ли Вы влияние таких ботов на сайт? Есть инфо?

Что вообще для Вас "живой" бот? - тот, которого метрика определила в качестве юзера? Так и по 1 секунде, и по 2+ минуты - все определились в качестве юзеров.

Что Вы скажете на то, что у меня есть сайт, на который льется тонна ботов, но траф все равно растет месяц к месяцу.
Как узнал? Действительные конверсии растут прямо пропорционально трафику. Причем по метрикам - с разных вновь добавленных страниц.

Не вижу никакого толка обсуждать с ними эти моменты.
Они 100% знают о проблеме. Знают и определяют ботов там, где это необходимо с точки зрения экономической безопасности Яндекса.
Банально: где выгодно - это не боты, а юзеры, где не выгодно - это не юзеры, а боты.
Они эту проблему ни за что не раскроют и не признают.

Важнее для себя определить само влияние и величину этого влияния, а потом решить что с этим делать.
Пока что я прямого влияния на сайты даже "отказников" по 1секунде спустя почти год наблюдений - не увидел.
Возможно это из-за того, что положительные моменты топовых страниц превышают отрицательные моменты, которые навешивают "отказники". В этом случае в разы дешевле дополнять контент новыми полезными данными, чем крутить положительный ПФ или платить за антибота.

Единственное влияние, которое негативно ударило по моим сайтам - отказ от заказа рекламы ЯДиректа и РСЯ из-за, как раз, ботов (это то, где Яндексу выгодно определять ботов в качестве живых юзеров).

Да, писал уже много раз в других ветках. Позиции и трафик начали уже расти через неделю.

Ну так вот и я ничего не делал, а позиции по сайту падали. Сначала как обычно думал, что какая то временная просадка и боты тут ни при чем (платоны же уверяли, что волноваться не о чем), но когда ключи стали вылетать из топ-10, понял что дело в ботах, стал ждать что ботов вот-вот пофиксят, т.к чуть ли не все тут Яндексу писали об этой проблеме и они точно в курсе. Не хотелось ставить себе какие то приблуды типа CF или антибота.

Потом пришел к выводу, что в обозримом будущем проблему ботов в Яндексе решать не будут. Т.к в прямых заходах бота от человека они отличить не могут, а не учитывать прямые заходы в ранжировании тоже не могут. Остается только вариант понижения роли ПФ в алгоритме. Но это палка о двух концах... Снизят ПФ в ранжировании - пропадут боты кликающие по директу и они лишатся значительной части своей прибыли.

Поэтому отсеивание ботов - это головная боль владельца сайта, а не Яндекса.

"Живой" бот - это термин автора кода. Для меня это все заходы, которые отображаются в статистике - без роботов.

Тонна ботов - это в каком соотношении к нормальному трафику? Если +- 10%, то думаю они размываются обычными посетителями и слишком большого негативного влияния не оказывают. Однозначно, когда вы и эти 10% вычистите, трафа будет еще больше.