Визиты умных ботов и падение позиций в Яндекс

"хосты разные, страны разные, разные браузеры, разные операционные системы, разные запросы, из поисковой выдачи Яндекса, выполняют javascript, поддерживают куки, cloudflare/яндекс/скрипты не определяют"

Ну хорошо, а как же ботов определяете вы?

Интуиция?

Показатель отказов в метрике и отсутствие записи сессии в вебвизоре, ну и плюс то, что они заходят на сайт по запросам которые на 30-50 позиции в выдаче

Пробовали именно с этими параметрами идти пинать команду Метрики?

Не "у меня позиции падают из-за ботов", а "у вас не определяются боты с такими-то признаками".

И потом напоминать каждые N дней, что их алгоритм ещё не "обучился" и по-прежнему этих конкретных ботов не распознаёт как ботов.

Подозреваю, им там плевать на позиции кого бы то ни было, а вот конкретные доработки алгоритма фильтрации прикрутить могут.

Я правильно понимаю, если вебвизор не показывает действия пользователя, то это не пользователь, а бот?

weblad, установил эти правила в фаервол /ru/forum/958253 и забудешь о проблеме.

Только исключи апи своего сервера из правил.

Помогут два органа: глаза и мозг. Смотрите IP, проверяете, кому принадлежит. В 99,99% случаев - сети хостера, откуда люди не ходят (вам тут про проси кричать будут). Блокируете ВСЮ сеть. Какое-то время пошаманите и забудете про ботов. Ну, и каждый день придется внимательно просматривать логи. Хотя проще скрипт написать, который будет за вас это делать.

По первому пункту способов у Я. несколько: Метрика, liveinternet(писали о сливе данных в Я), Я.броузер (10% всех броузеров) и реклама РСЯ. Теоретически убрать можно все.

По второму, сайт в России, можно скриптом Оптимизайки забанить основные буржуйские AS, откуда боты идут через прокси. Заходы из ботнета не ограничить.

Основная проблема, которую трудно решить, это эмуляция ботом быстрого возврата в SERP и щелчок по другой позиции. Фактически бот сделает щелчок в serp на вашем сайте и через несколько секунд на другом. Тут не понятно, как Яндекс поведенческие оценивает. Пользователь может открыть несколько сайтов одновременно и смотреть результаты. Вероятно, Яндекс такой вариант учитывает и не снизит поведенческие, если не будет обратной связи с сайтом (1 пункт).

Вообщем, можно было бы заменить Метрику на GA, если РСЯ на сайте нет :)

89.151.179.198 - Чебоксары, Ростелеком

176.109.35.117 - Московская область, Кварц

46.164.228.39 - Информсвязь, Воронеж.

Ну как бы и дальше можно скинуть, тыщи две за сегодня наберется.

Белые провайдеры, IP с разной репутацией.

Скрипт Antibot их пропустил

Я пока что все больше начинаю подозревать, что вот эти боты - по факту какой-то префетчинг браузеров, который исполняет JS и поэтому засчитывается в людей, потому что их пропускает не только Antibot, но и Recaptcha v3 и Cloudflare.

Я дорабатывал Antibot на установку гуглевской рекапчи, но толку это не дало. Третья рекапча их считает людьми, а подсовывать им автобусы со светофорами второй рекапчи рука не поднялась, т.к. при её установке ещё сильнее растут отказы среди живых людей, которых метрика таковыми и считает.

В общем, пока что на основании всего этого пришёл к выводу, что аккуратный бан хостеров + антибот + настройки метрики на отсев всех роботов - это самый простой и эффективный способ борьбы с роботами.

Следующим шагом можно манипулировать с выводом метрики и аналитики, подсовывая их только тем, кого вы за людей держите, но опять же на ум кроме черных списков IP и геолокации никаких других правил по отсеву людей от ботов не приходит.

Ну а со стороны фронта можно пробовать подсовывать куку когда у юзера активно окно. Но опять же, я уверен, что в рекапче что-то подобное реализовано.

о каком объеме суточного трафика вообще речь идет?