Резкий всплеск прямых заходов. Как бороться?

Моё мнение, что есть смысл пытаться блокировать, если сайт совсем маленький, тогда есть шанс, что от вас частично отстанут. Либо в случаях с сильно высокой нагрузкой можно фильтровать битерику, ahrefs и прочий мусор, который даже не пытается скрываться. На сайтах с посещаемостью от 1000 хостов в день любые действия приводят к переключению ботов на другие методы, а постоянно ужесточать правила невозможно, чтобы в итоге это не превратилось в анал-карнавал с 3 капчами. На экспериментальном сайте я дошёл до того, что боты ходят всего двумя способами: 1. прямые заходы на главную, как-то сильно блокировать это глупо, если есть постоянная аудитория; 2. заходы с яндекса, которые без внимательного анализа невозможно отличить от нормальных посетителей, фильтровать такое невозможно, да и глупо сразу вываливать всем подряд гуглокапчу, например.

Вот так выглядит "победа" над ботами, но их % не изменился в сравнении с тем, что было до клауда и остался на уровне 5-10% по метрике и около 30% по факту.

Боты с Яндекс поиска по релевантным фразам?

Мистика

Абсолютли. В какой-то из тем я уже рассказывал, но расскажу ещё раз. У меня есть сайт по обучению и с инструкциями по старой технике. Эта техника не используется уже более 10 лет по различным причинам. Она не просто устарела, а её использовать в принципе невозможно. Представьте, что это принтер с драйверами только под windows 95, заправку и расходники на него найти невозможно. А теперь добавьте к этому ещё и то, что это специализированная техника и в Россию она официально не завозилась. В теории может такое быть, что 1 посетитель в пару месяцев зайдёт с поиска на такую страницу. Но то, что таких посетителей 1-3 каждый день, да ещё и на десятки моделей просто исключено. Так вот у меня есть сайт с такими посетителями и всё там выглядит нормально и осознанно, если не учитывать, что искать это люди не могут. Запросы составные, а не просто по заголовкам и т.п. А если сайт актуальный, то распознать такие заходы просто невозможно.

Да, я до клауда тоже такую ставил и она действительно работает.

Вот только показываете вы этот попап всем подряд и для всех источников трафика.

Я например если буду искать какой то сайт и мне сразу такую хрень покажут, то я его сразу закрою и другой открою.

Сейчас всякая рекламная шняга со всех щелей прет, поэтому так же инстинктивно могут сделать еще много реальных посетителей.

Поэтому не знаю даже, что больше она пользы или вреда дает...

Блокируйте спамные сетки на прямые заходы, там будет не более 10 сеток. После этого спам с прямых заходов можно будет считать по пальцам.

Крупнейший поставщик таких заходов - Ростелеком Москва, как вы себе представляете его блокировку?

Ну я вот тоже спецом сегодня проанализировал по заходам с поиска, которых Яндекс роботами посчитал. 2-4 минуты прокручивают всю страницу с остановками на абзацах. И главное, как вы говорите, ключи не прямые. Такие фразы могут придумать только те, кто в теме материала. И вот я думаю, создатель бот фермы заморочился созданием таких уникальных ключей? А у вас, ещё более специфичная тема. И все это ради вашего сайта? Или моего, у которого всего 5к в день посещалка, который ничего не продает. Как-то всё слишком мудрёно.

Может просто Яндекс метрика не вывозит? А увеличение заходов с поиска - это естественный рост после блокировки реальных ботов с прямыми заходами. Последние 3 недели он вообще 90% ВПНщиков в боты записывает. А это, скорее всего, люди. Просто в наших реалиях, когда многие популярные соцсети в блоке, люди с включенным ВПН сидят.

Ничего мудрёного, это делается не для какого-то определённого сайта отдельно, а для множества одновременно. Запросы создаются по словарям. Вся выдача заранее спарсена по множеству запросов. Если к сайту нет доступа по прямым и т.п. заходам, бот смотрит по базе, где сайт есть в выдаче. Теория, но вроде логичная.

Возможно, не просто так яндекс xml закрывает.