Резкий всплеск прямых заходов. Как бороться?

Сейчас мельком посмотрел все, что подключается к странице, там нет прямой метрики. Но как будет время гляну подробнее. Точнее, меня это не напрягает и вообще пофиг, боту отдается 403, хоть двадцать метрик пусть стоит.

а я не мельком смотрю и изучаю вопросы ) метрика есть. она там обычная полноценная, только id принадлежит яндексу. метрике без разницы код ответа страницы которую ты отдал для бота. боту в целом тоже без разницы твой код ответа сервера. куки он получил, метрика все это зафиксировала и отказ тоже. 

Не так работает все в капче... даже с учетом метрики но это не суть, да и пофиг на бота в данной задаче и что он там получил. Задача убрать ботов, выполнена. Из тысяч ботов проходит десяток ( практика). Позиции восстановились и пошли нормальным путем уже в зависимости от своих усилий ( не один сайт и не один месяц). Другие задачи, другие способы. 😎 И да, я нигде не написал, что обязательно надо ставить, что лучшее решение, все от своих возможностей, задач и мнения;)

Это не всегда прямой заход.
Бывает, что браузер в настройках скрывает реферер, и получается "-" в логах, но это видно по анализу логов на промежутке, хотя бы, пару месяцев + маркетинговое исследование по поведению типичного юзера в тематике.

У меня сейчас на проверках около 2 млн IP и почти 12к сеток. В день на ротации 1-2к IP "неизвестных" в моей выборке, т.е., ротационный костяк уже собран, остается собирать за месяц 20-30к IP и парсить сетки по ним.
А дальше: анализ рефереров, анализ частоты посещений и выводы относительно вердиктов (отрабатывать с ними или нет).
Капча от Яндекса нормально косит прямые, но никакой антибот или капча не справляется с ботами, какие идут из ПС. Те качественно пролетают проверки хоть какие и прут на url, сжирая мощности, ресурсы, перетасовывая выдачу, ключевики, нагуливая им цену на аукционах и т.д. Бьют по всем фронтам.
Тех только точечно скрупулезно выслеживать, смотреть url нагула, смотреть рефки (ну то, что выше написал).
Пока это все в пилотном проекте, но уже есть ощутимый результат: "До" > "После". И все без CF и Антиботов (хотя там не антиботы, а простые капчи, какие по кукисам потом не показываются белой базе IP).

убрать откуда? метрика для бота доступна, с вебвизором и прочими делами. она по прежнему фиксирует отказы, плохие поведенческие, роботность и прочий негатив. в этом плане ставить смарткапчу это самое тупое что можно сделать. лучше ставить любую другую капчу, не связанную с яндексом.

Т.е хотите сказать, что капча Яндекса и Клауда отпугнет реальных пользователей больше, чем ваши стремные картинки в квадратиках?

У учитывая еще, что у Яндекса и Клауда проверка вылетает только подозрительным юзерам, а у вас всем подряд.

Хватите уже рекламировать своего антибота, мне кажется для большинства - это уже является антирекламой.

Да, тут не все просто и действительно нужен анализ. Вот как раз думаю как себе все автоматизировать это,  чтобы повысить скорость обработки и боле менее выйти на вменяемый, но автоматизированный результат при проверке. Кстати можно подключить всякие черные списки айпи и рейтинг айпи.

у яндекса в большинстве случаев проверка с 7 кликами. это отпугавают. люди сравнивали на большом объеме трафа.

клаудфлар и моя капча показываются тоже только подозрительным. и это 1-2 клика не ломая мозг.

у тебя антиботофобия, нету денег на платные решения - юзай бесплатные, никто ни к чему не принуждает.

я тут про капчи обсуждаю и предупреждаю о потенциальной проблеме - ставить капчу с метрикой для защиты метрики эьто не  логично.

Куча мест где есть капча. Авторизации те же. Вебмастерам постоянно приходится разгадывать все эти капчи. Правда, в основном гугловскую рекапчу. Но там действительно надо, чтобы попасть в ЛК допустим.

А вот вешать капчу яндекса на вход на сайт, где посетителю нужно натыкать в нужном порядке эти 5 или 6, сколько там, значков - это дно. Повесьте это чудо на все значимые действия на интернет-магазин. Обвалятся продажи, а вас через месяц уволят.

У меня знакомые маркетологи вон бьются за то, чтобы клиенты после нажатия на кнопку корзина в каталоге сразу пропускали лишние шаги и сразу попадали на страницу оформления заказа. Это нереально увеличивает конверсию.

А вы мне рассказываете про то что нужно сидеть разгадывать ребусы чтобы войти на какой-то сайт? Да гори он гаром.

не поможет. поведенческие боты идут с моб операторов россии, с самых населенных регионов россии. т.е. нельзя просто так взять и забанить московский мегафон к примеру, если сейчас с ip или подсети зашел бот, то через 15 минут с этого адреса будет уже идти живой человек.