Ловля ботов из РСЯ – делюсь лайфхаком

Какой смысл знать о том, что переход был например ботным, если вы за него уже заплатили, а яндекс денег за него все равно не вернет?
Здесь более интересен реальный вариант что делать сразу, а не потом как-нибудь в следующей жизни.

Зато заголовок кликбейтный - «делюсь лайфхаком» 😁

Не вернут деньги , ещё и из вебвизора пропадут визиты многие))) скажут смотреть статистику в директе, повысить ставки и прочее. 

Выше уже ответил, повторюсь: в минималке – отсечение попыток адаптировать интерфейс под заведомо нецелевых визитёров. Смысл делать сайт удобнее для тех, кому пофиг, удобнее у тебя сайт или нет? А на глазок не всегда понятно – пробовать ли угодить очередному гостю или это просто хаотическая блажь бота.

Деньги Яндекс время от времени возвращает, но бодаться не вижу смысла: клик у меня в среднем стоит 50 руб., тратить рабочий день (который у меня как бы тоже стоит денег) на возврат 50 руб. за каждый клик – так себе идея.

А вот дальше – интереснее. Вопреки заверениям, что никаких закономерностей у ботов нет – можно, к примеру, подсчитывать «коэффициенты доверия» для IP-адресов и UserAgent. Уверен, что через месячишко сбора такой статистики накопится много интересной информации, которую можно использовать для фильтрации входящих визитов (что, собственно, я и имел в виду, написав «отпишусь по результатам»).

Или увязать процентный анализ бототрафика с разными рекламными кампаниями – чем не вариант?

Кстати, о закономерностях: у небезызвестной многим «Битерики» такая закономерность вполне себе есть – пулы IP-адресов ботоферм. Да, это конвейерные ботофермы, мелочь курит прокси, но у большинства разработчиков нет задачи полностью избавиться от ботов – задача всего лишь в том, чтобы свести количество их визитов до приемлемого уровня. Если у вас будет процент отказов 10-15% – вас же это устроит, правильно?

Ну как-то так.

В прошлом году, когда бушевали боты с битерики, запросам с этой сетки и другим ботам сайт не отдавал двухсотый ответ - запускал thread.sleep, боты отваливались по таймауту. Так же пробовал отдавать в ответ файлы по 50 мб. но эффективность этого способа не анализировал. С тех пор мой гс'ник с 30к посетителями сутки стал прокаженным для ботоводов, хотя в прошлом месяце с селектела был наплыв ботов по юзерагенту поискового бота Яндекса, но за пару дней передумали больше заходить, после раздачи люлей.

Сейчас, скорее всего, вам посоветуют воспользоваться CloudFlare – и не факт, что не стоит прислушаться.

Поэтому просто как альтернатива – мой вариант (в разработке): визит на страницу со «шторкой» (сквозь которую практически не видно контент – у меня на «занавеске» блюр с интерполяцией из 3 пикселов и 25% прозрачность) и переход на следующую страницу без закрытия «шторки» == бот.

Пояснение на всякий случай: человек просто не разглядит, куда тыкать, пока не закроет «шторку» (да и смысл, если закрыть её – один клик по ярко-красной строке «Закрыть окно»?). Ботам «шторка» не мешает – прекрасно по пять минут крутят одну и ту же страницу сквозь неё и яростно размахивают курсором по всему экрану (всего за два дня таких пришло минимум 50% из РСЯ сквозь мглу, метели и антифроды Яндекса, но недействительными из них, по мнению Яндекса – хорошо если процентов 10 оказались, ну в принципе, как я примерно и предполагал). Занятно, кстати, насколько резко отличаются трафик из РСЯ и из органики – из последней хоть какие-то реальные действия фиксируются (поиск по сайту, операции с корзиной и пр.) и ПФ более-менее (порядка 10-15% отказов), из РСЯ – ПФ 30-35%, действий тупо ноль (правильно, потому что они фиксируются посредством JavaScript, с которым боты пока не особо дружат).

Яндексу плевать на твои шторки, занавески )))

Ты им когда это показывать будешь, то так офигеешь от их лжи, что мало не покажется.

Вот совсем недавно мне в Яндексе объясняли, что визиты в метрике по заблокированным адресам могут отображаться, потому что пользователь сайт открывает по другому айпи, а уже потом грузит метрику с затаненного айпи. И это человек.

А поставщики серверных прокси в Яндексе считаются провайдером интернета.

Вот так и врут.

Я тут скрины выкладывал. И вроде бы писал в поддержку метрики, а отвечал какой-то таксист или курьер.

В Яндексе бывает на 4 айфоне 17-я iOS, на 6 андроиде последний браузер хром, на винде xp последний хром.

И ты будешь платить за это!!! 😁😁😁

Дмитрий, я боюсь, что ты немного не понял, о чём речь (или я не понял вопрос up2lead). Речь, как мне представляется, вовсе не о том, чтобы доказывать Яндексу «ботность» визитов из РСЯ – естественно, они с пеной у рта примутся опровергать твои доказательства, играть в карты с шулером – идея так себе (у меня есть основания так утверждать: достаточно того, что их антифроды пропускают от 50 до 75% ботов вопреки всем официальным заверениям). Так что ничего я им показывать не буду – это бесполезная трата времени.

Вопрос в том, как понять и отследить самому % «ботности» трафика – и вот тут шторки реально могут помочь. Как помогают сейчас мне. На основе их помощи можно принять решение – вбухивать дальше деньги в порожняк или искать альтернативные варианты.

Платить, конечно же, буду, точнее, будет руководство. Но – только  до тех пор, пока не будет принято решение спрыгнуть с этой бессмысленной карусели. Здесь главный вопрос в том, куда спрыгивать.