Ловля ботов из РСЯ – делюсь лайфхаком

Михаил
На сайте с 02.03.2007
Offline
167
1570

Последнюю неделю пришлось изрядно поломать себе голову над простым и эффективным способом ловли ботов из РСЯ (к примеру, в одном из материалов с Тырнета рекомендовалось анализировать плавность перемещения курсора мыши по каждому визиту и сравнивать её с неким общим коэффициентом хаотичности, свойственным исключительно людям – каковой метод был мной с негодованием отвергнут как чрезмерно сложный).

И вот буквально сегодня меня осенило. Ну не то чтобы проще пареной репы – но куда проще анализа хаотичности. Способ реально рабочий – первого бота уже выловил. Делюсь методом бесплатно, подробно и по шагам (ну почти бесплатно – лайкнуть пост поблагодарить автора можно отправив ему миллион евро в нижней части окошка). Правда, не знаю – может, сам того не подозревая открыл какой-нибудь крупный континент, но мало ли... В сети про этот способ ничего не нашёл.

Итак, главный гвоздь программы – это метка, она же GET-параметр (у меня это utm), которым снабжается каждый переход по рекламе. Наличие этого параметра в адресной строке позволяет однозначно определить визит с РСЯ. Дальше делаем следующее: для всех, кто заходит на сайт с этим параметром, конструируем экран приветствия, причём такой, чтобы конкретно мешал просмотру контента (как всплывающая реклама, только полезный – у меня, например, на этом экране содержится краткий перечень возможностей, доступных оптовым покупателям, с предложением воспользоваться одной из этих возможностей вот прямо сейчас – скажем, скачать PDF-каталог продукции). В числе этих возможностей, естественно, содержится и предложение закрыть окно приветствия.

Уже уловили идею, да?

Боты, в отличие от людей, не закрывают это окно. А зачем? Оно не мешает им изображать человеческий визит. Они даже не подозревают, что его надо закрыть – и прокрутка контента идёт сквозь мутный муар подложки окна приветствия. И всё это можно увидеть на записях визитов, которые аккуратно производятся Вебвизором Яндекс-Метрики.

Как избежать повторного вывода приветствия одним и тем же гостям на каждой странице – в общих чертах изложено мной в этом комментарии.

Ну а то дальше делать с полученными данными – это в меру фантазии и аналитических потребностей.

Прим.: схема работы рекламной кампании – с оплатой за клики. Наберётся побольше статистики – отпишусь сюда по результатам, самому интересно.

Вот видишь, Алиса, что нужно всё время бежать, чтобы оставаться на месте! А чтобы куда-нибудь добраться – нужно бежать вдвое быстрее!
юни
На сайте с 01.11.2005
Offline
909
#1
Михаил :
Как избежать повторного вывода приветствия одним и тем же гостям на каждой странице – в общих чертах изложено мной в этом комментарии.
Проблема в том, что Вы ловите бота уже после посещения страницы. И при первом визите, и при всех последующих (поскольку он поменяет ip и user agent).
https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
Ирина Рина
На сайте с 24.06.2021
Offline
51
#2
Ну тогда уж разместите рекламу формана Onclick (Popunder) и смотрите, закроют ли новую вкладку или нет и вы заработаете, и ботов определите)
https://t.me/catmusix - Мой Телеграм Канал Музыки! Подпишись, Позявя
Михаил
На сайте с 02.03.2007
Offline
167
#3
юни #:
Проблема в том, что Вы ловите бота уже после посещения страницы. И при первом визите, и при всех последующих (поскольку он поменяет ip и user agent).

Верно. Но тем не менее это даже в минимальном варианте сразу же отсекает при разработке попытку адаптировать интерфейс под заведомо искусственные визиты, а в долгосрочной перспективе – возможность вычислить свойственные бот-визитам закономерности, что, согласитесь, уже неплохо для начала.

Михаил
На сайте с 02.03.2007
Offline
167
#4
Ирина Рина #:
Ну тогда уж разместите рекламу формана Onclick (Popunder) и смотрите, закроют ли новую вкладку или нет и вы заработаете, и ботов определите)

Мне нужны реальные посетители, а не копейки за визиты ботов.

nimag
На сайте с 02.02.2007
Offline
150
#5
Михаил #:
Мне нужны реальные посетители, а не копейки за визиты ботов.

Вот решение от 21 года: https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

Выгодная партнерка по мягкой мебели (5%). МСК, СПБ. https://msk.imeex.ru/partnerskaya-programma-dlya-vebmasterov/ . Партнерка по товарам для дома https://nimag.ru
Михаил
На сайте с 02.03.2007
Offline
167
#6
nimag #:

Вот решение от 21 года

Отличное решение (да, опоздал со своим лайфхаком), единственно, подключение JQuery с серверов CloudFlare ИМХО не лучшее решение – во-первых, у CloudFlare в последнее время с репутацией дела так себе, во-вторых, что мешает такую крохотную библиотеку положить у себя на собственном сервере? В целом же, технически – превосходно. Правда, нагрузку на сервер это не снизит, только позволит исключить ботов из расчёта ПФ и в конечном итоге – из факторов ранжирования, но тем не менее.

alaev
На сайте с 18.11.2010
Offline
751
#7
Михаил #:

а в долгосрочной перспективе – возможность вычислить свойственные бот-визитам закономерности, что, согласитесь, уже неплохо для начала.

А у ботов нет никаких закономерностей. На то они и боты, чтобы их Яндекс не ловил.

И валить боты могут с серверных прокси, мобильных операторов и даже с крупных провайдеров домашнего интернета.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
alaev
На сайте с 18.11.2010
Offline
751
#8
nimag #:

Вот решение от 21 года: https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

Устарело. Значительная часть ботов закроет эту всплывашку , а которые не закроют все равно получат куки сайта.

sarkis28
На сайте с 18.12.2018
Offline
108
#9
главное , что нужно понять  - это то,  что те люди , кто крутит, берут прокси с ротацией. 
Вы не сможете их как-то ограничить , иначе порежете трафик реальных людей.  Именно поэтому яндекс по большей мере считает ботами реальных юзеров. 
Вся борьба с ботами эффективна только с теми , которые самые "простые". А на остальных забейте , если ничего плохого не происходит с вашим сайтом 
sartiqus
На сайте с 10.02.2019
Offline
68
#10
Особенно эффект будет заметен, когда Яндекс заметит факт скрытия метрики (например по значительно повышенной доли посещений когда метрика не грузится не по причине браузерных плагинов-блокировщиков), клоакинг все дела 👍

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий