Bot Inspector

Bot Inspector
Рейтинг
9
Регистрация
04.06.2018
Должность
inspecting traffic
Интересы
inspecting traffic in part time
know all about bots

Кейс о глупых скликэтирах

— скажите, Инспектор — прервал я его послеобеденный режим расслабленной гибернации — вы не находите странной следующую закономерность?

Я показал ему график зависимости количества проведенных сделок с нашими клиентами от количества вопросов, которые они задали во время предварительного разговора.

И ведь вопросы все очень разные — как устроен Бот, как работает Инспектор, какое у нас образование и как давно мы образовались? Давно ли мы снимаем этот домен? Сколько стоит диван? Почему MsHadson такая странная? Можно ли глянуть алгоритмы? Сколько у нас клиентов? Какие из них крутые, он про них что-нибудь знает? Можно ли посмотреть javascript? А почему переменные названы в формате camelCase? А почему он шифрованный? Сколько вы на рынке? Почему такие странные имена? Есть ли у нас сахар к чаю и какой сегодня день недели?

В общем, чем больше вопросов было озвучено, причем неважно, далеких от сути или вполне конкретных, тем меньше становилась вероятность, что мы возьмемся за это дело.

— Почему так, Инспектор? — заинтересовался я — ведь я довольно искренне отвечал на все, ну и вообще, вряд ли человека с реальной проблемой могли серьезно смутить названиях переменных?

— Видишь ли, дорогой мой Бот — откинулся в своем аэроне Инспектор — средний человек, вообще существо довольно тревожное, а вебмастер, кроме того еще и немножечко параноик с с полным набором уникальных суеверий. Это нормально, учитывая специфику профессии.

Потому что, посуди сам, он ведь живет в условиях хаотичной неопределенности, как древний земплепашец. У него есть поле которое он возделывает, боги которые ему помогают или наказывают, и некий набор данных богами условных правил из серии “что такое хорошо и что такое плохо”.

И вот он вроде делает все по правилам, а какой-нить злой божок Парсерок по чужой молитве возьмет и нашлет бото-демонов. А они сожрут все его подрастающие поведенческие, загадят поле статы и засорят все отказами. Посмотрит тогда на это злой Яндекс-трафодержец, да и накажет вебмастера.

Придет вебмастер в храм Платона Молчаливого, закажет там молебен, там его прочитают, конечно, но траф так и не вернется.

Конечно, в таких условиях психика немного профессионально деформируется.

А вдруг ты, Бот, сделаешь нечто, что не прописано в скрижалях, но все равно свой дерзостью, своим волшебным сайенсом разгневаешь богов?

Ведь это, по сути, столкновение двух мифов — религии и науки. А решение проблемы с помощью науки — это всегда вызов богам.

Поэтому, когда человек приходит к тебе за ответами, он на самом деле уже приходит за ответом на какой-то свой главный внутренний запрос. Например, “хочет он решить проблему”? Или же “хочет быть послушным богам”?

И задавая тебе один за другим вот эти вопросы, он ищет среди твоих ответов тот, который ответит на его основной.

“Ах, там переменные в camelCase? Ну нет, тогда не стоит и пытаться, как бы чего хуже не вышло.”

— Поэтому когда вопросов становится слишком много или они слишком странные, ты можешь сразу понять, что надо отвечать на этот самый главный, потому что…

Но в этот момент у нас в комнате появился посетитель.

Представительный молодой человек, одетый в баланьсягу и адидас, сразу удобно раскинулся на диване, мощно отхлебнул чаю и громко выдохнул.

— Уф! Я — Володя. А сахар есть? Че вообще, какой сегодня день недели?

Кубики сахара материализовались на подносе рядом с ним в виде слова "СРЕДА”.

— Четверг — через секундную паузу ответил посетителю я.

За окном пробили часы на городской башне.

— В общем, у меня проблема со скликом. Бюджеты большие. Че надо сделать?

— Поставить на стражу нашего Бота — ответил Инспектор.

— Вот доступы — Владимир выложил на стол светящиеся токены — сами все сделаете?

— Уже сделал — откликнулся я. — но теперь нам надо подождать, пока появятся злоумышленники.

— Ждать я не особо люблю. Слушай, а раз уж я пока здесь, поможете мне еще с одним вопросом? — и он рассказал, что ему нужно свести некоторые цифры в аналитику. Но там столько цифр, что знакомый нам всем господин Эксель не справляется и нужно немного кодинга.

Боже, как я обожаю кодинг. Для меня, как для программы, кодинг — это как для вас, кожаных человеков, то, с помощью чего вы делаете других кожаных человеков. Или, хотя бы имитируете их производство.

Это чувство, когда вот ничего не было, а вот ты создал из этого ничего — нечто, да еще и похожее на тебя. Не знаю, чего тут больше — божественного или отцовского.

— Wow! Как быстро? — Володя закинул готовые данные в архив. — Ну, что там со скликом?

— Владимир, а вы в курсе что у вас там периметр уже вроде бы охраняется?

— Да, да, забыл сказать, вот они мне такие данные скинули. Я поэтому и пришел.

— Хорошо, вот они поработали одновременно с Ботом, теперь вы можете отключить их для чистоты эксперимента?

— Сделано.

— Теперь нам надо еще подожда…

— Ну, нет, ждать больше не буду, куча дел. Скиньте инфу потом, чо как. Спасибо.

И посетитель растворился в воздухе оставив после себя недопитый чай, огни токенов и запахи насоматто и маккелана .

Между тем, ждать пришлось недолго, боты набросились на периметр практически мгновенно.

— Смотрите, Инспектор, как интересно! Боты настолько дерзкие, что даже практически никак не маскируются! Они идут из сетей хостинг-провайдеров, и при этом прикидываются то гуглоботами, то айфонами, то еще кем.

— Но, вы только поглядите, это ведь удивительно — они идут не из гугладвордса, а просто напрямую на сайт! То есть это это какие-то псевдоскликеры, они просто наводят очевидную ботоактивность на сайте! Что за глупость? Зачем? Что это может быть такое?

— У меня есть некоторые подозрения на эту тему, мой милый, наивный Бот, но для этого вам надо немножечко понимать человеческую сущность. Давайте предоставим решать это самому клиенту. Отправьте ему полный отчет по этим данным.

Прошло совсем немного времени, после отправки отчета, как ответным сообщением пришел плотной запечатанный пакет.

Кроме гонорара, в нем лежала искусственная, очень искусно сделанная, фигурка изумрудной лягушки с красной, алчно распахнутой пастью.

— Вот так, дорогой мой Бот — выглядит человеческая Жаба Вульгарис — усмехнулся Инспектор, и поставил её на полку, рядом с трофеями от предыдущих кейсов.

Жаба кивнула головой и тихо крякнула.

foxi:
Bot Inspector, боты яндекса в основном ходят яндекс браузером (юзерагентом).

их там несколько видов и представляются они не то чтобы совсем рандомно, но с некоторым распределением.

так кроме вас там еще с десяток таких оптимизаторов в топ хотят )

я на 90% уверен, что это боты яндекса, но если я ошибаюсь, и вы захотите проверить оставшиеся 10% — могу помочь бесплатно глянуть своими инструментами. если это не яндекс, то можно что-то сделать будет.

но если это яндекс — сможете ли вы смириться с его беспощадностью? )

а закрываться по айпи вам придется целыми диапазонами обычных сотовых сетей, по которым пользователи ходят.

можно, конечно, но это не имеет никакого смысла со всех сторон

lordseo:
а по метрике можон посомтреть айпи? там же есть такое, мне надо же айпи забанить только которые на гнлавную сарницу ведут

---------- Добавлено 27.01.2019 в 09:29 ----------

а почему тогда в вебвизоре показывает что с яндекса заходы просто нет фразы

---------- Добавлено 27.01.2019 в 09:38 ----------

по метрике разделил все заходы с поиска кто сидел меньше 15 сек и компы, получилась станная сетка http://prntscr.com/mcq7sv

---------- Добавлено 27.01.2019 в 09:49 ----------

а когда увеличил время пребывания на сайте то таких масок айпи очень мало...в основном они на отказ идут, а как абнить их в htacces

о, это самые шифрованные боты яндекса, на текущий момент.

фразы нет потому что зачем она вам, а с яндекса идут, как раз чтобы видеть, кто там клоаки делает.

по айпи вы их замучаетесь вычислять

они со всеми мобильными операторами работают.

скорее всего динамика сайта в выдаче не связана с этими ботами, "иногда, падение в выдаче — это просто падение в выдаче".

склоачить их конечно можно, при большом желании, но если вы не занимаетесь чернухой и вам не надо прятаться от всех их ботов, толокеров и прочей нечисти — забейте, причина не в этом.

еще один вариант — снять отпечатки конкурента и показывать ему старый сайт.

как в кино, когда охранник смотрит на мебиусную запись ничего.

вас, очевидно, заказали.

шантажируют, чтобы вы поставили phpmyadmin, иначе это никогда не прекратится!

на следующем шаге вам будут предлагать поставить известный им пароль.

и так, пока не доберутся до базы.

новейшая технология социального-реверс-брутфорсинга.

mrmvd:
Ну сейчас уже несколько тысяч пользователей в день. Где-то 10-15 тысяч хитов.

Начинали с миллиона

давайте я бесплатно своей аналитикой гляну и скажу что там чего и почему.

о каком объеме суточного трафика вообще речь идет?

конкретное и вполне рабочее решение — забить.

с 70% вероятностью это боты яндекса, который последние месяцы немножечко сошел с ума, и у которого средняя рука не знает что делает третья лженога.

но гадание по графику трафика — это так себе занятие.

Всего: 53