Нужна помощь в тестировании бесплатного сервиса клоакинга.

Про клоакинг по ip, я тоже себе пытался пилить клоакинг с базой плохих/хороших ипов. Но потом на анализе больших подробнейших собранных объемов логов и параметров понял что база получилась ниочем.

В итоге получил огромное количество ипов, в особенности российских, в особенности билайна и мтс, особенно мобильных, которые вели себя то как бот, то как человек делающий подписки.

Обычных поисковых ботов по whois собрать не проблема. А именно Яндексовых и прочих российских хитроботов, непонятно на кого работающих не собрать.

Для себя нашел идеальный в плане фильтрации вариант - просто form с button (размеров как для людей, а не занимающий большую часть экрана) отправляющий пост запрос. Если нажал, значит юзер и ему можно показать всякий стрем.

При этом полумера, типа онклик на любую область экрана или прозрачного дива 100%х100% экрана не спасает, хитроботы делают рандомные клики в разных местах сайта.

соска, а кто будет платить за потраченное время на тесты, трафик и т.п. ?

Или ты думаешь всем делать нечего, побегут тестировать скрипт мамкиного не дальновидного программиста, который должен прогать, а не в бизнес лезть!

Не совсем так.

Точнее будет сказать, что мы показываем тем, кто подпадает под заданные правила одно, а тем, кто не подпадает другое.

В основном все правильно, только кнопочки далеко не две.

У нас есть база около 35К записей IP адресов и UA, но, естественно, 100% гарантии, что отловлены все боты мы не даем (и никто не может дать).

Ну, в принципе да. И сейдас еще дорабатываем функционал по просьбе пользователей.

Вот, например, что попросили сделать:

https://www.twickbot.com/forum/threads/%D0%9F%D1%80%D0%BE%D0%B1%D1%80%D0%BE%D1%81-%D0%B4%D0%B8%D0%BD%D0%B0%D0%BC%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D1%85-%D0%BC%D0%B5%D1%82%D0%BE%D0%BA-%D0%B8%D0%B7-url.9/#post-30

Я сделал, но, сегодня буду доделывать, чтобы обрабатывались также и русскоязычные параметры. Тесты показали, что такие периодически проскакивают.

Никак.

Я одно время занимался разработкой ботов работающих через обычный браузер. Такие нужны для социалок, где используется аякс и, соответственно, обычные боты не работают (например в Facebook). Могу сказать, что нет никаких способов определить таких ботов.

Ну, сам посуди, если у посетителя обычный браузер, он работает с IP из подсетки какого-нибудь провайдера (который есть в базах данных провайдеров и есть соответствующая запись в реверс зоне) и у него нет никаких признаков работы бота, как можно определить, что это бот? Я не думаю, что программисты в поисковиках чайники и, если они писали ботов-контроллеров, то не учли все вышеперечисленные факторы.

всякие селениумы, зеннопостеры и прочее, как и любое по, имеет те или иные баги, которые позволяют со 146% точностью определить что это бот реализованный на конкретной платформе.

готов держать пари, что никаких "хитроботов пс" не существует, а есть дорвейщики/сеошники/etc, мониторящие выдачу и заходящие на сайты с юзерагентами поисковиков и не особо умные граждане, выстраивающие на основе подобных заходов теории заговоров.

JungleBox, пшел вон из моего топика, трепло.

Приношу остальным форумчанам свои извинения за, может быть, излишнюю резкость. Я не знаю, кто такой JungleBox, но, я был крайне удивлен, когда недавно случайно обнаружил, что некто с ником JungleBox распространяет на форуме вранье и клевету про меня. В тот раз я среагировал слишком эмоционально, за что мне и были начислены штрафные баллы.

С какой целью он врет и распространяет клевету про меня, мне неизвестно:

Совершенно правильно подмечено.

Кто хотел протестировать, тот тестирует.

Кто не хотел, прошел мимо.

Зачем оффтопить?

---------- Добавлено 17.08.2017 в 11:57 ----------

А по каким критериям собирали, если не секрет?

С ботом, использующим обычный браузер, такой способ работать не будет.

---------- Добавлено 17.08.2017 в 12:01 ----------

Это так принято обращаться к девушкам на этом форуме?

ИМХО, еще один убогий.

---------- Добавлено 17.08.2017 в 12:05 ----------

realefs, я работал с селениумом (который теперь вебдрайвер).

Очень заинтересовало ваше заявление. Лично мне неизвестны "баги вебдрайвера", которые "позволяют со 146% точностью определить что это бот".

Можете привести хотя бы один пример такого бага?

Twickbot, а зачем ты удалил из своего скрина моего поста фразу (наверно). Что подразумевало мое предположение? Предполагать и приводить оценочные суждения лично ты запретил мне на этом форуме или как?)) давай ты буешь "посылать вон" на своем форуме мамкиных программистов, ок?

Да и не обязательно было так палиться, я итак понял что у тебя не пошло с доргеном решил новую лабуду наговнокодить

Опять врешь.

Из своего скрина я ничего не удалял.

И опять врешь.

Я вообще никогда не занимался доргенами.

Думаю, больше не имеет смысла с тобой вступать в дискуссию.

К лжецам у меня врожденное чувство брезгливости.

Twickbot, по твоей манере кукарекать пламенных речей сразу видно что ты создатель топиков про нейронки и доргена. Также как по тому что в том топике где этот херой психушки толкал свой дорген а потом возродился после его бана и продолжил как ни в чем не бывало толкать с клона.😂

Twickbot, собиралось все что физически можно было собрать: whois, юзерагент, язык браузера и все параметры браузера которые можно собрать на php и js, включая доступные расширения, размеры окна, монитора, ставились куки, етэг, ластмодифиед, вся цепочка ip (кроме remote adr еще х-форвардер и все остальные говорящие о прокси), весь лог и путь посещений, инфа был ли сделан клик и в какой области страницы он был сделан, сколько времени провел на странице, сработал ли от его клика кликандер, была ли мобильная подписка, скрытые от юзера ссылки по которым может пройти только бот и еще куча всего... пару месяцев логирования, миллионы строк логов.

И в итоге однозначно пришел к выводу, что статический анализ всех этих данных ничего определить не может, любой ip "домашнего" российского инет провайдера (и набор REMOTE_ADDR + HTTP_CLIENT_IP, HTTP_FORWARDED etc) будет признан как ботом, совершающим аномальные автоматические действия, так и человеком, совершающим осмысленные и живые действия.

Однозначно можно смело считать человеком тех, кто ходит оперой мини с турбо режимами.

Кто те полуботы ходящие в больших количествах на сайт это уже решайте сами, в зависимости от своей веры в разные теории заговора, моя религия и субъективные наблюдения подсказывают, что эти боты связаны с яндексом, мейлом, ркн, касперским, и прочими "спасителями всея рунета от мирового зла" которых развелось как собак нерезанных.

Теперь моя лучшая защита от автоматизированных ботов, это примерно такая форма:

<form action="/post.php" method="post">

    <button type="submit" class="btn btn-success">Я не робот!</button>

    <input type="hidden" name="id" value="testrandomid">

тут еще набор скрытых стилями полей против хрумера

</form>

при этом она должна занимать маленькую площадь пространства страницы, чтоб минимизировать случайный рандомный клик по странице. пробивается (т.е. пытается пробиться) такая защита только хрумером, но набор скрытых полей решает эту проблему на 99%, да и попадание хрумера на скрытый контент (рекламу) в общем-то не вредит.