FireCloack v1 SEO клоака на Машинном Обучении.

Да хватит уже заморачиваться с ботами на ровном месте, нет с ними никаких проблем. Никакой штатный бот не использует MouseUp - всё, больше вам ничего не нужно знать.

Проблема с ботами состоит в том, чтобы наоборот, отловить нужных ботов именно нужной фирмы, а не в том, чтоб отличить бота от человека.

@bolyk

Can't download, could you share this FireCloack v1 on google drive?

FireCloack on Google Drive

Клоаку от гугла на гугл драйв - самое оно:D

@bolyk

if I want to add this script on Wordpress, how should I do?

I use below script on my site but alert error

Appreciate your help in advance.

1) Copy folder with firecloack.php into wp-content\themes\YOUR_THEME_NAME folder

2) Add to header.php

<?php
require (__ DIR __. '/FIRECLOACK_FOLDER_NAME/Firecloack.php');
$ bot = firecloack ();
?>

3) In all others files of WP Theme, you can use:

<?php if(!$bot->isBot): ?>
Content only for humans
<?php endif; ?>

or

<?php if($bot->isBot): ?>
Content only for crawlers
<?php endif; ?>

@bolyk

I want to know if FireCloack can work on php7.2?

follow your guidance, add

to the theme header.php file

always alert me

курогрудка на масле... а клаака на машобучении. непорядок однако

Приветствую.

Вообщем обновил скрипт:

теперь, он анализирует не только ip но и User Agent.

База ботов IP+User Agent была получена из своих логов, с дорвеев, размером в 1Гб. Больше не хотел брать, ибо предобработка(отсев ботов от пользователей) базы заняла только 6 часов.

По результатам:

baidu; Всего IP+User Agent: 17; Тестовых IP+User Agent: 3; Успешно определенных IP+User Agent: 2; Точность определения %: 66

bing; Всего IP+User Agent: 358; Тестовых IP+User Agent: 71; Успешно определенных IP+User Agent: 70; Точность определения %: 98

bots; Всего IP+User Agent: 953; Тестовых IP+User Agent: 190; Успешно определенных IP+User Agent: 185; Точность определения %: 97

curl; Всего IP+User Agent: 20; Тестовых IP+User Agent: 4; Успешно определенных IP+User Agent: 1; Точность определения %: 25

google; Всего IP+User Agent: 6133; Тестовых IP+User Agent: 1226; Успешно определенных IP+User Agent: 1226; Точность определения %: 100

mail; Всего IP+User Agent: 84; Тестовых IP+User Agent: 16; Успешно определенных IP+User Agent: 15; Точность определения %: 93

yahoo; Всего IP+User Agent: 1155; Тестовых IP+User Agent: 231; Успешно определенных IP+User Agent: 227; Точность определения %: 98

yandex; Всего IP+User Agent: 732; Тестовых IP+User Agent: 146; Успешно определенных IP+User Agent: 145; Точность определения %: 99

Из минусов:

IP типа 127.0.0.1 или 192.168.1.1 определяются как "Бот", любой IP кто пришел с User Agent ПС, определяются как "Бот"

Добавил:

- простой парсер IP+User Agent из стандартных логов Nginx, смотрите папку /parser/

Внимание: Возможен отсев % реальных посетителей, любых подозрительных определяет как "бот".

Внимание: Не тестировать на больший боевых проектах.

Скачать FireCloack v2 Базы в комплекте.

Актуальная информация будет тут

Не совсем ясно какой бот считается "штатным", предположим бот поисковой системы илидругой корпорационный бот, но факт в том что стандартные библиотеки, используемые также и при написании обходных ботов компаний с поддержкой Javascript отлично умеют обрабатывать все события, включая MouseUp, mouseMove и все события которые обрабатывает реальный браузер посколку используют V8 или другуй движек браузера (что намного реже, в основном V8). Реалии в данном вопросе таковы что современными методами можно создать бота, проходщего любую защиту, тем более примитивную на основе детекции событий мыши. Не существует необходимых защит, каптчу оставим отдельным пунктом. На практике сложно обходятся onEvent, где прописан сложный сценарий в ходе выполнения которого перестраивается html-код выводимый рендер-скриптом, когда далее юзер кликает по появившемуся элементу итак длаее, то есть когда форма морфится в ходе экшнов, но также обходится, просто сложнее. Эмулируется всё.

---------- Добавлено 05.10.2019 в 18:57 ----------

Ну ты сам ответил на свой вопрос. Как можно отфильтровать бота, который умеет кроме POST и GET запрсов, определяемых в php эмулировать и javascript, то есть дело не в структуре запроса и даже не в их последовательности, поведение которое нужно отделить как поведение бота намного сложнее и не всегда отличимо от поведения пользователя. Я бы оставил эту затею, она глупая, любой крупный сервис оталкивается в своих защитах прежде всего от приоритета удобства для пользователя, никто в коммерческих целях не будет на сервисе усложнять поведение пользовтаеля или тем более дестабилизировать результат действий. Сфера применения ai ml совершнно иная, и это не анализ простых строк, которыми являются записи в логах. Дело даже не в потере пользовтаелей, хотя это потеряные деньги, а в том что ты неверно педставляешь суть задачи и работу современных технологий, используемых при её решении в своерменных проектах, в частности ai ml, то есть какы странно что подобный проект вообще возник, но это не на php в любом случе реализуют и другими методами.