AntiBot - скрипт защиты сайта от плохих ботов и хитроботов.

Для экранов меньше 500px уменьшаем шрифт (можно и в пикселях):

Ну, я заглушку не смотрел. Возможно, там надо значение для H1 или H2 прописать, а не для body :)

"Скрипт режет реферрер!"

т.е. не будет видно, с гугла или яндекса траффик и на какие конкретно страницы он пошёл?

в конфиг антибота поставить счетчик и все будет видно.

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.

За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).

Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)

Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%

Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.

+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

Я уже купил, но пока ещё не пробовал. Т.е. использование антибота никак не искажает статистику например li.ru? Точки входа, поисковые системы - всё будет показываться как и прежде?

Сейчас если вставить счетчики в шаблон заглушки - счетчики будут считать все как и считали (только количество показов будет больше, показ страницы заглушки это ведь тоже показ). Но и ботов выполняющих js они тоже будут считать.

В новой версии метрика и LI будут показываться уже после проверки на ботовость, т.е. они будут уже показываться только проверенным людям.

Вопрос можно? Практический от нуба. А его как-то можно подружить с кэшированием, пример из жизни: плагин вордпресса генерирует статические html файлы.

Вроде дружили и вордпресс и еще какие-то с кешем. Все решаемо. Выглядеть это будет как-то так в коде:

<?php

тут инклуд антибота

тут проверка кеша и прочие скрипты вордпресса.

Единственная разница: без кешей и вообще простые движки - в них можно в 1 какой нибудь общий файл всунуть инклуд антибота, например в конфиг и все будет работать, а с кешами - нужно инклудить из разных скриптов, чтоб он инклудился гарантированно до кеша и прочих ob_start();

С моим кэшированием - на раз, до первой статической копии :) А через html как-то его можно запихнуть и заставить работать? :)

антибот это php скрипт )) что за модуль кеширования у вас стоит? он на каком уровне кешируется? Если на уровне php, когда проверяется наличие статического файла, то никаких проблем.