Mik Foxi

Mik Foxi
Рейтинг
1218
Регистрация
02.03.2011
zmicier:
Вопрос можно? Практический от нуба. А его как-то можно подружить с кэшированием, пример из жизни: плагин вордпресса генерирует статические html файлы.

Вроде дружили и вордпресс и еще какие-то с кешем. Все решаемо. Выглядеть это будет как-то так в коде:

<?php

тут инклуд антибота

тут проверка кеша и прочие скрипты вордпресса.

Единственная разница: без кешей и вообще простые движки - в них можно в 1 какой нибудь общий файл всунуть инклуд антибота, например в конфиг и все будет работать, а с кешами - нужно инклудить из разных скриптов, чтоб он инклудился гарантированно до кеша и прочих ob_start();

exarh, тематики были широкие из женских тематик и новостные. Персональных данных при этом не употреблялось, т.е. никаких имен, аватарок, брентов, адресов, сайтов, телефонов и т.п. конкретики, просто говнофлуд тематический более менее уникальный. С хенцзера быстро пришлось съехать к более адекватно на это реагирующему хостеру. Это был самый абузный проект в моей жизни )))

Самое главное не написал - сколько стоит членский взнос? )))

Stravinsky:
Я уже купил, но пока ещё не пробовал. Т.е. использование антибота никак не искажает статистику например li.ru? Точки входа, поисковые системы - всё будет показываться как и прежде?

Сейчас если вставить счетчики в шаблон заглушки - счетчики будут считать все как и считали (только количество показов будет больше, показ страницы заглушки это ведь тоже показ). Но и ботов выполняющих js они тоже будут считать.

В новой версии метрика и LI будут показываться уже после проверки на ботовость, т.е. они будут уже показываться только проверенным людям.

exarh:
Тема белая как раз.

тема черная. я так комментарии парсил на "белые" сайты, так потом от абуз идиотов запарило отбиваться, потому что "срочно удалите мой комментарий, я его не вам писал, зачем вы украли мой комментарий", причем срались эти абузы и хостеру и в датацентр. На порнухах и казино говорят абуз и то меньше 🤣

До выхода новой версии антибота осталось пару дней. А пока немного статистики по ботовой тематике.

За последние пол года на базе антибота и его отдельных частей была собрана большая статистика. А именно собрано больше 1.2 млрд обращений, претендующих быть людьми или таковыми являющиеся (юзерагенты с именем стандартных браузеров с более менее современным номером версии).

Сайты на которых собирались данные: 50% дорвеи, остальное белые сайты, как новые, так и старые трастовые новостники в яндекс новостях и блоги с высокой посещаемостью. 90% гео это рунет.

Итого получилось:

Обращения претендующие быть людьми - в 70% оказались ботами (если брать в среднем)

Для белых малостраничных высокопосещаемых сайтов этот процент в районе 10-20%

Для многостраничных сайтов и для дорвеев - ботов до 95%

Чаще всего ботами оказывались юзерагенты Firefox и IE, причем среди людей популярность этих браузеров наоборот мала. А среди IE ботами оказывались вообще 99.8% посетителей. На дорвеях также выделялся Яндекс браузер, которым часто ходит хитробот Яндекса, якобы из поиска Яндекса.

60% ботов прикидывающихся людьми не поддерживали JS.

Что за боты и зачем они ходят? В основном это тупо парсеры собирающие контент (например доргены типа вмсн доргена) и прочие данные с сайтов (делающие GET обращения к реальным страницам) и (в особенности на дорвеях) присутствует большой процент "россиян", которые являются хитроботами Яндекса и несущими бан и страдания вебмастерам и дорвейщикам. Чекеров уязвимостей (xss) и спамилок (делающих POST в формы) в общем массе исчезающе мало.

Если анализировать шире и делить траф на белых ботов (боты популярных поисковиков и соц сетей) и всех остальных, то часто во "всех остальных" людей оказывается меньше 3-5%, а остальное это всякие ia_archiver, AhrefsBot и т.п. бесполезные боты c 1-2 сотнями имен, несущие только нагрузку на сервер и никакой пользы.

Прочие мысли:

+ Делать изначально белые списки и их не обновлять (привет любителям белых списков ip для nginx) - плохая идея, у белых ботов постоянно появляются новые ip.

+ Делать черные списки ip принадлежащие TORу и хостингам - тоже плохая идея, через прокси, тор и впн сейчас сидят даже домохозяйки в больших количествах, спасибо политикам России и Украины за поднятие интернет грамотности пользователей.

Ну и кто еще не купил антибота: https://antibot.tdsse.com/ всего за 9.95$ с бесплатными обновлениями.

В данном виде скрипт не вредоносный, это просто набор js функций, но кто и как их будет применять - это уже ищите какой плагин с каким функционалом его выводит. Вполне это можно применить в запросах к сторонним серверам и замены чего либо на сайте.

Важную переписку вести во вконтакте, как-то сильно не осмотрительно. Зачем Дуров вам изобретал телеграмм с шифрованными приватными чатами?

alexbik:
А все таки как специалисты в данной области, лучше использовать Ваши DNS или Яндекса?
Если сайт ориентирован на Россию.

Днс яндекса штука глючная и часто тормозная, ее я бы юзал только в крайнем случае.

suffix, ну у вас я не сомневаюсь что есть такие сайты ))

нафантазируйте более реалистичную причину почему для cdn.site.ru нельзя взять letsencrypt или cloudflare сертификат.

Всего: 17716