Чем анализировать логи сервера (хотя бы самые базовые функции)?

12
Asar
На сайте с 23.08.2004
Offline
334
330

Есть завал китайских ботов (и не только китайских), причем тех, что не вычисляются по User-Agent, а более злобных товарищей. Хочу вычислить и забанить хотя бы тупо по IP. Для этого ищу прогу, которая на основе загруженных в нее логов могла бы выдавать хотя бы базовый минимум — стату по IP (сортировку по частоте). Вижу платные варианты, но 90 фунтов у меня на это удовольствие нет, а еще нет иностранной карты. Мож есть какой бесплатный вариант, или платный, но местный, рублевый?

С ботами размер суточного лог-файла вырастает многократно, и сейчас этот размер — 200—400 МБ (это для оценки ограничений, если таковые есть у проги или сервиса). Если, вдруг, какие-то онлайн варианты есть, которые работают с такими (а еще лучше — с бОльшими объемами, чтобы не за сутки смотреть) — прекрасно. А уж если еще чего и подписывать умеют (по IP проверять, что да кто и прочий доп. фукнционал) — то и вовсе хорошо. Повторюсь, платный вариант тоже рассмотрю, но с оплатой обычной РФ картой.

Mik Foxi
На сайте с 02.03.2011
Offline
1211
#1
Asar :
платный вариант тоже рассмотрю, но с оплатой обычной РФ картой.

в подписи )

если ты знаешь что китай (и сингапур там еще будет) то имея гео модуль в вебсервере можно легко забанить целиком китай и сингапур. 

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
softerra
На сайте с 02.10.2023
Offline
112
#2
Awstats пробовали?
Там раздел "Хосты" показывает IPs >>> заблокировать их диапазонами.
УВБ-76 4625 kHz Жужжалка
ellienoise
На сайте с 05.06.2025
Offline
9
#3
Гляньте GoAccess - работает прямо в консоли и как раз умеет показывать топы по IP, юзер-агентам и всему остальному
ellienoise
На сайте с 05.06.2025
Offline
9
#4
softerra #:
Awstats пробовали?
Хорошая штука, но мне показался медленным на больших логах (400 мб долго парсил). И не очень гибкий
Asar
На сайте с 23.08.2004
Offline
334
#5
Mik Foxi #:

в подписи )

если ты знаешь что китай (и сингапур там еще будет) то имея гео модуль в вебсервере можно легко забанить целиком китай и сингапур. 

В подписи — смотрю. Но $10 в месяц несколько дороговато для моего нищебродского "хобби" прожекта. И без того денег жрет. Думал, мож единоразово как проанализить или еще что. Хотя, вероятно, сегодня они с одних сетей, завтра с других ползут, не наанализируешься тут... Мож, скидосы есть какие для сирых и убогих?

Сингапур у меня тоже будет, да. Но есть проблема. Я не могу забанить Китай и Сингапур. И вообще никого не могу по географии. Сайтец хоть и "хобби", но международный, на русском и на английском, половина народа идет не из РФ и не из бывших республик СССР. В т.ч. немало и из Китая того же вполне себе нужных посетителей...

Mik Foxi
На сайте с 02.03.2011
Offline
1211
#6
Asar #:
Мож, скидосы есть какие для сирых и убогих?
ну там можно и бесплатно, если разруливать правилами которые сам создашь, без использования облачной проверки. типа забанить явно ботное, там из китая и сингапура серверные asname четко выделяются в основном в логах, которые можно точно забанить. 
dkazankov
На сайте с 10.07.2010
Offline
128
#7
Тоже самое, одни "китайцы", прямые заходы, время 0:00
Антоний Казанский
На сайте с 12.04.2007
Offline
782
#8

Можете ещё Screaming Frog Log File Analyser посмотреть. На торрентах есть крякнутая версия.

Кроме того, есть смысл доработать счётчик Метрики для отображения IP, видеть IP-шники, анализировать их частоту, выяснять их ASN-ы и дальше фильтровать (если вы их фильтруете).

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
softerra
На сайте с 02.10.2023
Offline
112
#9

У меня с Китая последнее время эта сетка активно лезет, заблокировал.

# chinamobile.com
Deny from 183.192.0.0/11

Awastats позволяет видеть хосты, с которых массово идут боты. Потом просто блокировать их диапазонами. Все бесплатно и надежно без лишних плясок.

VK
На сайте с 26.04.2006
Offline
175
#10
Asar #:

В подписи — смотрю. Но $10 в месяц несколько дороговато для моего нищебродского "хобби" прожекта. И без того денег жрет. Думал, мож единоразово как проанализить или еще что. Хотя, вероятно, сегодня они с одних сетей, завтра с других ползут, не наанализируешься тут... Мож, скидосы есть какие для сирых и убогих?


Тут бы не о ботах, а о уровне жизни задуматься.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий