Log Analyzer Pro — это полнофункциональный анализатор логов nginx на Python

Евгений Молдовану
На сайте с 02.07.2008
Offline
702
5422

🖥 Log Analyzer Pro — это полнофункциональный анализатор логов на Python, сочетающий простоту Streamlit и мощность SQLite.
Основные возможности:



ℹ️ Работа с Big Data: уверенная обработка больших логов (тестировался 3 ГБ+) с использованием WAL-режима для ускорения записи. Если у вас небольшие по размеру логи лучше юзать этот.

ℹ️ Продвинутая фильтрация: встроенный конструктор условий для точечного поиска данных (мультивыбор из n параметров!).

ℹ️ Функционал для оценки нагрузки (Traffic), сегментации пользователей и выявления разных ботов.

ℹ️ Скорость: мгновенные отчеты благодаря автоматической индексации данных при импорте.
Максимум функционала для анализа серверной активности любой интенсивности.

Скачать с Гитхаба.

Мой блог. Все о создании сайтов,Seo и СДЛ ( https://e-moldovanu.com/ ) Мой SEO телеграм канал https://t.me/seobloggers
S3
На сайте с 29.03.2012
Online
389
#1
Что за обрывки кода? Заявленная структура проекта  не совпадает с реальным репо, нет файла зависимостей. Все пихать в 1 файл??? 
про 
if __name__ == "__main__":
Не слыхал? Детсадовская поделка, уж извини. Сначала хотел сказать - ключница GPT Готовилю Но так коряво он бы не написал. Делать это в одном потоке - такое себе.
Евгений Молдовану
На сайте с 02.07.2008
Offline
702
#2
Sly32 #:
Заявленная структура проекта  не совпадает с реальным репо
Что конкретно не совпадает?
Sly32 #:
if __name__ == "__main__":
чем эта конструкция улучшит работающий код?
S3
На сайте с 29.03.2012
Online
389
#3
Евгений Молдовану #:
Что конкретно не совпадает?
где requirements.txt?
Евгений Молдовану #:
чем эта конструкция улучшит работающий код?
тем что позволит вызывать его как модуль и не вызывать призагрузке. Странный вопрос для человека, пишущего на python
Евгений Молдовану
На сайте с 02.07.2008
Offline
702
#4
Sly32 #:
где requirements.txt?
Пишешь нейросети , копируя импорт из файла и спрашиваешь как установить , если не знаешь. Странно слышать от человека который шарит в Python.
Sly32 #:
тем что позволит вызывать его как модуль и не вызывать призагрузке.
Прочитай про https://streamlit.io , там не нужно ничего перезагружать, строчку в код добавил, рефрешнул страницу и все!
S3
На сайте с 29.03.2012
Online
389
#5
Евгений Молдовану #:
Пишешь нейросети , копируя импорт из файла и спрашиваешь как установить , если не знаешь. Странно слышать от человека который шарит в Python.
Ух ты! Все еще запущеней чем я думал. Ну давай я тебе на пальцах обьясню
Вот решил я установить себе. Иду в твой репо, клонирую.
git@github.com:Devvver/Log-Analyzer-Pro.git
Дальше перехожу в папку, читаю инструкцию.

cd Log-Analyzer-Pro

2. Установка зависимостей

pip install -r requirements.txt
Выполняю и получаю -
ERROR: Could not open requirements file: [Errno 2] No such file or directory: 'requirements.txt'

Все, приехали. 

Ладно допустим я знаю что делать - посмотрю твои импорты, создав виртуальное окружение, создам файл и запущу.
И интересно - что я получу? Правильно - фигу. 
Оказывается я еще должен скопировать сами логи в папку проекта! То есть пойди на сервис или в панель, выгрузи их, потом анализируй.Неинтересно...
Смотри как надо.
Мне вот стало лень лазить читать лог, я прямо в админку себе добавли раздел логов

Могу выгрузить последние логи, могу в режиме реального времени наблюдать. Могу отфильтровать по контейнерам. Не ставил задачу, но написать анализатор ботов - это полчаса времени. При том что уменя уже встроенный блокировщик подозрительных запросов...
Никаких стримлитов. Все внутри приложения.

Евгений Молдовану
На сайте с 02.07.2008
Offline
702
#6
Sly32 #:
Оказывается я еще должен скопировать сами логи в папку проекта!

пипец, да. Не нравится - сделай другой функционал, код есть, можно доработать самостоятельно

. Ты бабос заплатил чтобы тебе делали под твои нужны? :)
Пипец люди пошли, опен сорс коду предъявлять что не хватает какого то функционала.


Sly32 #:
Могу выгрузить последние логи, могу в режиме реального времени наблюдать. Могу отфильтровать по контейнерам

Посмотри на на функционал внутри. Там фильтрация внутри, можно к примеру отфильтровать ботов Яндекса и Гугла, только те страницы, которые отдали 404 к примеру, твоя панель такое может? :)

S3
На сайте с 29.03.2012
Online
389
#7
Евгений Молдовану #:
пипец, да. Не нравится - сделай другой функционал, код есть, можно доработать самостоятельно
ОМГ, погромиста обидели... Дай мне доступ  -  ViachaslauKazakou, я уже сделал ПР с примером загрузки файлов откуда угодно, не могу запушить тебе.

Евгений Молдовану #:
Посмотри на на функционал внутри. Там фильтрация внутри, можно к примеру отфильтровать ботов Яндекса и Гугла, только те страницы, которые отдали 404 к примеру, твоя панель такое может? :)

Это все - 15 минут работы, называется кастомизация))) Понадобится - сделаю.

А вообще Streamit -  это такая штука для MVP/POC - быстренько показать возможности. В реальности таке использовать не станешь.

S3
На сайте с 29.03.2012
Online
389
#8
Кстати, хочу тебе сказать спасибо, Streamit оказался  классной штукой для локали - чтобы не возится с разворачивнием UI  через большие фреймворки. Я как то раньше не сталкивался
V7
На сайте с 28.09.2015
Online
96
#9
Ешё бы GeoLite прикрутить с сортирвокрй по странам и ASN - провайдеров.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий