подскажите бесплатную программу для стат. анализа логов access_log_site

1 234
WS
На сайте с 01.11.2008
Offline
168
#31

redizka #:
а какой у вас формат? скиньте мне пример

у меня такой
ip - code - date domain "METHOD URL protocol" size "ref" "user agent" "accept languages"

офигенно было бы, если бы где-то в настройках можно было указать формат, например в таком виде 

   log_format  main  '$remote_addr - $status $remote_user [$time_local] $host "$request" '
                      '$body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_accept_language"';

upd: спасибо что добавили эту фишку, очень удобно! 
Genius Ideaing
На сайте с 12.02.2024
Offline
123
#32
redizka #:
Переработал первую версию скрипта анализа и оформил более культурно https://redlogs.ru/

у вас после проведения анализа лога,

появляются две закладки: ASN и Роботы

во вкладке Роботы у вас перечислены обнаруженные в логе Роботы, но вот если Кликнуть по плашке с названием Робота, не раскрывается список с группировкой по отдельным IP и целым подсетям, 

чтобы плохих роботов можно было отсекать через брандмауэр сервера или .htaccess непосредственно по IP и  их подсетям.

это неудобно. отсекать плохих роботов по анализу user-agent неудобно... т.к. брандмауэр работает только с отдельными IP и подсетями АйПи... 

а добавлять строки мод_рерайт в .htaccess неудобно, так как сайтов может  быть сотни.. и приходится редактировать сотни .htaccess

добавите детализацию на Вкладку Роботы результатов анализа лога?

Заработок в $$$ на трафике сайта! Не РСЯ/AdSense: https://clck.ru/3REcmY / Есть Идеи! Ищу единомышленников для совместного воплощения этих идей в Интернете! Мой Telegram: https://clck.ru/396JFF
MrGray
На сайте с 23.11.2012
Offline
129
#33
Использую простой excel для анализа.
По результатам обработки вижу статистику запросов с конкретных ip и статистику по user agent.
Понятно, что превращать ip в asn приходится вручную, но в принципе явно выделяющихся по запросам ip в день не так много, а смысла в изучении "хвостов" вообще нет, ведь не будете же вы закрывать в htaccess всех парсеров и прочих интересующихся как из России, так и сидящих под vpn?
В чем вообще смысл этого изучения логов, в выявлении ботов из Китая и Сингапура?
Так их даже по asn замучаешься блокировать, не говоря уже про диапазоны в htaccess 

Проще в нем правила по названиям ботов прописать
MrGray
nomarketing
На сайте с 23.09.2009
Offline
204
#34
Зачем тебе программа, просто экспортируй файл, потом крути как хочешь.
Капитан покидает корабль последним
Y
На сайте с 27.12.2011
Offline
134
#35

chatGPT первариваривает логи в gz файлах . у меня получалось 4 файла по 200Мб скормить (каждый в оригинале по  700-1100 Мбт) +- 

долго думает, но дает прекрасный результат. тариф за 20$ в месяц. 

Человек такой анализ не сделает. Рекомендую

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий