Форум Сайтостроение Администрирование серверов

Анализатор логов по UA

iccup
На сайте с 01.05.2016
Offline
209
iccup
601

Есть стандартные логи сервера, лог за сутки может составить 500 мб. Чем можно собрать наиболее часто встречающиеся юзер агенты? Ну, типа

CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/) - 3000

Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html) - 2000

kimsufi.com ( https://www.kimsufi.com ) очень дешевые и качественные дедики https://clck.ru/gvF9p - антибот, использую уже 3 года.
alaev
На сайте с 18.11.2010
Offline
862
alaev
#1
Можно в notepad++ почистить общий мусор: дату, время, урл, реферер, код ответа и т.п..

А потом отсортировать строки.
Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
P0
На сайте с 17.06.2010
Offline
94
Pr00f
#2
Как вариант - https://goaccess.io/
GoAccess - Visual Web Log Analyzer
  • goaccess.io
GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view web server statistics in real time without needing to use your browser ( great if you want to do a quick analysis of your access log via SSH, or if you simply love...
D
На сайте с 28.06.2008
Offline
1114
Dram
#3

откройте для себя awk, например сортировка по IP 

awk '{print $1}' /var/log/nginx/site.log | sort | uniq -c | sort -nr | head -n 30


iccup
На сайте с 01.05.2016
Offline
209
iccup
#4
Dram #:

откройте для себя awk, например сортировка по IP 


да, пара секунд и все. 

 967143 "Mozilla/5.0
  14530 "Googlebot-Image/1.0"
   9843 "python-requests/2.22.0"
   6729 "Opera/9.80
   5027 "python-requests/2.28.1"
   3378 "Dalvik/2.1.0
   2980 "Mediapartners-Google"
   1367 "CriteoBot/0.1
   1325 "com.google.android.googlequicksearchbox/301220087
   1301 "-"
   1012 ""
    996 "ias-va/3.1
    874 "com.google.android.apps.searchlite/724009
    383 "DuckDuckBot/1.1;
    366 "ias-or/3.1
    277 "facebookexternalhit/1.1
    252 "okhttp/3.10.0"
    229 "com.google.android.googlequicksearchbox/301220083
    214 "AndroidDownloadManager/11
    196 "Google/242.1.493995244
    186 "Clickagy
    182 "com.google.GoogleMobile/242.1
    179 "camo.mmcdn.com
    163 "Mozilla/5.0"
    160 "Mozilla/4.0
    150 "ias-ir/3.1
    148 "com.google.android.apps.searchlite/173804
    139 "MobileSafari/8614.3.7.0.6
    133 "TelegramBot
    130 "Test
Тут вопросов вызывает только, что и заблочил 
python-requests
 
Сергей
На сайте с 10.07.2022
Offline
43
Сергей
#5
iccup #:
Тут вопросов вызывает только, что и заблочил

То есть

1301 "-"

   1012 ""

Не вызывает вопросов?

Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий