Серверый анализатор логов

12
M2K2
На сайте с 06.12.2010
Offline
54
1923

Коллеги, посоветуйте хороший анализатор логов апача который делает отчеты в удобном виде для просмотра статистики визитов различных ботов на сайт.

Например чтоб можно было видеть в какой день какой бот заходил, какие страницы скушал ну и время во сколько он какую страницу посетил.

Какое из готовых решений позволит видеть информацию в таком виде?

---------- Добавлено в 14:22 ---------- Предыдущее сообщение было в 14:21 ----------

Забыл написать, Линух+апач :)

---------- Добавлено в 14:23 ---------- Предыдущее сообщение было в 14:22 ----------

M2K2:
Коллеги, посоветуйте хороший анализатор логов апача который делает отчеты в удобном виде для просмотра статистики визитов различных ботов на сайт.

Например чтоб можно было видеть в какой день какой бот заходил, какие страницы скушал ну и время во сколько он какую страницу посетил.

Какое из готовых решений позволит видеть информацию в таком виде?
Копирайт по низким ценам (http://www.textsale.ru/team195847.html), Эффективный анализ и учет ключевиков (/ru/forum/712407).
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#1

webalizer, analog, google://

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
pupseg
На сайте с 14.05.2010
Offline
347
#2

sawmill - стоит денег. но решение того стоит.

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
M
На сайте с 16.09.2009
Offline
278
#3

awstats (хотя тот еще монстр)

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
zexis
На сайте с 09.08.2005
Offline
388
#4

Использую webalizer.

Для моих нужд мне хватает.

Насколько я знаю в webalizer нет готового отчета, который бы выделял клики отдельных поисковиков.

Или я чего то упускаю и такой отчет есть в других анализаторах?

Хотя такой отчет можно делать и в webalizer, если известны IP поисковиков.

egrep '(ipПоисковика1|ipПоисковика2|ipПоисковика3)' access.log >log1

Далее строим отчет с помощью webalizer по логу log1

M2K2
На сайте с 06.12.2010
Offline
54
#5

Мне нужно видеть статистику заходов ботов по дням а именно в какой день какие боты заходили какие странички посещали, какой из озвученных анализаторов позволяет видеть информацию в таком ключе?

iHead
На сайте с 25.04.2008
Offline
137
#6
M2K2:
Мне нужно видеть статистику заходов ботов по дням а именно в какой день какие боты заходили какие странички посещали, какой из озвученных анализаторов позволяет видеть информацию в таком ключе?

awstats, если прикрутить дополнительные отчеты, такое умеет.

неудобство в том, что по дефолту он ведет статистику не по дням, а месяцам.

чтобы посмотреть информацию за конкретный день, нужно запускать отдельную обработку с databasebreak=day

Рекомендуемый хостинг партнер 1С-Битрикс (https://www.ihead.ru/bitrix/), PHP-хостинг (https://www.ihead.ru/php/), доверенный партнер RU-CENTER (https://www.ihead.ru/news/573.html), официальный представитель REG.RU в Кирове (https://www.ihead.ru/news/851.html)
anemak
На сайте с 30.07.2010
Offline
32
#7

Насчет готовых решений не в курсе, сам написал для себя php парсер лога энжин-икса и апача на регулярных выражениях... Отчет выводится в виде html таблицы, либо сортируется в файлы. В общем то никаких конфигов к нему не предусматривал, поэтому под конкретную задачу его постоянно меняю.

Если вас интересуют только поисковые боты, то попросите знакомого программера, он такой скриптик за 20 минут сделает.

P.s. Не отдам и не продам ...

лобстеры, Дон Периньон, белуга, Хеннеси ...
zexis
На сайте с 09.08.2005
Offline
388
#8

можно вырезать из лога запросы ботов

grep 'Googlebot' access.log>log1

И анализировать log1 любым анализатором

M2K2
На сайте с 06.12.2010
Offline
54
#9

понятно, значит буду кодера искать :)

с grep-ом наигрался, хочется чтоб все в удобочитаемой форме можно было смотреть сведя к минимуму рутинную работу по построению графиков и отчетов в экселе :)

zexis
На сайте с 09.08.2005
Offline
388
#10

grep-ы и вызов webalizer вставляются в скрипт на шеле, ставятся в cron и все происходит автоматизированно.

Я вам скажу как человек, который очень много работает с логами и анализаторами логов.

Нанимать программиста, что бы он вам писал программу по анализу логов – не рационально.

Так как необходимые вам отчеты будут постоянно меняться, а ваша программа будет вряд ли гибкой в настройке. Гибкая в настройке программа потребует много времени для написания.

ИМХО, более удобно все таки на скриптах shell это сделать egrep -ами.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий