Что должен уметь делать идеальный Log Analyzer

1)Количество разных кодов ответов сервера (например 404)

2)длина сессий для каждой страницы (может помочь понять самые интересные/полезные пользователям страницы)

3)Браузер посетителя

4)Возможность просмотра за день/неделю/месяц/год

5)Распределение посетителей по времени суток

6)Распределение посетителей по дням

7)Top Search Keywords by Server

8)Top Search Servers

Коль всеж этот сайт посвящен поисковым системам +++ страницы посещеные ботами и статистика по ботам ... очень интересно но нигде нет ;)

Сам пишу свой лог анализатор "лучше всех", но у меня правда по специфике основной упор на анализ закачаных файлов ...

Добавляю:

9)Разрешение экрана

10)Кол-во цветов на мониторе

11)кол во пользователей с включенными кукисами

Если можно определить, то также определять включенность ЯваСкриптов в браузере, наличие заглушек (плагинов),

Ключевое слово: "для меня".

Советов дали кучу и все действительно по делу, НО! Для каждого случая, нужно смотреть индивидуально. На самом деле, далеко не всё, что указано, на самом деле нужно. Не говоря уже о том, что:

9)Разрешение экрана

10)Кол-во цветов на мониторе

11)кол во пользователей с включенными кукисами

Вообще не отслеживается через логи :)

У меня, например, стоит собственная система статистики, собирающая данные не из логов, а в процессе запросов и генерации страниц. Отслеживает она уников, хиты, сессии, поисковые фразы, роботов, агентов, tape-in и ссылки, сортирует домены с которых идут переходы по группам, отслеживает точки входа, дает данные по месяцам и усредненку. Можно прикручивать и другие функции.

А остальное, если интересно, я беру у Spyloga, Hotloga, Ramblera и mail.ru. Да, еще у меня webalizer провайдеровский стоит, но я его не люблю :)

Мораль: для разных сайтов нужны разные системы. И не обязательно сложные. Писать что-то глобальное имеет смысл, имхо, если есть цель это продать для универсального использования.

Для сайтов e-commerce очень важно отслеживать посетителей, которые могут стать покупателями, и работать с ними, поэтому там система статистики интегрирована с системой управления контентом сайта.

Функции обычно следующие:

- отслеживание пути конкретного посетителя, его действий

- фиксация повторных визитов с возможностью настройки сайта для последующего взаимодействия с этим посетителем.

К сожалению, лог-анализаторы не интегрируются системой управления контентом сайта, поэтому для сайтов e-commerce практически бесполезны.

Совершенно согласен. Но все уже написано. Давно хочу найти, с кем в складчину купить ActiveStat. Стоит она 400 долл., но это не сервис, а программный модуль. По возможностям ничего лучше не видел.

Valery1, вот-вот. Золотые слова. про сайты коммЭрческие... А чем тебе так ActiveStat приглянулся?

Идеяльно подходит под мои задачи. Позволяет помечать и отслеживать каждого интересного посетителя. Написан на ПХП - открытый код, так сказать, можно привинтить что надо, хотя вроде все уже есть.

Не понимаю, зачем тратить время и силы на создание своего лог-анализатора. Скажите что такое особенное нужно анализировать, чего нет в том же Sawmill-е, может и я себе напишу? :)

1. Нет необходимости каждый месяц для обработки скачивать 200Mb логов - свой анализатор можно запускать прямо на сайте.

2. Можно легко получить любой нестандартный отчетю Например мне недавно потребовалось получить отчет о путях пользователей по сайтам не сточки зрения конкретных страниц, а исходя из тематики этих страниц. Т.е. сравнение путей типа

"каталог товаров"-->"описание конкретной модели"-->"сравнение с другими"-->"оформление заказов"

"информационная статья"-->"описание конкретной модели"-->"оформление заказов"

При условии что страниц разного типа много и они разбросаны по разным директорям в Webtrends провести такой анализ было непросто и заняло много времени.

3. Свой лог анализатор может работать в реальном времени. Например, у меня он по ходу дела анализирует активность пользователей в директориях, доступ в которые запрещен роботам через robots.txt. И если вычисляет робота (например wget с UserAgent='MSIE') то быстренько отрубает ему доступ к сайту. Для меня это критично, так как позволило сильно уменьшить исходящий трафик, который денег стоит.

При этом важно что такой мониторинг практически не потребляет ресурсов сервера.

4. Да много еще что.

На самом деле свой анализатор нужен действительно для получения специфических отчетов. Т.е. распределение посещаемости по дням недели, часам и т.п. - вполне решается любыми стандартными анализаторами. А свой анализатор дает гибкость если нужны нестандартные отчеты.

Интересной функцией интелектуального анализатора могла б быть функция распознавания подозрительных нежелательных действий пользователя сайта (подготовка к взлому, DoS и прочее).

Конечно, такая функция возможна только при создании достаточно мощной интеллектуальной базы правил и ее частого обновления