Логи посещений сайтов

1. Логи статики пишем в основном в /dev/null

2. Логов пишем несколько. Формат определяем сами. Пишем нужное. Не пишем ненужное. Ошибки отдельно, боты отдельно, корректные запросы пользователей к приложению отдельно.

3. Лучшие инструменты: grep --text, grep -E, grep -v, sort, sort -u, head -n, tail -n, tail -f, sed, awk, wc -l. 

С методами - понятно.
С программами - низкий поклон.

А пул данных какой анализируете? Читаю вот воду водную от русского рерайтного рерайта: кто анализирует ПС, кто страницы. Но как, блин, это поможет, когда БД загажена ботами (могу заблуждаться).

Да ладно, логи - дело скучное. По работе просто смотрю на них почти каждый день уже много лет. Сначала как в матрице обставился пятью мониторами, следил, вчитывался.

Потом, с годами сделал себе панель управления со сводой информацией и скрипты автоматической аналитики. Так вроде удобнее. Но по простому не написать. Понемногу, по одной задаче или параметру дописывал.

У меня есть основной программный инструмент, но про логику его работы наверно не имею права писать, да и вебмастерам он не пригодится.

Для анализа ботов кода используется очень много. Простыми способами отсеять их сложно. А статьи люди не пишут наверно потому, что многие под NDA.

По серверным логам смотрим в основном атаки или попытки разнообразного Fraud-а. Также в страницы встраиваются антифрод-маячки, которые незаметно отправляют на бэкенд сигналы для подсчета ботного рейтинга конкретного посетителя, чтобы отсеять значительную часть виртуальных браузеров, селениумов, зеннопостеров и подобных вещей.

Самое простое, что можно сделать - это открыть лог с помощью

tail -f /var/log/..../my_access_log.txt

Откроется непрерывно бегущая в реальном времени простыня лога. 

К этой команде навешиваем grep-ы, наподобие

tail -f /var/log/..../my_access_log.txt | grep --text ';Brand' | grep -v 'Google'  (чисто для примера)

и смотрим что там идёт. Если слишком быстро, то довешиваем еще grep -v (исключающее правило).

Медитируем, смотрим закономерности. Фильтруем весь лог grep-ами, сортируем, группируем, считаем. Пишем рекомендации о выделении новой группы логов. Думаем что можно сделать и что еще проанализировать и как.

Вот сейчас на данной стадии.

Всю остальную инфо: ссылку на пост сохранил, изучу.

А саму пасту по логам: кол-во страниц на пользователя, кол-во пользователей на страницу, популярность страницы в охвате всего сайта по логам, отфильтрованным от ботов - такое не собираете?
Ведь анализ логов и нужен (в том числе) для понимания успехов конкретного сайта (ну, я так предполагаю).

Просто вся эта "борода" в один момент меня настолько разозлила, что я психанул и вот, пока на таблицах, а потом уже буду думать о софте (параллельно учусь писать код, вот, проект-то уже готов - учись - не хочу :D).

А каким образом вы вычисляете виртуальных браузеров, селениумов, зеннопостеров и подобных вещей?

Только по закономерностям? Типа каждый сотый визит на какую то страницу идет с определенным юзер агентом и с определенного устройства?

У них есть фингерпринты, типичные баги в обработке подобранных для них JS-ловушек и поведение в основном странное. Расставляются и JS и логические ловушки. Например, у пользователей есть стандартный паттерн поведения и стабильный процент вероятности следущего действия.

Например, после "Действия А" в 67-74% случаев идёт "Действие Б". Ботоводы, даже работающие прицельно, не хотят настолько напрягаться. Потому группируем процент последовательности по AS-кам, а чаще даже по двум первым октетам IP и если какая-то сеть выбивается из статистики идём руками делать grep-ы и смотреть кто и что начал делать. Почти всех "особенных клиентов" аналитики знают в их "лицо", по особенностям поведения и инструментам. Редко бывает кто-то новый. 

Если бы я еще мог написать что-то дельное :) 
Но может быть что-то полезное вы для себя найдёте, это тоже хорошо.

Маркетинг считают в основном по аналитическим логам. То есть бэкенд-логи это в основном антифрод. А маркетологи работают по данным ГуглАналитикс(360) или другим подобным системам. 

У нас на бэкенде есть группировка двух основных таких показателей: страниц на IP на сеанс и время IP на одной странице (или время между запросами), группируется по AS-кам или двум октетам, больше как показатель для антифрод-аналитики.

А вы блокируете ботов уже непосредственно на сайте, т.е уже после посещения? До загрузки метрики вычислить бота наверное невозможно?

Может быть вам ваши наработки в софт монетизировать?

Ну так они и не совсем мои. И мало кому интересны. 

А grep-ами поиграть бывает интересно, да. Для себя. Там теории на час изучения и можно узнать из своих логов что-то полезное.