Подходы к сбору статистики сайта. CNStats

Оригинал. Читать удобней там. Комментировать здесь.

http://www.cnstats.com/ru/support/read/Site-Statistics-Problems.php

CNStats как решение проблем со статистикой сайта.

Задача этого материала рассказать про способы ведения статистики сайта простым языком с использованием доступных примеров.

Статистика сайта, в контексте данной статьи, это аккумулирование данных о посетителях сайта плюс средство для анализа этих посещений.

Посетители Вашего сайта делятся на две большие категории: пользователи и поисковые роботы.

Мы хотим, чтобы на наш сайт приходило много людей, которым наш сайт интересен.

Пользователи это люди, которые посещают Ваш сайт с помощью браузеров. Пользователи обычно скачивают страницы целиком, смотрят картинки, используют java-скрипт. Это Ваши самые дорогие клиенты. Про них нужно знать все.

Мы хотим, чтобы наш сайт хорошо находился в поисковиках (по нужным словам, в первых результатах), потому что тогда его будут находить Люди - наши самые дорогие клиенты, поэтому нам очень важно следить за деятельность роботов на нашем сайте. Мы хотим сделать SEO сайта - Search Engine Optimization - оптимизировать сайт для поисковых роботов.

Поисковые роботы (просто роботы или краулеры от crawler), это бездушные программы, выполняющие задачи поисковых машин и каталогов. Роботы обходят все сайты с целью обновить поисковый индекс - они скачивают страницы Вашего сайта, индексируют и именно благодаря посещениям роботов Ваш сайт можно найти, например в Гугле.

Особенностью роботов является их нелюбовь к картинкам, не нужны они им для поискового индекса и роботы картинки не скачивают.

Существующих способов сбора данных о посетителях сайта всего три:

* лог-файлы веб-сервера;

* накопление данных в локальной базе данных (CNStats);

* накопление данных на стороннем сервере-статистики.

Накопление данных на стороннем сервере-статистики.

Начнем с последнего способа - установка счетчика от стороннего сервера-статистики. Тут ключевыми являются два слова - "счетчик" и "сторонний". "Сторонний" - это значит: вся информация будет храниться на удаленном сервере (возникают вопросы безопасности); точность статистики будет зависеть от надежности каналов связи и программного обеспечения стороннего сервера. "Счетчик" - это значит, Вы ставите на свой сервер html-код который вызывает картинку, расположенную на другом сервере. Картинку, а это значит, такой категории посетителей как роботы мы уже автоматически лишаемся!

Итак, использование стороннего сервера статистики может быть полезно только:

* для участия в рейтинге сайтов похожих тематик (привлечение Людей, смотрящих рейтинг);

* отсутствия возможности установить свою систему сбора и анализа статистики сайта.

Важное примечание. Некоторые сервера статистики пытаются заменить картинку на различного вида инклюды (например, включение в Ваш php-код своего). Это хорошая тенденция, однако подходите к этому крайне осторожно - сервер то сторонний! Это значит, что малейший сбой в работе стороннего сервера повлечет за собой неработоспособность вашего.

Лог-файлы веб-сервера.

Тут надо исходить из следующего - лог-файлы никогда лишними не бывают. Вообще говоря, это единственный правильный способ для хранения данных о посещениях сайта длительное время (год и более). Однако, лог-файл это не статистика сайта, а только исходные данные. Для анализа этих файлов требуется программа. А вот с программами для анализа лог-файлов, следует разобраться подробнее. Вообще, их два типа:

* программы, которые выполняются на веб-сервере, где расположен сайт;

* программы, которые требуют перекачку лог-файла на Windows компьютер, и там они анализируются.

Недостаток у всех этих программ общий - невозможность оперативного контроля за работой сайта. Вы всегда будете анализировать вчерашний день!

Перекачивать файлы для анализа на Windows компьютер, особенно при больших объемах сложно и невыгодно.

Удачным выглядит вариант, настройки ротации логов на сервере в зависимости от желаемого периода хранения и текущих объемов, а затем использования бесплатного анализатора логов на стороне сервера. Бесплатный анализатор должен: работать быстро, уметь ставить временные периоды анализа, осуществлять поиск по условию. Этого достаточно, больше не нужно!

Вообще не стремитесь хранить все и за все время! Практика показывает, что логи просто занимают место на Ваших носителях. Там много "лишней" информации, например, зачем Вам знать про скачивания всех картинок составляющих дизайн Вашего сайта? 30-60 дней хранения подробной информации достаточно в 99.999% случаев.

Итак, лог-файл следует использовать если:

* по каким-то причинам Вам необходимо хранить все данные о запросах за все время работы сайта;

* да вот, собственно, и все!

Накопление данных в локальной базе данных.

Это единственный способ, позволяющий надежно учитывать и роботов и людей, а также оперативно контролировать и анализировать их работу - буквально в момент совершения действий. Моментальный доступ к любым данным по посещениям, которые хранятся в базе.

Кажущийся тонкий момент - производительность базы и повышенная сложность содержания. Однако, достаточно один раз настроить систему и она будет работать и работать. А производительности баз данных хватает - если работает Ваш сайт с этой базой данных, значит будет работать и статистика, как часть сайта.

Итак, накопление данных в локальной БД это очень привлекательный способ для:

* коммерческих сайтов, где важен оперативный контроль за посетителями;

* для новых сайтов начинающих свою раскрутку;

* для небольших и средних (до 10 000 уникальных хостов в сутки) сайтов использующих БД в работе своего ядра.

Мы рассмотрели только способы сбора статистики сайта, оставив для следующей статьи вопросы функционала программ статистики сайта.

Заключение.

В конце хочется остановиться на коммерческой составляющей жизни Вашего сайта. Так или иначе, явно или неявно, на сайт тратятся деньги. Статистика сайта это то, что должно приносить Вам прибыль. И закончу статью я вопросами. Потому как правильно поставленный вопрос, зачастую полезней массы объяснений.

Внешний счетчик, сторонние сервера статистики. Используя внешние счетчики, кому Вы приносите прибыль, кого рекламирует картинка, кому Вы повышаете индекс цитирования, кому Вы платите и что Вы получаете взамен?

Лог-файлы сервера. Для чего хранить гигабайты логов, занимать место на сервере, какая от этого прибыль? Часто ли Вам приходится искать по логам что-либо глубже месяца? Удобно ли это? Как быстры программы обработки логов и насколько оперативен Ваш ответ на действия посетителей сайта?

Накопление данных в локальной базе данных. Ваша БД испытывает критические нагрузки или простаивает? Вам нужен оперативный (он-лайн) контроль за посетителями сайта? Вам важно анализировать деятельность роботов на сайте?