Разница между счетчиком и логами

12
I
На сайте с 08.05.2003
Offline
151
2715

Думаю это будет любопытно всем.
Затеялась дискуссия тут:
/ru/forum/comment/918821

Pavel Grusha:
Да, у него есть примущества, но недостатков все таки больше.

1. Перечислите, пожалуйста, преимущества лог-анализатора перед счетчиком в плане подсчета посетителей.

Pavel Grusha:
Если есть те, кто верит в "Посетителей надо считать именно счетчиком.", то ... Любой может поставить эксперимент и сгенерировать статистику, как счетчиком, так и из лог-файлов. Данные совпадут только в "идеальном случае", который недостижим.

Хм. Любопытно. Конечно данные будут отличаться. Я об этом всегда говорил. Анализатор просто некорректно считает повторные заходы одного пользователя (вернее вообще не считает), и неправильно считает вообще пользователей из-за единых корпоративных прокси на большое количество пользователей и из-за динамических IP.

Ответ от Pavel Grusha:

Pavel Grusha:
В первую очередь учет всех запросов. В этом топике уже упоминалось про заходы роботов и причина их неучета банальна - роботам не нужны картинки. Добавим отключенные картинки, недостаточное время для загрузки картинки, запросы изображений, файлов. С момента появления статистики через счетчики эти недостатки неоднократно отмечались.

Да, через стандартные лог-файлы невозможно учитывать уникальных посетителей, а лог-файлы с куками крайне слабо распространены и создатели анализаторов не ориетируются на такую задачу.
А по разнице в учете хитов тоже куки виноваты? Показатели счетчика практически всегда меньше данных, извлеченных из логов. Причины описаны выше.
С уважением, Иванов Павел. B2Basket.ru - Сервис автоматизации размещения на всех популярных маркетплейсах (http://b2basket.ru)
I
На сайте с 08.05.2003
Offline
151
#1
Pavel Grusha:
В первую очередь учет всех запросов. В этом топике уже упоминалось про заходы роботов и причина их неучета банальна - роботам не нужны картинки. Добавим отключенные картинки, недостаточное время для загрузки картинки, запросы изображений, файлов. С момента появления статистики через счетчики эти недостатки неоднократно отмечались.

1. Роботов счетчик не учитывает. Согласен. Для этого мы специально сделали отдельный анализатор логов сервера в своей программе. К тому же я специально просил говорить именно о пользователях.

Отключенные картинки ... Вы не интересовались статистикой, сколько людей сейчас отключают картинки? Раньше, когда Интернет у всех был очень слабый - да, безусловно. Но сейчас, когда скорости и дешевизна интернета стали совсем другие таких людей осталось мизерное количество. И становится все меньше. Такая погрешность по сравнению с, мягко говоря, неправильным учетом пользователей по IP - сущая безделица.


Да, через стандартные лог-файлы невозможно учитывать уникальных посетителей, а лог-файлы с куками крайне слабо распространены и создатели анализаторов не ориетируются на такую задачу.
А по разнице в учете хитов тоже куки виноваты? Показатели счетчика практически всегда меньше данных, извлеченных из логов. Причины описаны выше.

Вот Вы пишите у мебя на сайте про маркетинг при помощи анализатора ... Какой маркетинг можно сделать по хитам? Нам нужны именно пользователи и их действия. Хиты в анализаторе могут нагонять те же роботы.

А причины, почему данных в счетчике меньше, заключаются не в отключении картинок, а опять же в этих качественно неверных способах определения пользователей. К тому же, счетчик с куками помнит пользователя, пришедшего вчера, неделю назад, месяц .... Анализатор же радостно считает его за нового :)

А что нужно маркетологам? Много, или правильно?

PG
На сайте с 11.09.2005
Offline
1
#2
Inoff:
Отключенные картинки ... Вы не интересовались статистикой, сколько людей сейчас отключают картинки? Раньше, когда Интернет у всех был очень слабый - да, безусловно. Но сейчас, когда скорости и дешевизна интернета стали совсем другие таких людей осталось мизерное количество. И становится все меньше. Такая погрешность по сравнению с, мягко говоря, неправильным учетом пользователей по IP - сущая безделица.

Для рунета диалап еще более чем актуален (вы сами ссылаетесь на динамические IP), а с ним и отключение картинок. Да и помимо этого существует еще масса причин по которым картинка загружена не будет.

Inoff:
Вот Вы пишите у мебя на сайте про маркетинг при помощи анализатора ... Какой маркетинг можно сделать по хитам? Нам нужны именно пользователи и их действия.

В какой-то мере, нужно изначально исходить из принципа, что пользователи ленивы. Если он не желает делать целевое действие сейчас, то шансы на то, что он сделает его в будущем крайне невелики. Я прекрасно вижу какие ключевые слова работают в AdWords, а какие - нет, вижу эффективность от действий по продвижению, насколько результативна оптимизация сайта и как к нему относится Гуглбот.

А если нужно оценить продажи для конкретного источника, то для этого лучше применять совсем другие методы, не имеющие отношения к статистике сайта.

Inoff:
Хиты в анализаторе могут нагонять те же роботы.

Я еще раз повторяю, что достаточно поставить простой эксперимент по стравнению статистики анализатором логов и счетчиком. Роботов можно отфильтровать. Погрешность счетчика никуда не денется. Для внешних счетчиков она может быть и 20%, но предполагаю, что для локального она будет поменьше.

Inoff:
А причины, почему данных в счетчике меньше, заключаются не в отключении картинок, а опять же в этих качественно неверных способах определения пользователей. К тому же, счетчик с куками помнит пользователя, пришедшего вчера, неделю назад, месяц .... Анализатор же радостно считает его за нового :)
А что нужно маркетологам? Много, или правильно?

Отключенные/стертые куки мы в расчет не принимаем? Проблема в том, что 100% точной статистики быть не может. В реальности у некоторых доходит до того, что не смотря на куки и целый ряд ухищрений удается определить источник только 20-40% покупателей. Остальные появляются ниоткуда.

В заключение несколько (на самом деле их поболее будет) примеров с которыми счетчик справиться не в состоянии:

1. У меня основной отчет настроен на реальных посетителей. Это фильтр на включение всех посетителей, запросивших страницу или файл и фильтр на исключение всех роботов. В результате в статистике по реферам я вижу сайты на которых с сайта были запрошены только картинки, но пользователь в конечном итоге попал на мой сайт. Не важно, по какой причине это произошло: ссылка через ява-скрипт, редирект или ручное копирование URLа, но источник посетителя я вижу.

2. Одна из задач, которую спрашиваю пользователи - узнать, по каким адресам ушли с сайта (традиционно - уход на билдинговую систему). Это делается заменой всех внешних URLов на внутренний с редиректом. Будем заставлять посетителя видеть непонятную страничку с ожиданием загрузки счетчика?

3. Что делать маркетологам, у которых целевое действие - загрузка файла?

4. Как фиксировать попытки взлома сайта?

5. Как выявить воровство контента/дизайна?

Возможность работать с куками и определять некоторые параметры системы пользователя - единственные преимущества счетчиков перед анализаторами. При некоторых дополнительных усилиях это можно делать и через логи, а вот обеспечить 100% фиксацию событий счетчики не смогут никогда.

www.alterwind.ru (www.alterwind.ru) Log Analyzer for SEO and website promotion
I
На сайте с 08.05.2003
Offline
151
#3

Буду отвечать без цитирования.

Динамические IP - сейчас в основной своей массе это DSL. Диаллап очень уверенно умирает, и причин тому много, которые перечислять не буду, если никто не попросит.

Ленивость пользователей ... категорически не согласен. Если речь идет о заказе дисков, книг, мелких комплектующих - возможно. Когда речь идет о крупных заказах - человек может долго и мучительно выбирать, ходя изо дня в день по одним и тем же сайтам. В маркетинге нельзя обобщать большие категории.

Согласен на эксперимент. Только что будем сравнивать?

Количество? - не имеет значения для маркетинга, если нет точности.

Или качество анализа? - Какие критерии качества?

Точность? - Что будет шаблоном точности?

Давайте, предлагайте, я готов.

Отвечаю на Ваши преимущества:

1. Анализатор логов не может показать реальных посетителей, потому что он их считает изначально не верно. IP - это не посетитель.

2. Вы невнимательно изучили нашу программу. Учет уходящих пользователей по определенным ссылкам есть и сделан качественно. Учет есть, а пользователь не замечает ничего странного и раздражающего.

3. Целевое действие загрузка файла? Запросто. На моем сайте пояснение отчета "реклама" и "эффективность рекламы" написано на примере загрузки файла.

4. Попытки взлома и подсчет роботов - да, анализатор. Который у нас тоже есть в программе. Но мы говорим о маркетинге.

5. Поискать в поисковиках. Только я не вижу смысла в этом действии.

Самая важная мысль, без ответа на которую бессмысленно обсуждать остальное:

Да, Интернет-статистика, по крайней мере сейчас, не может быть 100% точной. Да, счетчик теряет несколько процентов посещений.

Но!

Но зачем нужна статистика, которая считает все, но считает не правильно!?

Вот попробуйте мне объяснить, как можно говорить о пользователях, когда на крупные и мелкие компании приходится один IP прокси сервера? Т.е. вся компаниясчитается за одного пользователя?

Или в нынешнюю эру ADSL'ивания, когда каждый пользователь по несколько раз на дню имеет разные IP адреса?

Такая статистика для маркетинга абсолютно бесполезна. Даже тенденции нельзя смотреть.

А все вами перечисленные недостатки счетчиков - это либо погрешность, либо к маркетингу отношения не имеет.

Для того, что не имеет отношения к маркетингу нужно использовать анализатор. Который, кстати, у нас входит в комплект.

Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP. А иначе нет смысла беседовать дальше.

MX
На сайте с 17.06.2004
Offline
160
#4

Inoff, у меня ADSL и у меня один и тот же IP за все время использования ADSL.

PG
На сайте с 11.09.2005
Offline
1
#5
Inoff:
Динамические IP - сейчас в основной своей массе это DSL. Диаллап очень уверенно умирает, и причин тому много, которые перечислять не буду, если никто не попросит.

Уже ответили, что это не так. Как только появляется выделенный канал, появляется и выделенный IP.

Inoff:
Ленивость пользователей ... категорически не согласен. Если речь идет о заказе дисков, книг, мелких комплектующих - возможно. Когда речь идет о крупных заказах - человек может долго и мучительно выбирать, ходя изо дня в день по одним и тем же сайтам. В маркетинге нельзя обобщать большие категории.

Если речь идет о больших категориях, то там зачастую вступает в силу правило "покупает не тот, кто нашел/скачал". Добавим пользователей, у которых несколько машин и т.д. Все эти вещи сводят "точность" к довольно минимальному уровню.

Inoff:
Согласен на эксперимент. Только что будем сравнивать?
Количество? - не имеет значения для маркетинга, если нет точности.
Или качество анализа? - Какие критерии качества?
Точность? - Что будет шаблоном точности?
Давайте, предлагайте, я готов.

Учтеные заходу на страницы, заходы с поисковиков, хиты в операционных системах и браузерах. Это наглядно покажет погрешность счетчика.

Inoff:
Отвечаю на Ваши преимущества:
1. Анализатор логов не может показать реальных посетителей, потому что он их считает изначально не верно. IP - это не посетитель.

Читайте выше. Реальные посетители - это такой же миф. А средств учитывать действия клиентов пока еще не изобрели.

Inoff:
2. Вы невнимательно изучили нашу программу. Учет уходящих пользователей по определенным ссылкам есть и сделан качественно. Учет есть, а пользователь не замечает ничего странного и раздражающего.

Через какой механизм? У меня прпало желание изучать программу после первых же багов и заваливаний IE.

Inoff:
3. Целевое действие загрузка файла? Запросто. На моем сайте пояснение отчета "реклама" и "эффективность рекламы" написано на примере загрузки файла.

Здесь даже о погрешности нельзя говорить.

Inoff:
4. Попытки взлома и подсчет роботов - да, анализатор. Который у нас тоже есть в программе. Но мы говорим о маркетинге.

Вы сами задали тему. А смотреть нужно все. Может ведь стать и поздно.

Inoff:
5. Поискать в поисковиках. Только я не вижу смысла в этом действии.

Отслеживание идет через загрузку картинок.

Inoff:
Да, Интернет-статистика, по крайней мере сейчас, не может быть 100% точной. Да, счетчик теряет несколько процентов посещений.

И сколько это несколько для вашего счетчика?

Inoff:
Но зачем нужна статистика, которая считает все, но считает не правильно!?

Идеализировать статистику счетчика с учетом всех перечисленных условий - нонценс. В подавляющем большинстве случаев действует принцип "здесь и сейчас".

Inoff:
Вот попробуйте мне объяснить, как можно говорить о пользователях, когда на крупные и мелкие компании приходится один IP прокси сервера? Т.е. вся компаниясчитается за одного пользователя?

Может быть в случае больших компаний это как раз может оказаться наиболее верным.

Inoff:
Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP. А иначе нет смысла беседовать дальше.

Какой смысл, если анализатор считает визиты. Будут более распространены логи с куками (под Апач, кстати есть соответствующи мод, а в IIS это делается соответствующими настройками) - будут считать уникальных посетителей настолько точно, насколько это вообще возможно.

А со священными войнами действительно пора завязывать. Если кому-то хочется знать об уникальных посетителях с погрешностью в десятки процентов - значит такая задача у него и стоит. Я предпочту обходится знаниями о визитах, но иметь полную информацию.

I
На сайте с 25.01.2005
Offline
37
#6
Через какой механизм? У меня прпало желание изучать программу после первых же багов и заваливаний IE.

Да очень простой - редирект. Почитайте хелп к программе Рекламные возможности

I
На сайте с 08.05.2003
Offline
151
#7

Pavel Grusha, не цепляйтесь за соломинки. Выделенный IP, например, у Стрима - это отдельная услуга за дополнительную плату, если я не ошибаюсь. Это лишь мизерная часть пользователей, а не тенденция.

Вообще у Вас очень странное свойство пытаться все обобщить, причем в весьма крупные категории и основанием для этого у Вас служат частности. То у Вас все пользователи ленивые, то весь ADSL перешел на статические IP. В других местах это тоже у Вас прослеживается... Разговор, мягко говоря, неконструктивный получается.

И вообще хорошо бы доказывать свои слова примерами хотя бы, а не голословить.

По-поводу соревнования ... Я же уже сказал, что хиты не верно использовать в статистике. Вы же не хитам продаете товар, а пользователям. И соответственно исследовать нужно именно пользователей. Это все равно что устраивать соревнования между автомобилями, у кого клаксон громче.

Если Вы так прикапываетесь к атакам и паукам, то именно для этого мы и сделали анализатор, идущий вместе со счетчиком.

Но если мы говорим о статистике пользователей (читай потенциальных клиентов), то повторю:

Попробуйте доказать, что анализатор точен, при подсчете пользователей по IP.

А вот когда логи с куками войдут в моду, то тогда и разговор будет другим.

PG
На сайте с 11.09.2005
Offline
1
#8

Не знаю, кто из нас больше цепляется за соломинки. Объяснять неполноту статистики отсутствием кук...

Итак предложение полноценного эксперимента:

Если у кого-то, кто пользуется AWLA генерируются лог-файлы с куками или есть возможность генерировать такие лог-файлы, то можно поступить следующим образом:

Я создаю специальную версию AlterWind Log Analyzer, где отсутствуют ограничения на длительность сесии визита, формат лог-файла указываем таким образом, чтобы кука в лог-файле воспринималась в качестве хоста. Это "убьет" отчеты по хостам и странам, но остальные отчеты не пострадают. Выделяем посетителей, которые загрузили хотя бы одну страницу и исключаем роботов.

А потом сравним статистику счетчика AWLA и анализатора. Или есть возражения, что и такой анализ будет неполноценным?

Чтобы у участника эксперимента появился стимул, он получит бесплатную лицензию на AlterWind Log Analyzer Professional.

I
На сайте с 08.05.2003
Offline
151
#9
Pavel Grusha:
Не знаю, кто из нас больше цепляется за соломинки. Объяснять неполноту статистики отсутствием кук...

Я объясняю не ее неполноту, а ее неверность. Кажется уже 3 раза объяснил :)

О Вашем соревновании я подумаю на досуге... сейчас других, более злободневных дел много.

PG
На сайте с 11.09.2005
Offline
1
#10
Inoff:
Я объясняю не ее неполноту, а ее неверность. Кажется уже 3 раза объяснил :)

И при этом твердить о достоверности статистики у которой погрешность до 20% в самой методике и еще процентов 30 из-за других факторов. Я это объяснял не меньшее число раз.

Мое предложение в силе для любого человека, имеющего возможность поставить такой эксперимент.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий