limyh#: но это же секунда, переключиться на другую вкладку. Не?
Я тоже так думал, а потом как распробовал :D
Частный случай: я собираю шаблон по определенным параметрам. Эти параметры расположены на разных листах-вкладках + примеры в других таблицах (сайтах). Раньше я клацал туда-сюда, там пара секунд, тут пара секунд, пока переключал - с мысли сбился. И все снова "осмысливать". А тут все сразу видно, только мышкой "вжух"-"вжух" или вообще координаты прописываешь сразу и тут же результат отобразился.
Сейчас 3 монитора, будет 6 - я так кайфану от комфорта и производительности - не передать.
Антоний Казанский#: Вопрос в другом - какие задачи будут сформированы в связи с обнаруженным?
Это я изложил в первом посте: рассортировал по ответам сервера и прочим моментам. Интересовала инфо: кто какие отчеты строит, помимо стандартной сортировки, потому, что на просторах интернета инфо настолько "пестрая", настолько она и "пресная".
Ну и программы какие кто использует - уже выяснили, пойду ковырять функционал.
После осознания того, что данные ЯМетрики не всегда достоверные, то и анализ строить по ним - это есть путь в никуда. Логическим завершением этого акта будет - своя метрика, которая будет опираться на данные из логов сервера. А как фильтровать ботов: товарищ выше меня натолкнул ;)
В любом случае, ценной инфо сегодня вывез вагон, буду разгребать и учить ;)
Антоний Казанский#: Александр, со стартового поста я не понял, какую задачу для себя ставили? Просто отсортировать данные логов и добиться более наглядного представления?
Это проделано, нет проблем по пробелу или по кавычкам, или по скобкам рассортировать данные из логов по параметрам.
Антоний Казанский#: Есть же статистика, которая выполняет функция мониторинга код 200, код 404, код 500. Да, тот же Яндекс выводит её с задержкой, но зато нужным образом агрегирует данные.
Проблема в том, что Яндекс в эту статистику "выплевывает", в том числе, бототраф. Агрегирует данные, в том числе, в отчеты по кликам, по запросам и т.д. - с бототрафом. Поэтому, на его отчеты, в данном случае, надежды мало.
Я спрашивал: кто еще по отфильтрованным логам пытается строить структуры по кол-ву посещений на конкретные url и т.д.? Или какие еще отчеты строит кто (если вообще строит)?
Банальный пример: ЯМетрика дает одну инфо, а по логам у меня - другая. Я задавал вопрос Роману в соответствующей теме, но он посетовал на то, что у меня ЯМетрика модернизированная. Я для теста взял стандартный код - и там тоже расхождения с логами, причем - ощутимые. Можно списать на то, что ЯМетрика ботов таким образом фильтрует, только вот момент: то, что ЯМтерика считает по ЯВебвизору (что удалось сличить) пользователем - по факту оказывается - ботом (и по логам это видно). Так что, на ЯМетрику сейчас нет никакой надежды... На вебмастер, с его отчетами - тоже нет надежды...
NoMoreContent#: Маркетинг считают в основном по аналитическим логам. То есть бэкенд-логи это в основном антифрод. А маркетологи работают по данным ГуглАналитикс(360) или другим подобным системам.
Они "загажены" ботами. Чтобы почистить трафик - полез в логи. Чтобы понять что там происходит - поднялся вопрос: надо сортировать. Отсортировал по всем параметрам и стал думать: что еще можно смотреть по логам, так как JS-аналитика (метрики) - загажены. Прежде чем их анализировать, надо чистить, а потом уже сверяться.
Вот вопросы: так как данных будет много и таблицы не справятся со строками - какие программы есть для сортировок. Какие методы есть? Что еще можно смотреть по логам в плане маркетинга, так как в сети много статей на этот счет, но там рерайт на рерайте, лучше поинтересоваться у профильного комьюнити.
Хорошо, что создал тему. Предполагаемый пул действий подтвердился - на верном пути.
NoMoreContent#: Потом, с годами сделал себе панель управления со сводой информацией и скрипты автоматической аналитики. Так вроде удобнее. Но по простому не написать. Понемногу, по одной задаче или параметру дописывал.
Вот сейчас на данной стадии.
Всю остальную инфо: ссылку на пост сохранил, изучу.
А саму пасту по логам: кол-во страниц на пользователя, кол-во пользователей на страницу, популярность страницы в охвате всего сайта по логам, отфильтрованным от ботов - такое не собираете? Ведь анализ логов и нужен (в том числе) для понимания успехов конкретного сайта (ну, я так предполагаю).
Просто вся эта "борода" в один момент меня настолько разозлила, что я психанул и вот, пока на таблицах, а потом уже буду думать о софте (параллельно учусь писать код, вот, проект-то уже готов - учись - не хочу :D).
3. Лучшие инструменты: grep --text, grep -E, sort, sort -u, head -n, tail -n, tail -f, sed, awk, wc -l.
С методами - понятно. С программами - низкий поклон.
А пул данных какой анализируете? Читаю вот воду водную от русского рерайтного рерайта: кто анализирует ПС, кто страницы. Но как, блин, это поможет, когда БД загажена ботами (могу заблуждаться).
impossible : Расскажите как с этим бороться? Ценность рекламы в Директе падает, у нас и так узкоспециализированная тематика, трафика по ней мало, целевая аудитория узкая.
Уходить из ЯДирект и искать другие варианты рекламы. Но то уже пусть ваш маркетолог работает. Сейчас Яндекс превратился в скам.
Dambo#: Очень сильно упал траф за последнюю неделю, примерно на 25%, и сегодня продолжает падать. Уже вплотную подошло к показаниям при метке МПК, но в вэбмастре чисто. Мучил сегодня час техподдержку в чате вэбмастера, вышел на живого оператора, уверяет что с моим сайтом все норм и меток нет. Почему тогда траф падает не говорит.
Так Роман писал же, что они в метрике подкручивают алгоритмы аналитики, чтобы отсеивали ботов, мол, собрали базу, теперь мутят отчеты.
но это же секунда, переключиться на другую вкладку. Не?
Я тоже так думал, а потом как распробовал :D
Частный случай: я собираю шаблон по определенным параметрам. Эти параметры расположены на разных листах-вкладках + примеры в других таблицах (сайтах).
Раньше я клацал туда-сюда, там пара секунд, тут пара секунд, пока переключал - с мысли сбился. И все снова "осмысливать".
А тут все сразу видно, только мышкой "вжух"-"вжух" или вообще координаты прописываешь сразу и тут же результат отобразился.
Сейчас 3 монитора, будет 6 - я так кайфану от комфорта и производительности - не передать.
Вопрос в другом - какие задачи будут сформированы в связи с обнаруженным?
Это я изложил в первом посте: рассортировал по ответам сервера и прочим моментам.
Интересовала инфо: кто какие отчеты строит, помимо стандартной сортировки, потому, что на просторах интернета инфо настолько "пестрая", настолько она и "пресная".
Ну и программы какие кто использует - уже выяснили, пойду ковырять функционал.
Что планируете делать с этим знаниями?
После осознания того, что данные ЯМетрики не всегда достоверные, то и анализ строить по ним - это есть путь в никуда.
Логическим завершением этого акта будет - своя метрика, которая будет опираться на данные из логов сервера.
А как фильтровать ботов: товарищ выше меня натолкнул ;)
В любом случае, ценной инфо сегодня вывез вагон, буду разгребать и учить ;)
Александр, со стартового поста я не понял, какую задачу для себя ставили? Просто отсортировать данные логов и добиться более наглядного представления?
Это проделано, нет проблем по пробелу или по кавычкам, или по скобкам рассортировать данные из логов по параметрам.
Есть же статистика, которая выполняет функция мониторинга код 200, код 404, код 500. Да, тот же Яндекс выводит её с задержкой, но зато нужным образом агрегирует данные.
Проблема в том, что Яндекс в эту статистику "выплевывает", в том числе, бототраф. Агрегирует данные, в том числе, в отчеты по кликам, по запросам и т.д. - с бототрафом.
Поэтому, на его отчеты, в данном случае, надежды мало.
Я спрашивал: кто еще по отфильтрованным логам пытается строить структуры по кол-ву посещений на конкретные url и т.д.? Или какие еще отчеты строит кто (если вообще строит)?
Банальный пример: ЯМетрика дает одну инфо, а по логам у меня - другая. Я задавал вопрос Роману в соответствующей теме, но он посетовал на то, что у меня ЯМетрика модернизированная. Я для теста взял стандартный код - и там тоже расхождения с логами, причем - ощутимые.
Можно списать на то, что ЯМетрика ботов таким образом фильтрует, только вот момент: то, что ЯМтерика считает по ЯВебвизору (что удалось сличить) пользователем - по факту оказывается - ботом (и по логам это видно).
Так что, на ЯМетрику сейчас нет никакой надежды... На вебмастер, с его отчетами - тоже нет надежды...
Маркетинг считают в основном по аналитическим логам. То есть бэкенд-логи это в основном антифрод. А маркетологи работают по данным ГуглАналитикс(360) или другим подобным системам.
Они "загажены" ботами.
Чтобы почистить трафик - полез в логи. Чтобы понять что там происходит - поднялся вопрос: надо сортировать.
Отсортировал по всем параметрам и стал думать: что еще можно смотреть по логам, так как JS-аналитика (метрики) - загажены. Прежде чем их анализировать, надо чистить, а потом уже сверяться.
Вот вопросы: так как данных будет много и таблицы не справятся со строками - какие программы есть для сортировок. Какие методы есть? Что еще можно смотреть по логам в плане маркетинга, так как в сети много статей на этот счет, но там рерайт на рерайте, лучше поинтересоваться у профильного комьюнити.
Хорошо, что создал тему. Предполагаемый пул действий подтвердился - на верном пути.
Потом, с годами сделал себе панель управления со сводой информацией и скрипты автоматической аналитики. Так вроде удобнее. Но по простому не написать. Понемногу, по одной задаче или параметру дописывал.
Вот сейчас на данной стадии.
Всю остальную инфо: ссылку на пост сохранил, изучу.
А саму пасту по логам: кол-во страниц на пользователя, кол-во пользователей на страницу, популярность страницы в охвате всего сайта по логам, отфильтрованным от ботов - такое не собираете?
Ведь анализ логов и нужен (в том числе) для понимания успехов конкретного сайта (ну, я так предполагаю).
Просто вся эта "борода" в один момент меня настолько разозлила, что я психанул и вот, пока на таблицах, а потом уже буду думать о софте (параллельно учусь писать код, вот, проект-то уже готов - учись - не хочу :D).
Рекомендации от логового "миллиардера" (строк на работе) по одним только по app-entrypoint-ам.
1. Логи статики пишем в основном в /dev/null
2. Логов пишем несколько. Формат определяем сами. Пишем нужное. Не пишем ненужное. Ошибки отдельно, боты отдельно, корректные запросы пользователей к приложению отдельно.
3. Лучшие инструменты: grep --text, grep -E, sort, sort -u, head -n, tail -n, tail -f, sed, awk, wc -l.
С методами - понятно.
С программами - низкий поклон.
А пул данных какой анализируете? Читаю вот воду водную от русского рерайтного рерайта: кто анализирует ПС, кто страницы. Но как, блин, это поможет, когда БД загажена ботами (могу заблуждаться).
Расскажите как с этим бороться? Ценность рекламы в Директе падает, у нас и так узкоспециализированная тематика, трафика по ней мало, целевая аудитория узкая.
Уходить из ЯДирект и искать другие варианты рекламы. Но то уже пусть ваш маркетолог работает.
Сейчас Яндекс превратился в скам.
К сожалению пробовал разные варианты, включая этот, не удалось заблочить.
RewriteCond %{QUERY_STRING} ^utm_source [NC]RewriteRule ^(.*)$ - [F,L]
Поставьте его повыше в htaccess
Очень сильно упал траф за последнюю неделю, примерно на 25%, и сегодня продолжает падать. Уже вплотную подошло к показаниям при метке МПК, но в вэбмастре чисто. Мучил сегодня час техподдержку в чате вэбмастера, вышел на живого оператора, уверяет что с моим сайтом все норм и меток нет. Почему тогда траф падает не говорит.
Так Роман писал же, что они в метрике подкручивают алгоритмы аналитики, чтобы отсеивали ботов, мол, собрали базу, теперь мутят отчеты.