- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Договорился с клиентом, что будем считать стоимость продвижения по количеству переходов из поисковиков. Переходы смотрим по логам.
Я работал только с Log Analizer, который меня всем устраивает. Но вчера пытался импортировать в него лог на 5 мегабайт, время на анализ лога ушло минут 30 на компьютере 2,4Г 512М.
А у клиента логи 500 мегабайт в неделю (!). Боюсь даже представить сколько мы с клиентом просидим анализируя логи. Подскажите как лучше обрабатывать логи таких размеров.
Попробуйте Weblog Expert, он довольно шустрый.
Или Webtrends 7.0. А большим логам нужно радоваться, это к деньгам! ;)
Гхм... А чем плох старый добрый grep, который можно гонять прямо на сервере провайдера? ;)
Гхм... А чем плох старый добрый grep, который можно гонять прямо на сервере провайдера? ;)
а можно по подробнее, что за grep?
man grep :).
LiM имеет в виду использование шелла прямо на сервере провайдера. Выбрать только нужные вам строки из логов, а дальше - делать с ними, что хотите. Если логи действительно такого размера - выбор невелик, надо делать что-то на стороне сервера.
сорри, опечатка была
Вообще-то логи 2гб/мес. трудно назвать очень большими.
5 мб. за 30 минут при 512мб памяти - это у анализатора какие-то проблемы.
Какой-нибудь Аналог 5 мб. обработает за несколько секунд, 2 гб. - несколько минут.
Если скачивать трудно - паковать на сервере надо, жмутся они хорошо.
Еще в httpd.conf можно отключить запись в лог обращений к .js, .css, .gif, .jpeg, .jpg. Тогда объем сократится очень сильно
5 мб. за 30 минут при 512мб памяти - это у анализатора какие-то проблемы.
Какой-нибудь Аналог 5 мб. обработает за несколько секунд, 2 гб. - несколько минут.
Разрекламированный здесь Log Analizer тем самым и знаменит, что не умеет обрабатывать лог свыше 20 мб.
Попытки что-то сделать с бОльшими объемами данных на моей машине приводили к тому, что программа поджимала весь процесс под себя и подвешивала операционку.
Однажды приболел дизайнер и я решил погонять Лог Аналайзер на его машинке (П-4, 2,7 гц, 1024мб). Загрузил в обед в программку логи недели за месяц, размером ~800мб и попросил проанализировать его для начала.
В 9 вечера была выполнена половина анализа. Выключать комп не стал, ушел домой.
Утром меня ждала красивая цифра в 90%, после чего, прождав до обеда я в конце концов получил то, что лог был проанализирован.
Но дальше необходимо было сгенерировать отчет.
Выбрал интересующие меня параметры, запустил.
Увидев спустя полчаса пару процентов от генерации оного, я прервал процесс и снес этот Log Analizer подальше.
Можно, конечно же, прождать пару часов и обработать лог за один день, чтобы получить его картину, но только этого мало... :-((
Weblog Expert, в принципе быстро генерит, но там тоже есть то, что не нравится - все же он не для РуНета делался... Но в качестве одного из вариантов анализа, воспользоваться можно.
Офигеть. А авторы этого чудо-аналайзера его на реальных логах тестировали или нет? :)
Чтобы при современной производительности процессора и объеме памяти логи с такой скоростью обрабатывать, я не знаю как надо постараться... и какой алгоритм изобрести.
Офигеть. А авторы этого чудо-аналайзера его на реальных логах тестировали или нет? :)
Чтобы при современной производительности процессора и объеме памяти логи с такой скоростью обрабатывать, я не знаю как надо постараться... и какой алгоритм изобрести.
Я просто боюсь, что тесты проводились на не очень больших лог-файлах и разработчикам данные по скорости показались удовлетворительными.
Кто-то из коллег в целом неплохо отзывался о программе, ибо все же некие достоинства там действительно есть.
Но при потребности обрабатывать логи довольно посещаемых ресурсов, да с нехилым количеством хитов, да сразу хотя бы за несколько дней, эта программа работает убийственно... :-(((
У меня дневной лог на некоторых ресурсах от 50 мегов весит (бывает и под 100 изредка), так что эта программа не для меня...
Спасибо, понял в чём проблема. Скажите, а Weblog Expert или Webtrends могут делать выборку "из Яндекса по запросу "окна" за месяц"? Нет у них проблем с русским языком или поисковиками?
По пробуй AWLA у меня лог файл 30 мег примерно за секунд 20-30 анализирует. отчеты строит мгновенно. И динамику по слову сможеш посмотреть. Хотя на жирных логах не тестировал.