- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Господа есть файл размером от 2МБ - лог программы
программа логирует в xml
соответственно файл сожержит массив xml документов
парсить и писать данные получается но на это уходит до 2-х минут
пока парсинг обкатывался на на localhost (MAMP) проблем нет, но это очень долго
а вот я думаю, перенесу на хостинг, файлы логов будут в разы больше и тогда у меня получится, что при большом времени выполнения скрипта будет вылетать ошибка.
и тут собственно вопрос
интересно хотябы в теории услышать как быть с такой нагруженной обработкой, кстати большее время у меня занимет именно запись в базу
интересно хотябы в теории услышать
как быть с такой нагруженной обработкой,
Переписать на ассемблере,
можно обращаться ко мне.
Переписать на ассемблере,
можно обращаться ко мне.
Вам небось еще и денужка нужна будет за помощь)?
а проект у меня чисто для парсинга логов игрушки чтобы нам с товарищами играть было веселее)
Вам небось еще и денужка нужна будет за помощь)?
Вы угадали.
а проект у меня чисто для парсинга логов игрушки чтобы нам с товарищами играть было веселее)
Чтоб совсем весело-то было.. чего б не оплатить? :D Или "веселье" за ценность не считается?...
По теме
перенесу на хостинг, файлы логов будут в разы больше и тогда у меня получится, что при большом времени выполнения скрипта будет вылетать ошибка.
Так запустить обработку на хостинге с "реальным" файлом.. Установить время выполнения побольше (если хостер предоставляет возможность) и посмотреть.. зачем гадать?
p.s. Почти уверен, что Есть, вариант оптимизировать обработку данных и без использования assembler-а...
ищите любую тему по поводу открытия файла в вашем скрипте.
Я работаю в перле, - просто. указатель, открыл, считал кусок, запомнил указатель, обработал, продолжил с указателя.
программа логирует в xml
так и пишите сразу лог в базу. Или игра не Ваша? Не самодельная.
2mb за две минуты... вы чем парсите то? И что за операции там проводите?
---------- Добавлено 11.08.2013 в 10:55 ----------
ищите любую тему по поводу открытия файла в вашем скрипте.
Я работаю в перле, - просто. указатель, открыл, считал кусок, запомнил указатель, обработал, продолжил с указателя.
Целевой xml документ считывать построчно?..
а вот я думаю, перенесу на хостинг, файлы логов будут в разы больше и тогда у меня получится, что при большом времени выполнения скрипта будет вылетать ошибка.
Запускайте скрипт из консоли. CLI прекрасная вещь.
логи по своей пррироде поточная штука и даже если какой-то извращенец записал их в формате ХМЛ, то практически всегда можно выкинуть рут ноду и получить потоковый лог, обернутый в теги.
такое парсить уже плевое дело.
2мб явно быстрее 2 минут будет.
ivan-lev, ТРОЛОЛО,
ищите любую тему по поводу открытия файла в вашем скрипте.
Я работаю в перле, - просто. указатель, открыл, считал кусок, запомнил указатель, обработал, продолжил с указателя.
с XML данное не прокатит
2мб явно быстрее 2 минут будет.
Я же уже писал что большую часть времени занимает запись в базу
так и пишите сразу лог в базу. Или игра не Ваша? Не самодельная.
игра не моя и написание другого сборщика логов как N задача