|
|
![]() |
#1 |
Студент
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857 |
![]() Привет!
Изучаю спрос ![]() За пять лет работы с партнерской программой Озона, а также за два года совершенствования официального парсера http://ozon2.ru/parser/ на свет появился мега-быстрый парсер, заточенный под импорт XML-каталогов Озона в базу. 14.7 МБ/сек - средняя скорость работы, которую показывает парсер на моем медленном ноутбуке (Celeron 1200 MHz, 2 Гига оперативки, Windows 7. На нормальном сервере скорость работы еще выше, так, например, на моем хостинге - выше 20 Мб/сек). При такой скорости парсинг самого большого XML - div_book.xml - занимает 170 секунд. После использования парсера, полный импорт всех XML-каталогов с Озона на моем http://ozon2.ru/ стал занимать чуть больше 20 минут. На выходе парсер выдает дамп базы, пригодный для прямого импорта в MySQL. Исследую спрос на эту конфетку среди партнеров Озон:
Подгонка парсера под ваш формат базы, конечно, возможен. Update: Забыл добавить, парсер работает в потоковом режиме и не требователен к памяти. |
![]() |
Реклама | |
![]() |
#2 |
кот в мешке)
Регистрация: 21.01.2008
Сообщений: 1,322
Репутация: 195277 |
![]() |
![]() |
![]() |
#3 | |
Студент
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857 |
![]() Исправил, спасибо!
![]() Цитата:
|
|
![]() |
![]() |
#4 |
Студент
Регистрация: 27.11.2006
Сообщений: 5
Репутация: 10 |
![]() Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.
|
![]() |
![]() |
#5 |
Аспирант
Регистрация: 09.06.2003
Сообщений: 145
Репутация: 10371 |
![]() Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный? Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт. Поиск книг в интернет магазинах |
![]() |
![]() |
#6 |
Студент
Регистрация: 27.11.2010
Сообщений: 49
Репутация: -2961 |
![]() а какие модули используются?
|
![]() |
![]() |
#7 | |||
Студент
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857 |
![]() Цитата:
Представляет собой запускаемый файл (можно скомпилировать под любую ОС). ---------- Добавлено 22.05.2012 в 16:44 ---------- Цитата:
Вот есть лог работы парсера внутри окружения, которое скачивает XML, а потом грузит результат работы парсера в базу: http://ozon2.ru/local_uploader.log2012-05-22.log. Ключевая информация по скорости в строчках вида Код: 2012-05-22T07:14:43+04:00 Transform /var/www/tmp/toy.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt Transformed: 7427 items, 408 tags, 18128 item_tag links. 90 msec. ---------- Добавлено 22.05.2012 в 16:49 ---------- Цитата:
Вот есть, например, лог его работы на моем сайте: http://ozon2.ru/local_uploader.log2012-05-22.log. Одна из самых долгих операций парсинга: Код: 2012-05-22T07:10:28+04:00 /var/www/tmp/print.xml extracted (2167220929 bytes) 2012-05-22T07:11:33+04:00 Transform /var/www/tmp/print.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt Transformed: 1513811 items, 51 tags, 1513825 item_tag links. 35370 msec. Есть парсер бесплатный: http://ozon2.ru/parser/. ---------- Добавлено 22.05.2012 в 16:49 ---------- Никакие. Парсер самодостаточен. |
|||
![]() |
![]() |
#8 |
Banned
Регистрация: 13.09.2011
Сообщений: 968
Репутация: 73617 |
![]() а скажите пожалуйста bin/autoloader.php можно настроить чтоб он обновлял только поле цены (или поле картинки чтоб нетрогал)?
Последний раз редактировалось igor3333; 04.06.2012 в 13:19.. |
![]() |
![]() |
#9 |
Партнерская программа
Регистрация: 12.03.2008
Сообщений: 870
Репутация: 13415 |
![]() Уважаемый Статс!
От лица Партнерской программы OZON.ru выражаем Вам благодарность за Ваш вклад в развитие CPA-программ! Служба поддержки партнерской программы OZON.ru Регистрация партнера, Обратная связь |
![]() |