Мега-быстрый парсер OZON.ru

[Стас Давыдов]

Привет!

Изучаю спрос .

За пять лет работы с партнерской программой Озона, а также за два года совершенствования официального парсера http://ozon2.ru/parser/ на свет появился мега-быстрый парсер, заточенный под импорт XML-каталогов Озона в базу.

14.7 МБ/сек - средняя скорость работы, которую показывает парсер на моем медленном ноутбуке (Celeron 1200 MHz, 2 Гига оперативки, Windows 7. На нормальном сервере скорость работы еще выше, так, например, на моем хостинге - выше 20 Мб/сек). При такой скорости парсинг самого большого XML - div_book.xml - занимает 170 секунд. После использования парсера, полный импорт всех XML-каталогов с Озона на моем http://ozon2.ru/ стал занимать чуть больше 20 минут.

На выходе парсер выдает дамп базы, пригодный для прямого импорта в MySQL.

Исследую спрос на эту конфетку среди партнеров Озон:

1. Заинтересованы ли вы в исползовании такого парсера на своем сайта?
2. Если да, за сколько вы его готовы купить?

Подгонка парсера под ваш формат базы, конечно, возможен.

Update: Забыл добавить, парсер работает в потоковом режиме и не требователен к памяти.

[4996699]

офф:
http://ozon2.ru/about/
О проекте

Мы очень любим инЕтернет-магазин Озон.ру

[Стас Давыдов]

Исправил, спасибо!

Сообщение от 4996699

офф:
http://ozon2.ru/about/
О проекте

Мы очень любим инЕтернет-магазин Озон.ру

[AlexanderI]

Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

[esergey]

Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный?
Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.

[la2portal]

а какие модули используются?

[Стас Давыдов]

Сообщение от AlexanderI

Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

Никаких модулей не использует. Он самодостаточен.
Представляет собой запускаемый файл (можно скомпилировать под любую ОС).

---------- Добавлено 22.05.2012 в 16:44 ----------

Сообщение от AlexanderI

Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

Скриншоты чего?

Вот есть лог работы парсера внутри окружения, которое скачивает XML, а потом грузит результат работы парсера в базу: http://ozon2.ru/local_uploader.log2012-05-22.log.

Ключевая информация по скорости в строчках вида

2012-05-22T07:14:43+04:00 Transform /var/www/tmp/toy.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt
Transformed: 7427 items, 408 tags, 18128 item_tag links. 90 msec.

Ну и общее время тоже можно посмотреть.

---------- Добавлено 22.05.2012 в 16:49 ----------

Сообщение от esergey

Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный?
Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.

Как вы хотите скорость проверить?

Вот есть, например, лог его работы на моем сайте: http://ozon2.ru/local_uploader.log2012-05-22.log.

Одна из самых долгих операций парсинга:

2012-05-22T07:10:28+04:00 /var/www/tmp/print.xml extracted (2167220929 bytes)
2012-05-22T07:11:33+04:00 Transform /var/www/tmp/print.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt
Transformed: 1513811 items, 51 tags, 1513825 item_tag links. 35370 msec.

Парсер платный. Я его не продаю пока, но изучаю спрос.
Есть парсер бесплатный: http://ozon2.ru/parser/.

---------- Добавлено 22.05.2012 в 16:49 ----------

Сообщение от la2portal

а какие модули используются?

Никакие.
Парсер самодостаточен.

[igor3333]

а скажите пожалуйста bin/autoloader.php можно настроить чтоб он обновлял только поле цены (или поле картинки чтоб нетрогал)?

[OZON.ru]

Уважаемый Статс!

От лица Партнерской программы OZON.ru выражаем Вам благодарность за Ваш вклад в развитие CPA-программ!