Форум Монетизация сайтов Партнерские программы в Интернете

Мега-быстрый парсер OZON.ru

СД
На сайте с 21.03.2009
Offline
28
Стас Давыдов
10652

Привет!

Изучаю спрос :).

За пять лет работы с партнерской программой Озона, а также за два года совершенствования официального парсера http://ozon2.ru/parser/ на свет появился мега-быстрый парсер, заточенный под импорт XML-каталогов Озона в базу.

14.7 МБ/сек - средняя скорость работы, которую показывает парсер на моем медленном ноутбуке (Celeron 1200 MHz, 2 Гига оперативки, Windows 7. На нормальном сервере скорость работы еще выше, так, например, на моем хостинге - выше 20 Мб/сек). При такой скорости парсинг самого большого XML - div_book.xml - занимает 170 секунд. После использования парсера, полный импорт всех XML-каталогов с Озона на моем http://ozon2.ru/ стал занимать чуть больше 20 минут.

На выходе парсер выдает дамп базы, пригодный для прямого импорта в MySQL.

Исследую спрос на эту конфетку среди партнеров Озон:

  • Заинтересованы ли вы в исползовании такого парсера на своем сайта?
  • Если да, за сколько вы его готовы купить?

Подгонка парсера под ваш формат базы, конечно, возможен.

Update: Забыл добавить, парсер работает в потоковом режиме и не требователен к памяти.

49
На сайте с 21.01.2008
Offline
182
4996699
#1

офф:

http://ozon2.ru/about/

О проекте

Мы очень любим инЕтернет-магазин Озон.ру

СД
На сайте с 21.03.2009
Offline
28
Стас Давыдов
#2

Исправил, спасибо! :)

4996699:
офф:
http://ozon2.ru/about/
О проекте

Мы очень любим инЕтернет-магазин Озон.ру
AI
На сайте с 27.11.2006
Offline
39
AlexanderI
#3

Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

E
На сайте с 09.06.2003
Offline
96
esergey
#4

Интересная тема. Надо проверить действительно ли он так быстро парсит.

Я не догнал - парсер платный или в данный момент бесплатный?

Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.

Поиск книг в интернет магазинах (http://bookza.ru)
Google начал просить пользователей Стартап разработал новую бесплатную Букварикс представил новые бесплатные
L2
На сайте с 26.11.2010
Offline
43
la2portal
#5

а какие модули используются?

СД
На сайте с 21.03.2009
Offline
28
Стас Давыдов
#6
AlexanderI:
Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

Никаких модулей не использует. Он самодостаточен.

Представляет собой запускаемый файл (можно скомпилировать под любую ОС).

---------- Добавлено 22.05.2012 в 16:44 ----------

AlexanderI:
Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.

Скриншоты чего?

Вот есть лог работы парсера внутри окружения, которое скачивает XML, а потом грузит результат работы парсера в базу: http://ozon2.ru/local_uploader.log2012-05-22.log.

Ключевая информация по скорости в строчках вида 

2012-05-22T07:14:43+04:00 Transform /var/www/tmp/toy.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt

Transformed: 7427 items, 408 tags, 18128 item_tag links. 90 msec.

Ну и общее время тоже можно посмотреть.

---------- Добавлено 22.05.2012 в 16:49 ----------

esergey:
Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный?
Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.

Как вы хотите скорость проверить?

Вот есть, например, лог его работы на моем сайте: http://ozon2.ru/local_uploader.log2012-05-22.log.

Одна из самых долгих операций парсинга: 

2012-05-22T07:10:28+04:00 /var/www/tmp/print.xml extracted (2167220929 bytes)

2012-05-22T07:11:33+04:00 Transform /var/www/tmp/print.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt

Transformed: 1513811 items, 51 tags, 1513825 item_tag links. 35370 msec.

Парсер платный. Я его не продаю пока, но изучаю спрос.

Есть парсер бесплатный: http://ozon2.ru/parser/.

---------- Добавлено 22.05.2012 в 16:49 ----------

la2portal:
а какие модули используются?

Никакие.

Парсер самодостаточен.

Обнаружено вредоносное ПО, поражающее Автоматизация сбора данных для Почта Mail.ru ускорила поиск
[Удален]
#7

а скажите пожалуйста bin/autoloader.php можно настроить чтоб он обновлял только поле цены (или поле картинки чтоб нетрогал)?

OR
На сайте с 12.03.2008
Offline
123
OZON.ru
#8

Уважаемый Статс!

От лица Партнерской программы OZON.ru выражаем Вам благодарность за Ваш вклад в развитие CPA-программ!

Служба поддержки партнерской программы OZON.ru (http://www.ozon.ru/context/partner/) Регистрация партнера (http://www.ozon.ru/?context=partner_join), Обратная связь (http://www.ozon.ru/context/partner_feedback/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий