Мега-быстрый парсер OZON.ru - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > > >
 
 
Опции темы
Старый 12.03.2012, 13:59   #1
Студент
 
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857
Отправить сообщение для Стас Давыдов с помощью ICQ Отправить сообщение для Стас Давыдов с помощью Yahoo Отправить сообщение для Стас Давыдов с помощью Skype™
Социальные сети

Lightbulb Мега-быстрый парсер OZON.ru

Привет!

Изучаю спрос .

За пять лет работы с партнерской программой Озона, а также за два года совершенствования официального парсера http://ozon2.ru/parser/ на свет появился мега-быстрый парсер, заточенный под импорт XML-каталогов Озона в базу.

14.7 МБ/сек - средняя скорость работы, которую показывает парсер на моем медленном ноутбуке (Celeron 1200 MHz, 2 Гига оперативки, Windows 7. На нормальном сервере скорость работы еще выше, так, например, на моем хостинге - выше 20 Мб/сек). При такой скорости парсинг самого большого XML - div_book.xml - занимает 170 секунд. После использования парсера, полный импорт всех XML-каталогов с Озона на моем http://ozon2.ru/ стал занимать чуть больше 20 минут.

На выходе парсер выдает дамп базы, пригодный для прямого импорта в MySQL.

Исследую спрос на эту конфетку среди партнеров Озон:
  1. Заинтересованы ли вы в исползовании такого парсера на своем сайта?
  2. Если да, за сколько вы его готовы купить?

Подгонка парсера под ваш формат базы, конечно, возможен.

Update: Забыл добавить, парсер работает в потоковом режиме и не требователен к памяти.
Стас Давыдов вне форума  

Реклама
Старый 21.03.2012, 14:36   #2
4996699
кот в мешке)
 
Регистрация: 21.01.2008
Сообщений: 1,322
Репутация: 195277

По умолчанию Re: Мега-быстрый парсер OZON.ru

офф:
http://ozon2.ru/about/
О проекте

Мы очень любим инЕтернет-магазин Озон.ру
4996699 вне форума  
Старый 24.03.2012, 03:10   #3
Стас Давыдов
Студент
 
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857
Отправить сообщение для Стас Давыдов с помощью ICQ Отправить сообщение для Стас Давыдов с помощью Yahoo Отправить сообщение для Стас Давыдов с помощью Skype™
Социальные сети

ТопикСтартер Re: Мега-быстрый парсер OZON.ru

Исправил, спасибо!

Цитата:
Сообщение от 4996699 Посмотреть сообщение
офф:
http://ozon2.ru/about/
О проекте

Мы очень любим инЕтернет-магазин Озон.ру
Стас Давыдов вне форума  
Старый 25.03.2012, 14:52   #4
AlexanderI
Студент
 
Регистрация: 27.11.2006
Сообщений: 5
Репутация: 10

По умолчанию Re: Мега-быстрый парсер OZON.ru

Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.
AlexanderI вне форума  
Старый 02.04.2012, 01:35   #5
esergey
Аспирант
 
Регистрация: 09.06.2003
Сообщений: 145
Репутация: 10371

По умолчанию Re: Мега-быстрый парсер OZON.ru

Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный?
Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.
esergey вне форума  
Старый 04.05.2012, 18:59   #6
la2portal
Студент
 
Регистрация: 27.11.2010
Сообщений: 49
Репутация: -2961

По умолчанию Re: Мега-быстрый парсер OZON.ru

а какие модули используются?
la2portal вне форума  
Старый 22.05.2012, 15:38   #7
Стас Давыдов
Студент
 
Регистрация: 21.03.2009
Сообщений: 22
Репутация: 857
Отправить сообщение для Стас Давыдов с помощью ICQ Отправить сообщение для Стас Давыдов с помощью Yahoo Отправить сообщение для Стас Давыдов с помощью Skype™
Социальные сети

ТопикСтартер Re: Мега-быстрый парсер OZON.ru

Цитата:
Сообщение от AlexanderI Посмотреть сообщение
Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.
Никаких модулей не использует. Он самодостаточен.
Представляет собой запускаемый файл (можно скомпилировать под любую ОС).

---------- Добавлено 22.05.2012 в 16:44 ----------

Цитата:
Сообщение от AlexanderI Посмотреть сообщение
Напиши поподробнее что использует твой парсер. Какие модули и т.д. Может скриншоты сделаеш.
Скриншоты чего?

Вот есть лог работы парсера внутри окружения, которое скачивает XML, а потом грузит результат работы парсера в базу: http://ozon2.ru/local_uploader.log2012-05-22.log.

Ключевая информация по скорости в строчках вида
Код:
2012-05-22T07:14:43+04:00 Transform /var/www/tmp/toy.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt
Transformed: 7427 items, 408 tags, 18128 item_tag links. 90 msec.
Ну и общее время тоже можно посмотреть.

---------- Добавлено 22.05.2012 в 16:49 ----------

Цитата:
Сообщение от esergey Посмотреть сообщение
Интересная тема. Надо проверить действительно ли он так быстро парсит.
Я не догнал - парсер платный или в данный момент бесплатный?
Если он с такой скоростью парсит я бы баков 30 готов был бы заплатить за скрипт.
Как вы хотите скорость проверить?

Вот есть, например, лог его работы на моем сайте: http://ozon2.ru/local_uploader.log2012-05-22.log.

Одна из самых долгих операций парсинга:
Код:
2012-05-22T07:10:28+04:00 /var/www/tmp/print.xml extracted (2167220929 bytes)
2012-05-22T07:11:33+04:00 Transform /var/www/tmp/print.xml ==> /var/www/tmp/item.txt, /var/www/tmp/tag.txt, /var/www/tmp/item_tag.txt
Transformed: 1513811 items, 51 tags, 1513825 item_tag links. 35370 msec.
Парсер платный. Я его не продаю пока, но изучаю спрос.
Есть парсер бесплатный: http://ozon2.ru/parser/.

---------- Добавлено 22.05.2012 в 16:49 ----------

Цитата:
Сообщение от la2portal Посмотреть сообщение
а какие модули используются?
Никакие.
Парсер самодостаточен.
Стас Давыдов вне форума  
Старый 04.06.2012, 12:38   #8
igor3333
Banned
 
Регистрация: 13.09.2011
Сообщений: 968
Репутация: 73617

По умолчанию Re: Мега-быстрый парсер OZON.ru

а скажите пожалуйста bin/autoloader.php можно настроить чтоб он обновлял только поле цены (или поле картинки чтоб нетрогал)?

Последний раз редактировалось igor3333; 04.06.2012 в 13:19..
igor3333 вне форума  
Старый 05.06.2012, 18:40   #9
OZON.ru
Партнерская программа
 
Регистрация: 12.03.2008
Сообщений: 870
Репутация: 13415

По умолчанию Re: Мега-быстрый парсер OZON.ru

Уважаемый Статс!

От лица Партнерской программы OZON.ru выражаем Вам благодарность за Ваш вклад в развитие CPA-программ!
OZON.ru вне форума  
 

Метки
ozon , парсер




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 15:29. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны