Большой книжный XML (все книги OZON.ru)

Есть ли готовые скрипты магазинов, чтоб с моего сайта заказывали, а не по переходу?

sanitarn, пока у нас нет готового партнерского магазина. Заказ делается строго на OZON.ru, а партнеры делают свои магазины с помощью XML-каталогов. Но уже сейчас мы предлагаем крупным проектам OZON API (в тестовом режиме). В ближайшем будущем на основе OZON API можно будет делать магазины с заказом на стороне партнера.

Файл очень большой, его можно как то разбить на несколько?

Работаю с обработкой XML недавно, опыт небольшой. В начале загрузка XML осуществлялась с помощью переработанного парсера для OZON.ru. Позже выяснилось, что язык PHP крайне не эффективен для обработки такого рода данных. Компилятор PHP формирует невероятно большой код, который к тому же потребляет большие процессорные ресурсы, и обработка большого объема данных становится невозможной. Более того код получается нестабильным, возникают ошибки при обработке. Проблемы на хостинге начались уже при обработке файла размером 14 Мбайт, PHP обработчик уже не в лазил в ограничения хостинга и задача аварийно завершалась. Переходить на более мощный хостинг было бы неоправданным решением. Единственным узким местом был парсер XML написанный на PHP, который можно заменить парсеом на Си. И тогда можно сэкономить на стоимости хостинга и выжать с хостинга максимум.

Парсер на Си был написан, теперь проблем с загрузкой XML не возникает. Но из-за ограничений объема БД у меня нет возможности загрузить XML-файлы больших размеров.

Локально, на домашнем компе, парсер на Си порождает новую проблему, теперь вся нагрузка ложится уже на диск. При добовлении больших файлов, сервер MySQL генерирует большое количество операций с диском. Диск становится занятым на 96-99%, при 10-20% заруженности процессора.

farac0m, спасибо за подробно описанный опыт! Да, работа с большим XML требует и ресурсов и технических знаний, - но зато на больших каталогах XML партнеры успешно зарабатывают. Возможно, Вам поможет - один из наших партнеров описывал у себя опыт разбора большого XML с помощью PHP - как раз на примере нашего XML.

OZON.ru, спасибо за ссылку. Думаю, что решил обе проблемы, это проблема с нехваткой памяти и проблема с нехваткой выделенного времени для работы скрипта. Решение было приблизительно по такому же принципу, как и в статье, только вот язык не PHP, а Си. Обработка идет по потоковому принципу, из стандартного ввода посимвольно идет выборка интересующих тэгов. При совпадении, идет загрузка всего тэга в буфер, в котором уже происходит непосредственно обработка XML. После обработки формируется запрос SQL на запись результата в БД. Затем, буфер освобождается, и процесс поиска интересующих тэгов повторяется.

В памяти, при обработке, программа занимает около 900 кбайт, причем этот размер практически не зависит от объема файла XML.