Чем отпарсить большой RSS

Perl?

Ищи парсеры, либо софт, работающие на EXPAT. Он гораздо более быстрый т.к. работает с потоком данных, без постройки дерева в памяти. То, что у тебя висло - скорее всего работает на SAX2 - он более "навороченный", но и в десятки раз более медленный.

п.с. 1 гиг - это не проблема. Проблемы с объемом данных начинаются после 2 гигабайт.

Да на чем угодно, perl, php, exe лишь бы работало, за совет спасибо буду искать.

Вот тут:

http://ua.php.net/manual/en/ref.xml.php

Как раз пример потокового парсинга.

Думаю, можно на его основе реализовать локальную консольную версию.

В самом начале скрипта установить тайм лимит, чтобы не вылетал через 30 секунд.

Результаты так и выводить через echo.

В винде привязать расширение .php чтобы по умолчанию открывалось с помощью php.exe

дале в консоли запускаем:

C:\>parser.php > parsed.csv

а из-за чего виснет то выяснили? сдается мне что ограничения на сервере срабатывают (это как предположение) ...

Готовых подходящих не видели, ибо все готовые подходящие которые видели, пытаются "сожрать" весь rss чохом и потом его уже разбирать. Но практически не смотрели подобное, поэтому наверняка не скажем.

RSS, если мы правильно помним, имеет достаточно линейный формат? Мы для парсения больших файлов с линейно занесенной инфой делаем так - считывается часть файла, обрабатывается, потом ручной контроль времени не прошло ли 10-20 секунд, если не прошло, то следующий кусок, если прошло, то редирект на себя же с параметром где указана текущая точка файла. fseek/ftell - для позиций по файлу, microtime для измерения времени. Собственно более чем банально, но тем не менее.

P.S.: Сорри что немного повторяемся.

А ссылкой не поделитесь (в личку)? Хочу протестить парсер новой версии скрипто. Буду очень Вам благодарен.