Оцените пожалуйста парсер страницы.

Потестил несколько минут... Косяков не заметил. Есть исключения... но это мелочи (пример, mail.ru , собака как-то пролазит через ваши регулярки).

Хорошенько бы оттестировали и все ок, почти готовый продукт :).

А насчет применения и так понятно :). Умный, быстрый парсер никогда не был лишним ☝. Мой нынешний (писался лезвием на заказ) меня, например, не устраивает (часто пропускает теги... часто траблы с кодировкой).

ну так себе:

а применение, по-моему, напрашивается само собой: спарсить весь смысловой контент рунета. Если есть бот, который правильно определяет как рипнуть смысловое содержимое без предварительной ручной подготовки к парсингу (забивание сигнатур, и пр), то его предназначение - рипать все подряд (поскольку в "подряд" его основная фишка). Я бы пустил его по инету гулять, через пару месяцев у вас на руках был бы огромный текстовый корпус. А если еще и обдуманно направлять его в кравлинге, то вообще красота.

зы

ждем появления ен_слона, который скажет, что у него целая команда разработчиков и ноу-хау механизм для создания роботов, и он сейчас все разрулит, если вы согласитесь работать с ним в доле 😂

ты его продавать будешь?

от языка не зависит +

работает быстро +

но, такие ковычки {} не игнорирует?

или статья такая попалась?

Ни ferra.ru, ни ixbt.com не прохавал (именно заглавные страницы).

Выдирает только текст, расположенный в тегах <p></p>, обрубая ссылки и картинки?

из тегов <strong> текст не хавает..

Главные страницы хреново работают т.к. там текста немного. чем в статье больше текста тем лучше.

C форумами тоже не очень работает.

Нет на тег параграфа вообще никак не завязано.

Картинки пока игнорируются, но привязать их использование не проблема.

Вообще мысли такие, сделать парсер статей. Т.е. ввел ссылку либо список ссылок и тебе выдаются статьи, а потом их экспортируешь в нужный формат sql либо CMS. Видел подобный продукт но идея загнулась т.к. небыло качественного саппорта и обновлений. Если продукт действительно востребован, я могу занятся разработкой. Поэтому пожалуйста отписываем мысли, если хотите что то видеть особое тоже напишите :)

ЧерныйKот добавил 14.03.2008 в 11:09

P.S. если обнаружили баги пример урла плиз в личку.

ЧерныйKот, тащи уж и ссылки на сами статьи в пределах домена. Чего их руками-то все забивать.

Если на основе этого алгоритма софт будет востребован, то естественно все будет работать автоматом.

Сделал бы и сейчас, но у меня хостинг дешевый, думаю админы будут ругатся если пользователи SE форума создадут довольно объемный траф.

+1. Без автоматики смысла нет. Руками быстрее текст скопипастить можно, чем парсером.

не хочет работать, ввел 3 адреса - результат один:

<hr><hr>