Алгоритм выделения статьи из страницы

Ни у кого нету опыта или хотя бы идей?

Немножко занимался данным вопросом, но вообще смотрел Readablity и его порт на php допиливал.

Была идея по отбрасыванию ненужного - выделять xpath элементов и смотреть, те, которые отличаются немного (индексами как правило) - меню всякие отсекать, у которых структура одинаковая.

Еще в мозилле была кнопка (от элементов яндекса вроде, но могу ошибаться) в адресной строке - она тоже версию для чтения делала неплохо (но я особо не тестил) - но как она внутри устроена - не знаю.

Чудесная кнопка.

Есть 3 алгоритма выделения статьи.

1. Computer Sience (дорого)

2. Выделение как вы написали, сравнение страниц, соседних.

3. алгоритм Readablity

Readablity использую, пробив успешных около 70%

Вероятно есть что-то более интересное.

Я бы наверно Readability и модифицировал, корректируя по примерам страниц, где он не сработал

я не совсем в теме, но разве нельзя выделять статью из страницы, определяя просто самый длинный кусок текста. Кажется на хабре читал о таком подходе, но не могу найти ссылку

---------- Добавлено 29.01.2016 в 02:44 ----------

Нашёл, вот это не то? http://habrahabr.ru/company/mailru/blog/200394/

---------- Добавлено 29.01.2016 в 03:12 ----------

в мозилле и сейчас эта кнопка и насколько я понимаю она как раз выделяет текст примерно от 1000 символов, потому как на маленьких текстах и разбитых на части она не появляется.

Готового решения нету.

и если посмотреть топ сайтов (включая старые), то по большому пласту запросов ничего не выйдет получить.

посмотрите новостные сайты, где куча анонсов.

а если взять: сруб дома (к примеру), где все результаты - каталогами будут.

сейчас решаю такую же проблему. на данный момент это выглядит так:

1. сравниваем 2 страницы(DOMы), чтобы найти навигацию

2. потом опять идём по дереву и сравниваем ветки: если в одной сравнительно мало текста(пару %) - ф топку

косяков естественно много, но для себя оставил пока этот вариант

Dinozavr, планируете решение выкладывать в паблик?

это врядли :) во-первых - питон, а во-вторых мне придётся пару дней этот код до ума доводить и комментировать, чтобы не стыдно было людям показать;)

Это - частая причина, почему я мало выкладываю, понимаю )

ибо код работает - ну и супер, я понимаю, багов нету. а вот для паблика - слишком много магии