Как определить размер статьи на неизвестном сайте?

Могу ошибаться, но сомневаюсь, что в топ 10 попадут статьи без h1

Бывает

https://news.sportbox.ru/Vidy_sporta/Hokkej/NHL/stats

http://nhl.ru/?action=shedul&op=standings_conf

Да, но не так часто, чтобы сбрасывать со счетов этот способ. Я думаю, что это будет зависеть от частотности запроса. К тому же, методы можно миксовать. Самый простой способ определить контент - по микроразметке, если ее нет, то по h1, если нет h1, то по тем же абзацам, как вы выше описали, и т.д. Критерии проверки можно добавлять и уточнять. Никто не говорит, что это стопроцентный способ и он будет работать во всех случаях.

Я пишу на Delphi. Поэтому и ищу алгоритм.

Об этом я писал в старпосте. Но проблема определить конец статьи.

Сегодня точно нет, я слишком пьян чтобы осилить код. В теории мы сканим любой топ 10 по информационным запросам.

Я вот это нагуглил и приуныл. Проблема не так проста как кажется

https://toster.ru/q/308852

https://toster.ru/q/23997

удалить все до <H1>

удалить содержимое <aside>

удалить содержимое <footer>

удалить html код

Получится статья + Коментарии (что тоже контент).

Если есть тэг <article> можно оставить только его, остальное удалить.

AlexStep, если бы сайты были на html5 - все логично. Но сайты все разные. Обычно больше 50% - это WP.

Для понимания - вбейте информационный запрос любой - к примеру "храмы Паттайи" в Яндексе

Опять актуально.

Может кто подскажет какие то наработки или свой опыт?

Представим что это все делать на php. Куда копать, какие библиотеки помогут?

Сколько может стоить решение этой задачи ? Или сколько времени уйдет у программиста на реализацию?

В топе в 60% сайты на WP

Я бы еще посмотрел как работают скрипты типа Readability - которые делают "версии для чтения" - они же по сути только контент статьи оставляют

вот наработки, там в тем есть ссылки... от автора жду скидки))

Вы об этой библиотеке? https://github.com/mozilla/readability

где?