Как определить размер статьи на неизвестном сайте?

И эта и раньше еще видел от какого-то азиатского разработчика, судя по иероглифам в комментах.

В Content Downloader X1 есть авто режим. Где он определяет тело статьи. Навскидку 80% верно. 20% не очень. Я считаю, это неплохой результат. 100% никогда не будет, ввиду множества причин.

PS https://content-watch.ru/ - тоже это делает, и даже получше. Но и то, не всегда

Вы видно тему не читали. Мне решение самостоятельное решение нужно для включения в свою программу.

из самого реалистичного - ручное обучение

посмотрел выдачу, там многие сайты имеют либо то, либо то:

<article>

div class|id = post***

div class|id = article***

div id = node

ну и как сказали выше - получить родителя h1, сравнить с неким минимальным размером статьи, если не подходит, взять следующего родителя, опять сравнить..

у автора парсера получилось, очень большой пробив)

/ru/forum/982834

в топике еще упоминается

http://boilerpipe-web.appspot.com/

тоже нормально парсит заголовок и тело статьи.

Написал парсер на нем, все очень нестабильно, то 400 то 402 ошибка при том что парсю с задержкой до 5 секунд.

Похоже автор хочет бабос.