Как парсить с разных сайтов чистый текст?

Делал когда-то такую штуку под себя. Алгоритм был что-то типа - найти элемент на странице у которого в дочках наибольшее количество тегов p и вытащить из него только текст. В большинстве случаев срабатывало.

https://github.com/aaronsw/html2text

У этого варианта есть серьезный минус: он сам не определяет кодировку исходного html документа. Т.е. придется предварительно поработать с ним.

regexp

десятьбукв

Могу выпарсить вам чистую текстовку из указанных вами сайтов, программу буду использовать CD 🍿

1MB текста = 1wmz

Uspeshniy, автоматический режим, по заверению разработчика распознает текст с вероятностью 65%, что неприемлемо для меня. А в ручную настраивать парсер под каждый сайт запаритесь же, если их 500 допустим. Уж легче руками собрать, хоть время на настройку не тратится :)

А что там в ручную настраивать? Нажать в браузере Ctrl+U посмотреть границы парсинга и указать их программе. :) Предварительно 1 раз, для всех сайтов, можно настроить шаблон сохранения.

а у меня под доры скрипт пашет на хуманэмуляторе

собирает и текст и заголовки ссылок то бишь кеи и картинки:)

запускаешь приходишь и оппа все уже разложено по полочкам:)

может потом еще дизайны буду собирать для анализа и тексты раскладывать на составляющие...

;)

ТС советую вам хорошую программу , юзаю давно в своих целях .

ZParserUltra универсальный парсер контента и графикиl

Искусственного интеллекта нет. Обычно пишется руками парсер под конкретный сайт, исходя из структуры его страниц.