Как парсить с разных сайтов чистый текст?

скинь адрес одного ресурса в ЛС - редко CD не берет, попробую проект составить - разве что разная верстка на всех страницах но такого не бывает

попробуй через демку в подписи.

Никанет, если надо в 1 файл то можно в кд потом просто открыть в браузере и скопировать текст

Блин, так и есть. Вы как читаете?

Это значения не имеет, в один или в несколько. Мне нужно парсить чистый текст с разных сайтов.

Ну сохранение тегов еще можно отключить. Допустим я спарсил 1000 текстов. И сколько лет мне это полотно чистить от "на главную", "карта сайта", "друзья сайта" и т.п. ? А если буду прямо с мусором тексты заливать, юзеру будет неприятно читать и будут частые отказы. Это конено доры, но все же.

Вот я интересуюсь, какие есть инструменты, позволяющие распознавать чистый контент независимо от верстки?

Универсального 100% правильно работающего метода точно нет.

Я когда-то писал такое под себя, продумать алгоритм, который бы более менее стабильно выдавал чистый нужный контент так и не удалось.

Но getpocket.com ведь как то это делает!?

Глупо думать, что их алгоритм на 100% верно отделяет "нужный" контент от "не нужного". Это в принципе невозможно.

Есть библиотека simple_html_dom.php в открытом доступе. Немного глючная, но если погуглить и руки растут откуда надо, все работает прекрасно.

У меня эта штука трудится день и ночь, собирая нужный мне контент.

У меня есть мысль. Надо не только фильтровать по тегам, типа <p>, но и задавать минимальное количество знаков между тегами. Чтобы анкоры и всякий мусор не парсился, а текст парсился. 100% работать не будет, но качество повысится. В CD этой возможности нет.

---------- Добавлено 24.10.2012 в 15:07 ----------

Руки растут криво, гуглить лень 🤪 Возможно как-то по-другому решить этот вопрос?

Я оставлю здесь только это: DOM-дерево.