Форум Практика оптимизации Сервисы и программы для работы с SE

Подскажите софт для чистки контента от мусора)))

vitio
На сайте с 14.03.2009
Offline
30
vitio
956

Привет всем, какой прогой можно отчистить напарсенный контент от излишнего мусора. Желательно софт бесплатный.

Не говори другим то, что не хотел бы услышать сам:)
K
На сайте с 07.12.2009
Offline
156
Kasperzzz
#1

vitio про какой мусор идёт речь? Нормальные парсеры выдирают чистый текст, если руки откуда надо.

Или вы про мусор в сканах говорите?

vitio
На сайте с 14.03.2009
Offline
30
vitio
#2
Kasperzzz:
vitio про какой мусор идёт речь? Нормальные парсеры выдирают чистый текст, если руки откуда надо.
Или вы про мусор в сканах говорите?

Граблю с помощью webgrabber или sibir textmaker. После грабинга пергоняю все в txt для использования для доргена. В тексте получается много мусора в виде:

лишние пробелы

$quote и т.д.

K
На сайте с 07.12.2009
Offline
156
Kasperzzz
#3

vitio, используйте нормальные парсеры.

И с таким вопросом надо было в раздел доров идти.;)

vitio
На сайте с 14.03.2009
Offline
30
vitio
#4
Kasperzzz:
vitio, используйте нормальные парсеры.

к примеру?

vtomas
На сайте с 19.03.2007
Offline
102
vtomas
#5

Если требуется жесткий перенос из html в txt (на выходе только текст, без единого тега) то прога иероглиф (Hieroglyph) загляни в меню "конверсия"- "html в текст".

Хорошее стоит дорого, на плохое не стоит и тратиться. В поисках VPS захостился здесь (http://ipserver.su), а бэкапы храню здесь (http://billing.markovservers.com/backup/pl.php?65).
vitio
На сайте с 14.03.2009
Offline
30
vitio
#6
vtomas:
Если требуется жесткий перенос из html в txt (на выходе только текст, без единого тега) то прога иероглиф (Hieroglyph) загляни в меню "конверсия"- "html в текст".

Hieroglyph способн отделить текст от остальных блоков страницы?

vtomas
На сайте с 19.03.2007
Offline
102
vtomas
#7

имеем html:

<p style="text-align: center;">&nbsp;<img title="Изначально балконы и лоджии задумывались для того, чтобы люди имели легкий доступ к свежему воздуху. Однако сегодня большая часть лоджий и балконов остекляются. Причин для того, чтобы остеклить лоджию или балкон более чем достаточно: это и стремление расширить полезную площадь квартиры, и желание улучшить теплосбережение, и пр." src="images/Osteklenie-balkonov.jpg" alt="Изначально балконы и лоджии задумывались для того, чтобы люди имели легкий доступ к свежему воздуху. Однако сегодня большая часть лоджий и балконов остекляются. Причин для того, чтобы остеклить лоджию или балкон более чем достаточно: это и стремление расширить полезную площадь квартиры, и желание улучшить теплосбережение, и пр." width="450" height="337" /></p>

выбираем "конверсия" - html в текст", получаем txt:

Изначально балконы и лоджии задумывались для того, чтобы
люди имели легкий доступ к свежему воздуху. Однако сегодня большая часть лоджий
и балконов остекляются. Причин для того, чтобы остеклить лоджию или балкон
более чем достаточно: это и стремление расширить полезную площадь квартиры, и желание
улучшить теплосбережение, и пр.

заходим в "инструменты" - "переформатирование" выбираем опцию "удалять жесткие переносы строки" получаем:

Остекляем балконы и лоджии Изначально балконы и лоджии задумывались для того, чтобы люди имели легкий доступ к свежему воздуху. Однако сегодня большая часть лоджий и балконов остекляются. Причин для того, чтобы остеклить лоджию или балкон более чем достаточно: это и стремление расширить полезную площадь квартиры, и желание улучшить теплосбережение, и пр.
vitio
На сайте с 14.03.2009
Offline
30
vitio
#8
vtomas:
имеем html:

выбираем "конверсия" - html в текст", получаем txt:

заходим в "инструменты" - "переформатирование" выбираем опцию "удалять жесткие переносы строки" получаем:

большое спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий