Извлечение информации из динамических сайтов - коммерческая разработка

Насколько я понимаю, правильнее это называется information retrieval, по двум причинам:

- data mining - это работа с базами данных;

- сама новость - это информация, все остальное - шум, так что это более retrieval, нежели чем mining (одно из основных значений которого, кстати, является "разработка месторождения").

Насчёт Новотеки - насколько я помню (у меня был вариант предоставления им информации, если ничего не путаю) и понимаю (смотря на сайт сейчас), Игорь (Ашманов) решил сделать что-то лучше или что-то отличное от Яндекс.News, в основе которого лежит экспорт данных партнером в формате RSS.

Что меня утверждает в этой мысли - это направленность и подкованность Игоря в обработке уже имеющейся информации (как раз таки data mining) - а это отдельная большая задача, для которой ещё и извлечение информации из интернетовского мусора - просто лишняя большая обуза.

Подавляющую часть новостей Новотека действительно берет прямо с веб-страниц, препарируя контент новостных ресурсов. Алгоритм достаточно старый - я разработал его года 4 назад, однако работает безотказно.

Слухи о сложности поддержки актуальности шаблонов несколько преувеличены.