Q: архив новостей?

www.archive.org

http://web.archive.org

Всем:

Чем больше здесь читаю, тем больше понимаю, что ничего не знаю

Спасибо и от меня за архив, сейчас глянул как выглядел мой сайт в 2001

Попытаюсь модифицировать вопрос:::

Существуют ли в ы-нете сервисы по "мониторингу и скачиванию контента"?

То есть, предположим, я имею 100 (200, 500, 1000) адресов-"оглавлений", то есть страниц, на которых не только переодически обновляется текст, но и - постоянно появляются новые (а старые - удаляются постепенно) "заголовки", выводящие на некие страницы-"сообщения" ...

Можно ли "заказать" ПОСТОЯННЫЙ автоматический мониторинг этих страниц-оглавлений и скачивание ОБНОВЛЕНИЙ контента - как с них самих, так и с тех страниц, которые они "оглавляют"?

НП, Иван FXS.

Я так понимаю, вопрос состоит в мониторинге новостей?

Может, это и не то, но на всякий случай. Есть такая штука, как RSS (Rish Site Syndication или Summary). Многие сайты транслируют свои новости в этом формате - т.е. делается файл, куда выкладывается в XML-подобном формате заголовок новости и ее содержание, далее его можно забрать и распарсить как хочется.

Такие ленты можно читать скриптами (например, они легко подключаются к стандартным движкам порталов типа phpnuke, phpweblog и другим) или специальными программами - аггрегаторами. Указываешь адрес файла и программа периодически проверяет его обновление.

Если же речь не о RSS, то тут стоит спросить Славу Тихонова (я покажу ему этот топик, может, что скажет). Дело в том, что Слава мне показывал такую разработку, как персональный поиск - пользователю делается аккаунт и он настраивает поиск под себя. Указывает, какие сайты индексировать, как часто (раз в час, в сутки и т.д.) и указывает тему поиска. Робот с заданной периодичностью индексирует сайты, ранжирует результаты по релевантности запросу и дате обновления и выдает результат пользователю. Получается автоматический мониторинг новостей по заданной теме.

Да, конечно, - мониторинг новостей. Это реинкарнация темы

только теперь я хочу не через поисковики "заходить", а напрямую: скачивать новости и анализировать их "у себя" ...

За разъяснение про RSS - спасибо. Я встречал такую аббревиатуру, теперь - пригляжусь повнимательнее ... Ну и Славу Тихонова, конечно, давайте спросим, - буду очень признателен!

НП, Иван FXS .

Тогда тебе точно нужно RSS.

Давай тебе тут и так все расскажем. Кстати, некоторые аггрегаторы позволяют разбирать не только RSS, но и обычные web-страницы.

Так что спрашивай, что неясно, я последнее время довольно много с этой темой возился.

Ок, это было бы здорово ... А какой пример RSS - живой - лучше глянуть, желательно поближе к Форексу или хотя бы - к финансам?

НП, Иван FXS.

Ну, вот несколько фидов

http://analysis.zerich.ru/yandex_xml.php - Церих. Аналитика on-line. Анализ ситуации на российском и мировых финансовых рынках

http://ad.k2kapital.com/cbp/mynetscape/mynews.news - K2Kapital. Финансовые рынки мира. Новости, аналитика, цены

Западные фиды можно посмотреть здесь, например - http://w.moreover.com/categories/category_list_rss.html

Но тут есть "но" - западники люди хитрые, они текст новости крайне редко транслируют. Только заголовки и ссылки на сайт.

- может кто-нибудь сделать такую машинку НА ЗАКАЗ (включая - грамотную постанвку ее у провайдера)? И - сколько это может стоить?

(Навеяно - понятно чем ;-) )

НП, Иван FXS.