Система сбора инфы в инете

очень полезная штука ;-))

И это все что есть по такой теме?

Такую "Антилопу Гну" можно собрать своими руками из деталей от швейной машины "Зингер" ... А именно - внутри MS Access.

НП, Иван FXS.

Тут уж каждый изголяется как умеет или на тех инструментах, которые лучше знает. Но только кажеться мне, что люди для своих целей пишут не одну большую и универсальную программу, а создают(или скачивают) некие тулзы, которые потом скопом и работают. Маленькой подзадаче - своя тулза, так оно привычнее как-то.

Дык, MS Access - это в моем понимании и есть та "большая и универсальная* программа", которую надо не писать самому, а просто освоить и использовать.

А вот как Вы будете обеспечивать, чтобы надерганные из разных месты тулзы "работали скопом" - это мне не понятно!

НП, Иван FXS.

_______________

* универсальная - умеет, например, вызывать IE, "посылать" его по нужному адресу и забирать у него то, что он на этом адресе надыбал.

Чтобы ответить на этот вопрос, потребуется ответить на несколько промежуточных вопросов - что это будут за утилиты, сколько их будет? А вот чтобы ответить уже на эти вопросы, нужно уже уточнять что такое:

1) "определенные сайты"

2) "инфа по какому-либо шаблону"

3) "запросы на поисковых серверах"

4) "дальнейшая обработка"

5) "заданные правила"

6) "сортирует и складывает в нужное место"

N) ...

P.S. При такой универсальности и могучести этой "программы", человек, который в финале "сидит ... и уже в ручную фильтрует" кажется уже атавизмом - ненужным аппендицитом к этой программе :D

А про поисковую программу Copernic что-нибудь знаете? Кто-нибудь пользовался? Еще вот ссылочку нашла на список программ поиска.

1) "определенные сайты"

Список сайтов которые надо посещать, формируется вручную.

2) "инфа по какому-либо шаблону"

Искать заданные словосочетания, в темах, в тексте.

Заданные по списку.

3) "запросы на поисковых серверах"

Это предположительно, а может сама ищет сайты, типа поискового робота.

4) "дальнейшая обработка"

То есть, сайт на котором публикуются необходимая для сбора информация.

5) "заданные правила"

Правила обработки текстов, поиска, включения сайта в один из списков обработки.

6) "сортирует и складывает в нужное место"

Сортирует по дате, по сайту, по вычисленной информативности текста. Складывает туда, куда скажут.

У меня нету ни каких инструментов, чтобы такое делать, к тому-же времени то же нету на самостоятельное писание такой системы. Мне нужна инфа, основы работы таких систем, чтоб сформулировать конкретное свое видение и передать на разработку спецам...

Цель темы проста, вместо того чтобы по этим сайтам ходил человек и читал на них инфу и выбирал что нужно а что нет, пусть большую часть делает система, а человек уже решает то или не то. Так как возможности сажать кучу людей на поиск и копирование инфы, смысла нету, затраты не будут окупаться....

perl изучай. Это хороший инструмент для таких вещей.

позволю себе внести поправку: регулярные выражения изучай (ну и язык, который умеет ими оперировать).