SavEaS

Devias:
Спасибо отписавшимся - полезные советы. Но я имел ввиду немножко другое. Поясню на примере собирания базы досок объявлений:

Методика:
1) поиск по общим запросам, типа:
"объявления", "объявление", "дать объявление", "подать объявление", "разместить объявление"...
2) поиск по подстрокам урлов, полученных из 1-го пункта, типа:
"/cgi-bin/add_msg.php", "phtml?A=AddAdv", "add.htm"...
3) собирать все базы следует по критерию схожести скриптов (движков, форм добавления), то есть проводить сортировку.
4) если полученные в п. 2 скрипты форм отличаются (что бывает очень редко), проводить поиск по запросам типа: inurl:"add.htm" [характерное и, в то же время, уникальное для данного скрипта сочетание слов в тексте формы]