Собираем базы

Шустрый какой. :)

1) Захожу в 1пс и смотрю. Каталоги которые понравильсь копи-пастю.

2) Всякие регалки (алсаблимитер...) тоже копи-пастом.

Тоже самое что и в предыдущем посте,только ещё от сюда http://baza.garb.ru/ беру.И конечно же с анансов белых каталогов на этом форуме ;)

Рубрика Каталоги в ЯКе. Их Яша скорее всего не забанит. Только надо смотреть, чтоб ссылки были прямые, без noindex и в robots.txt не закрыты от индексации.

+1

Вложения, вложения, вложения.

Спасибо отписавшимся - полезные советы. Но я имел ввиду немножко другое. Поясню на примере собирания базы досок объявлений:

Методика:

1) поиск по общим запросам, типа:

"объявления", "объявление", "дать объявление", "подать объявление", "разместить объявление"...

2) поиск по подстрокам урлов, полученных из 1-го пункта, типа:

"/cgi-bin/add_msg.php", "phtml?A=AddAdv", "add.htm"...

3) собирать все базы следует по критерию схожести скриптов (движков, форм добавления), то есть проводить сортировку.

4) если полученные в п. 2 скрипты форм отличаются (что бывает очень редко), проводить поиск по запросам типа: inurl:"add.htm" [характерное и, в то же время, уникальное для данного скрипта сочетание слов в тексте формы]

Вот, собственно, это и есть моя методика. Меня интересуют критерии полноты и минимального пересечения баз, полученных разными методами поиска. У кого какие мысли по этому поводу?

Считаю тему нераскрытой, поэтому данным постом поднимаю её в топ. Ребята, неужели это никому не нужно???😕

Мой способ сбора базы:

- определяю тип базы, которую хочу собрать (например: scanerlink);

- ищу однотипный текст или фрагмент текста для каталога (например: "Заполните эту форму и ссылка на Ваш ресурс сразу появится в нашем каталоге");

- по данному тексту делаю запрос в яндексе или гугле;

- затем отбираю и фильтрую найденные в серпе каталоги.

Способ достаточно хороший для сборки свежей базы, но муторный и занимает не мало времени.

Я писал парсер,который парсил яндекс по запросу Добавить сайт ,писал урлы в базу ,затем парсил урлы на наличие формы добавления ,затем проверял форму на наличие капчи ,если капча есть урл в одну базу,если нету урл в другую базу .

Занимался этим ,когда ТИЦ можно было поднять каталожными ссылками .

взял эту методику за базовую и с нее начинаю, пока успешно, реально работает, и самое главное - сортирует по схожести, чтобы в дальнейшем было меньше проблемм.....