"насильная индексация"

Почему бы не начать с любого каталога?

а за это по мозгам не дадут?

может еще есть вырианты

4LF, вообще-то робот должен собирать ссылки со страниц, и ходить уже по ним. Начав с какого-то одного сайта по ссылкам вы вытащите сколь угодно большую базу себе. Начать можно вообще практически с любого сайта, только соблюдайте стандарт robots.txt.

Начни с dmoz.org - не дадут по мозгам ;)

а как работает http://web.archive.org/ = он весь веб сохраняет в себе... и как он находит все сущесвующие сайты???

Так и находит - по ссылкам. Если на какой-то сайт ссылок нет с других сайтов - то он его и не найдет сам.

Ну еще можно парсить списки доменов ;)

хе а где-нить есть эти списки

может кто все таки подскажет?

4LF, можешь смело начать с link.Axes.ru, никто тебе по мозгам не даст.

Если делаеш серьёзный поисковик для народа, а не для себя, то можем для твоей машины сделать экспорт из БД всех URL, причём даже можно с пометками.

Перебирать IP адреса - дело крайне бесполезное, потому что, на 1 IP может приходиться и тысяча сайтов, если это хостинг, или десяток-два, если этой чей-то выделенный сервер.

Тогда уж лучше устаривать брутофорс вида A.ru B.ru C.ru ... AAA.ru AAC.ru ...

К тому времени когда он закончиться, может быть солнце ещё будет светить :)