создание поисковика

бюджет какой? просто интересно

бюджета никакого ... если не считать рук ног и мозгов )

если я не ошибся то нужно начать с создания поискового робота..

детали реал-и:

1. прога которая будет скачивать html странички и парсить из на наличие ключевых слов и html ссылок на другие странички.

если на страничке ссылки есть дальше грузить страничку по ссылке и парсить ее ...

Если я думаю правильно то вопрос действительно ли нужно скачивать странички или можно их как нить обрабатывать удаленно ?

И адреса для прохода веб страничек откуда береться ??? если не считать те которые веб мастер зарегил сам то с каких нить корневых dns ???

Я думаю для начала, если вы дружны с английским, вам будет интересно почитать следующую статью:

http://www-db.stanford.edu/pub/papers/google.pdf

Хотя бы получите общее представление об архитектуре поисковых систем.

никто так и не ответил откуда брать урлы для индексации (не считая тех которые регят веб мастера)???

kasperlet,

С проиндексированных страниц... :) Почти что рекурсия :)

А если проект не имеет бюджета, за трафик Вы платите из своего кармана?

вы не поняли ... то что вытаскивать ссылки из страниц и по ним бежать дальше это понятно...

А вот когда не почем бежать..например поисковик только создан и о нем никто не знает но ему же нужно как нить самому растить свой индекс даже если никто не регит на моем поисковике свои страницы .. что делать тогда ???? брать урлы с dns серверов??? или есть еще варианты?

ну а по поводу бюджета ) меня пока интересует реализация для понятия механизма роботы ...для этого трафика моей фирмы хватит слихвой

kasperlet, полно вариантов - беги по выдаче яндекса, ключевики дергай из статистики рамблера.

kasperlet, Смотря, с чего начинать. Натравите на свой спайдер несколько обширных сайтов - а потом из десятка станет несколько тысяч, десятки тысяч и так далее...

если сайт хоть где-то упоминался, вы же его найдете рано или поздно. :)