W.Ed., как вы реализовали crawler и indexer как разные скрипты?
я просто пробовал несколько схем = все в одном скрипте (много потоков)
два скрипта = но как взаимодействие организовать (у меня пока сокеты pipe под win не пошут :((
ааа, а я уж думал...
я тоже так думаю...
посоветуйте как лучше хранить инфу для быстрой выборки... БД мне кажется не очень сюда идет (типа mysql pgsql)
а мне вот говорили что у googl'a поиска как такового нет = они как то строят результат на стадии индексирования
2 Interitus = ...а можно не вкратце :)
а кто-нибудь знает как работает Reverse IP = смотрит ns сервера = или есть какая-то база ?
может кто все таки подскажет?
хе а где-нить есть эти списки
а как работает http://web.archive.org/ = он весь веб сохраняет в себе... и как он находит все сущесвующие сайты???
а за это по мозгам не дадут?
может еще есть вырианты
