search spider

Я имел в виду 5Мб.

120 Gb/день - 11 Мбит/с ... Т.е. вероятнее всего приводились данные для канала шириной в 10Мбит/с, если исходить из того, что цифра в 25кб более-менее верна. При этом речь шла не о построении индекса, а только о прохождении по ссылкам, их скачивании. Это вполне реально на компьютере стандартной конфигурации.

Не смотрели сколько времени тратится на индексирование?

Это занимает не так много времени, как кажется.

У того, у кого винт шустрее писать будет :)

Как не крути, эт всёравно больше, чем просто вытаскивать :p

Эээ, вообщето стандартный ATA винт может шуршать до 50 мб/сек, или 500 мегабит ... Все зависит то чем вы напрягете и как будете выкладывать на него. При том же железе например при дефрагментированном NTFS скорость может падать до 1-2 мб/сек. Я домашние видеозаписи монтирую сам , поэтому знаю как винты могут и писать и как захлебываться при вроде бы нормальных обстоятельсвах.

И непонятно что иелось ввиду под понятием индексирования, без конкретной структуры хранения обсуждение не имеет смысла. Крупные поисковики сменяют базы данных версиями , а не индексируют мнгновенно, такие как гугль я так подозреваю комбинируют технологию с хот дополнениями между версиями.

Хорошо ☝, завтра перепишу индексатор и сравним.🙄

А качество поиска после такого индексирования ? Поисковик это не только циферки производительности.

Zute, Да, и у того, у кого алгоритм лучше. :)

Вообще, кроме стягивания, нужно учесть, что процессорное время и ресурсы вашей крутой тачки тратятся еще и на парсинг страниц и одновременное индексирование.

Ну и, разумеется, от скорости тупого ползанья по Сети качество самого поиска практически не зависит (разве что актуальность индекса).

Так что то, что мы здесь рассматриваем - только самая верхушка айсберга.