Проектируем "офф-лайновый индекс Интернета"

В одном из номеров Форбса читал о подобной западной разработке, но там Интернет разбили на тематические области, отрендерили по новой сайты (сжали всё что можно) и сформировали тематические пакеты по что-то около 50 мб, с целью использования в мобильниках и ПДА. Интересно подошли к выборке сайтов, они не стали архивировать всю сеть, они архивировали сайты топ10 :) по основным тематическим запросам.

К сожалению, не могу вспомнить названия, но если Вам интересно я попробую поискать.

Но мне кажется Вы немного опазадли, не за горами супербыстрые беспроводные сети, проблема ОнЛайн-доступа стоит всё меньше.

- подождите, речь ведь про

а. индекс

б. специализированный индекс

а вовсе не про "доступ" ...

Я думаю может иметь успех не огромный "индекс интернета", а тематические сборники (на DVD, например).

Я так понял необходимость его (индекса) создания продиктована именно желанием обойтись без ДОСТУПА к он-лайн?

IMHO, идея не очень... Реклама-двигатель торговли, как в оффлайне на страницах будет отражаться контекстная реклама? Непонятно...

Что еще хранить в 200 Гб? Новости? Так особенность новостей в том, что они - свежие; вчерашние новости никому не нужны.

Музыка, видео, графика? 200 Гб маловато будет... И опять же скользкий вопрос об авторских правах и их соблюдении.

Мануалы, FAQ, энциклопедии и прочее, что относится к знанию/обучению? Это уже давно придумано в оффлайне - книги...

На первый взгляд, я не вижу смысла в подобном сервисе. Сомневаюсь, что он будет иметь коммерческий успех в случае его реализации.

У нас 3 мощных сервера. 2 двухъядерника Xeona , по 4 гига опаеративки на 2-х и 16 на третьем. Диски скази в рейде, что то в первом, что то в нуле. Связки по несколько штук (ком.тайна). И при этом мы не справляемся с пересчетом, потому что на таких объемах тупит все, любые БД, а они у нас даже не реляционнные! А вы говорите намного более мощной.

Чтобы создать мощь нужно как минимум иметь десяток серверов или штук 30-40 локалок для обработки.

- ага ... и Вы ведь понимаете, что "доступ к он-лайн" - тут - нетривиален для обеих сторон: и для того, кто получает, и для того, кто предоставляет ...

- я даже – набравшись окаянства – позволил бы себе сказать: речь об индексе, понимаемом как некая "база знаний" ...

- "намного более мощный" – имелось в виду, конечно, - не по части сканирования сети, а по функционалу работы пользователя с индексом ...

Что касается "мощности сканирования" – она, как бы, вообще за пределами обсуждаемой темы: на внешнем диске можно поставлять и результаты супермощного индексатора, и результаты "камерного" ...

Ставлю Вам минус за отсутствие понимания проблеммы обработки больших объемов данных. Прочтите внимательно то, что я написал:

За минус - спасибо.

Обработка больших объемов данных - это не проблема, а задача ... техническая, а не концептуальная.

И - еще раз повторяю - здесь обсуждается не она ...