Паук в аренду :)

Потянуть-то вполне потянет, и поиск работать будет, но обновлять такой индекс из-за большого размера будет непросто. И долго.

А давайте посчитаем на русских доументах и реальных цифрах ;) Возьмём официальные данные Яндекса. Размер индекса Яндекс.Сервера составляет 30-50% от размера документов ( http://company.yandex.ru/technology/products/Yandex-Server/intro.xml#requirement ). Будем считать по нижней грани: 30% от 30 кб (средний размер документа в Яндексе) = 10 кб/документ. Итого 10 Тб. 100 серверов только на хранение одной копии индекса.

Теперь добавим копии всех документов. Получим ещё 30 Тб. Можем ли мы их зазиповать и уменьшить объём базы на треть - не уверен - нужно смотреть нагрузку на раззиповку и на количество пользователей, которые лезут на один сервер одновременно: может оказаться дешевле хранить несколько оригинальных копий, а не одну зипованную. Итого, с индексом 40 Тб. То есть ~400 серверов только для хранения одной копии данных. Без учёта запаса прочности на возможную поломку компов.

При этом мы забыли о пользователях. Нам же нужно ещё и для них обрабатывать данные в реальном времени. Примерно для четверти всех запросов можно сделать преиндексацию (исследование Андреем Ивановым статистики Рамблера). Этот постоянно хранящийся индекс для Яндекса, например, займёт ~20 Гб (UTF-8, первые 20 записей на запрос). Остаётся 3/4 запросов, которые уникальны по своей природе и для которых индекс нужно отстраивать в реальном времени и при весьма большой нагрузке на сервер. Здесь уже, в завасимости от нагрузки, можно понять сколько нам нужно копий индексной базы (той самой, размером в 10 Тб на копию).

разве что заголовки собрать.

Боюсь, даже с этим будут проблемы. 40 терабайт выкачать и обработать это сама по себе интересная многосерверная задача. А выкачать надо, иначе откуда мы ссылки-то возьмём на другие страницы ;)

Кроме того, нам же не нужны доры и спам в индексе. Значит нужна какая-то ссылочная релевантность. Хотя бы простой анализ числом и тяжестью входящих ссылок. Для этого нужны значительные вычислительные мощности.

Вот, пожалуйста: Public Access to the Alexa Web Crawl - объём предоставляемых данных 200-300 терабайт, обновляется раз в 2 месяца. Ну и естественно на этой основе вы можете строить свой поисковик как хотите.

если есть необходимость обрабатывать такой объем, плюс деньги на 400 серваков, поищите тех, кто напишет Вам бота за пять - 6 тысяч.

то есть, чтобы индексировать такой объем все равно придется делать свой поиск. иксэмэль не помощник

Откуда взялась цифра 400 серверов? т.е. 1 сервер может хранить только 100Gb ? А такая простая весчь как RAID не обсуждалась?

К примеру, берем 1U сервер, какой нравиться но с двухканальной сказей на борту и к ней добираем вот такое шасси. В результате имеем 14 HDD SCSI т.е. 14х300Gb ( 300Gb SEAGATE ST3300007LC Cheetah ) = 4,2 Tb на машинку. Итого, отдав 200G на служебные нужды ( ОС, ПО, и.т.д. ) получим только 10 таких машинок т.е. чуть больше одной стойки.

Существенная экономия.

Для такой системы бот с системой хранения обойдется существенно дороже. Думаю, что только грамотная настройка такой распределенной системы потянет дороже.

настройка , но не бот.

Конечно, если писать бота коллективом из 25 человек за пару лет, то больше ( ламмеры рулят).

Самое дорогое всегда - обслуживание. Об этом я и написал, что написание бота несоизмеримо дешевле обслуживания кластера в 400 аппликейшенов.

Но уж точно не один программер за неделю.

И потом 5 лет будет ошибки и недоработки выявлять и исправлять :)

- удавалось ли получить там ... аккредитацию?