Посоветуйте какие параметры хостинга мне подойдут

12
Solmyr
На сайте с 10.09.2007
Offline
501
1027

Нужно чтобы я мог на этот сервер за неделю скачать примерно 3 000 000 страниц с разных сайтов (доменов) средний размер страницы мне заранее не известен, но соответствует среднему размеру страницы в интернете. Примерно 70% из этих страниц находятся в рунете. Пожалуй общий размер это единственное что я могу оценить хотя бы примерно. Считая по 100кб на страницу - 300 Гб. Скачанные страницы должны быть обработаны на php несколькими операторами preg_match и результаты сложены в БД на MySQL. Общий объем результатов могу ожидать примерно 3Гб, включая индексы базы. Хотелось бы чтобы эта работа грузила сервер и канал не на 100%, а хотя бы где-то на 70%.

Совершенно не могу оценить, какой сервер по парметрам мне для этого нужен, и в особенности какие параметры подключения, в каком датацентре его брать. Посоветуйте плиз, кто что может.

Domishko
На сайте с 02.01.2008
Offline
137
#1

Вам желателен не хостинг, а выделенный сервер с такими требованиями (может быть хватило бы VDS, но тут только экспериментальным путем).

На данный момент в Рунете серверов не имеем, но можем предложить в США:

Intel Xeon Dual Core 3060 - 2.40GHz (Core2Duo) - 1 x 4MB cache / 4 Gb DDR2 667 / 2 x 250Gb SATA II / 10Mbit / 2000 Gb - $255

Intel Xeon Quad Core 3220 - 2.40GHz (Kentsfield) - 2 x 4MB cache / 4 Gb DDR2 667 / 2 x 250Gb SATA II / 10Mbit / 2000 Gb - $275

Более дешевых вариантов пока что нет, зато этих точно должно хватить за глаза :)

Solmyr
На сайте с 10.09.2007
Offline
501
#2

Я и имею ввиду выделенный сервер.

LS
На сайте с 16.01.2007
Offline
104
#3

По скудным данным можно только на вскидку, имхо на такое хватит и старенькой телеги уровня п4 с гигом рама. На крайний случай можно будет еще гиг рама добавить если форматирование текста будет кушать много памяти. И к стати, для БД в 3гиг с перспективой роста вы уверены что мускул будет правильным выбором ...

yandex.ru
Domishko
На сайте с 02.01.2008
Offline
137
#4
Solmyr:
Я и имею ввиду выделенный сервер.

Ну, извините, название топика указывало на хостинг :)

В любом случае, тут только пробовать и смотреть надо по нагрузке на конкретной железке, вряд ли кем-то проводилось какое либо тестирование именно под Вашу операцию :2cents:

зы. Могу только сказать, что порт в 10 мбит будет нагружен в среднем на 10%.

Solmyr
На сайте с 10.09.2007
Offline
501
#5
Lestor_SB:
По скудным данным можно только на вскидку, имхо на такое хватит и старенькой телеги уровня п4 с гигом рама. На крайний случай можно будет еще гиг рама добавить если форматирование текста будет кушать много памяти. И к стати, для БД в 3гиг с перспективой роста вы уверены что мускул будет правильным выбором ...

Я другое программировать не умею. Но все-таки, что посоветуете?

!A
На сайте с 30.10.2007
Offline
165
#6

Раз 70% бендвича из рунета так и сервер надо брать в рунете.

1) важны хорошие каналы , значит уточни в каком ДЦ предлагают сервера.

2) порт 100mbs минимум и никаких шаред.

3) проц ксеон/оптерон памяти минимум 2гб , винты скайзи (так как работа с кучей файлов + мускуль).

Серверы с 100tb бендвича(330mbs+) 79$ в NL (http://amhost.net/dedicated/100tb_nl/)\ в UK, в US\ NEW!Серверы в LeaseWeb:РАСПРОДАЖА!!!Выделенный 100mbs unmetered от 39$ (/ru/forum/comment/11502435)- Xeon'ы от 39$ (Gold SLA free)!!! (/ru/forum/comment/11502435)
Solmyr
На сайте с 10.09.2007
Offline
501
#7

Что такое шаред? Это канал который совместно используется несколькими серверами?

Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.

LS
На сайте с 16.01.2007
Offline
104
#8
Solmyr:
Я другое программировать не умею

Тогда придется обращать серьезное внимание на качество и количество запросов, и в принципе, оперативки скорее всего два гиг, одного может не хватить. Для начала конечно поставьте один гиг, будут захлебываться - ставьте второй. Мускул сам по себе дело очень хорошее, сам обожаю, но не для больших объемов он. Хотя 3 гиг не сказать, что большой объем.

В общем машина Вам должна по идее обойтись ~100-150 баков (можно конечно взять и более современное железо, но оно вам надо?), обратите внимание на трафик, некоторые ДЦ с привеликим удовольствием тарифицируют входящий. Совсем забыл, не помешает второй хард для бакапа, данных много и машина старая будет, так что не помешает.

Domishko
На сайте с 02.01.2008
Offline
137
#9
!=all:
Раз 70% бендвича из рунета так и сервер надо брать в рунете.

1) важны хорошие каналы , значит уточни в каком ДЦ предлагают сервера.
2) порт 100mbs минимум и никаких шаред.
3) проц ксеон/оптерон памяти минимум 2гб , винты скайзи (так как работа с кучей файлов + мускуль).

Ну, про месторасположение сервера я бы поспорил... :)

1) Это правильно, в России высококлассных ДЦ с высококлассными каналами не видел...

2) Зачем для траффика в 300Гб в месяц нужен именно 100 мбит канал, если он будет загружен всего на 1% (может чуть больше ввиду некруглосуточной закачки, к примеру)?

3) Про винты, имхо, в данном случае пустая переплата. Возможно ошибаюсь, но данных не так и много обрабатывать нужно, как я понимаю. Хотя, для гарантии быстрой работы, то SAS в Raid 10, только это совсем уж дорого :2cents:

Solmyr:
Что такое шаред? Это канал который совместно используется несколькими серверами?

Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.

Да, шаред это расшаренный между несколькими серверами порт. Только одно НО. Выделенный 100 мбит порт стоит хороших денег, причем очень даже хороших. И Вам совершенно ни к чему. 300Гб это в среднем 1 мбит. Так что порта в 10 мбит за уши хватит.

!A
На сайте с 30.10.2007
Offline
165
#10
Solmyr:
Что такое шаред? Это канал который совместно используется несколькими серверами?

да

Solmyr:

Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.

так будет же куча файлов обрабатываться без промежуточной закачки на сервер? "на лету"? канал упал - процесс встал? ... и к мускулю тоже частые обращения , так ведь?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий