- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нужно чтобы я мог на этот сервер за неделю скачать примерно 3 000 000 страниц с разных сайтов (доменов) средний размер страницы мне заранее не известен, но соответствует среднему размеру страницы в интернете. Примерно 70% из этих страниц находятся в рунете. Пожалуй общий размер это единственное что я могу оценить хотя бы примерно. Считая по 100кб на страницу - 300 Гб. Скачанные страницы должны быть обработаны на php несколькими операторами preg_match и результаты сложены в БД на MySQL. Общий объем результатов могу ожидать примерно 3Гб, включая индексы базы. Хотелось бы чтобы эта работа грузила сервер и канал не на 100%, а хотя бы где-то на 70%.
Совершенно не могу оценить, какой сервер по парметрам мне для этого нужен, и в особенности какие параметры подключения, в каком датацентре его брать. Посоветуйте плиз, кто что может.
Вам желателен не хостинг, а выделенный сервер с такими требованиями (может быть хватило бы VDS, но тут только экспериментальным путем).
На данный момент в Рунете серверов не имеем, но можем предложить в США:
Intel Xeon Dual Core 3060 - 2.40GHz (Core2Duo) - 1 x 4MB cache / 4 Gb DDR2 667 / 2 x 250Gb SATA II / 10Mbit / 2000 Gb - $255
Intel Xeon Quad Core 3220 - 2.40GHz (Kentsfield) - 2 x 4MB cache / 4 Gb DDR2 667 / 2 x 250Gb SATA II / 10Mbit / 2000 Gb - $275
Более дешевых вариантов пока что нет, зато этих точно должно хватить за глаза :)
Я и имею ввиду выделенный сервер.
По скудным данным можно только на вскидку, имхо на такое хватит и старенькой телеги уровня п4 с гигом рама. На крайний случай можно будет еще гиг рама добавить если форматирование текста будет кушать много памяти. И к стати, для БД в 3гиг с перспективой роста вы уверены что мускул будет правильным выбором ...
Я и имею ввиду выделенный сервер.
Ну, извините, название топика указывало на хостинг :)
В любом случае, тут только пробовать и смотреть надо по нагрузке на конкретной железке, вряд ли кем-то проводилось какое либо тестирование именно под Вашу операцию :2cents:
зы. Могу только сказать, что порт в 10 мбит будет нагружен в среднем на 10%.
По скудным данным можно только на вскидку, имхо на такое хватит и старенькой телеги уровня п4 с гигом рама. На крайний случай можно будет еще гиг рама добавить если форматирование текста будет кушать много памяти. И к стати, для БД в 3гиг с перспективой роста вы уверены что мускул будет правильным выбором ...
Я другое программировать не умею. Но все-таки, что посоветуете?
Раз 70% бендвича из рунета так и сервер надо брать в рунете.
1) важны хорошие каналы , значит уточни в каком ДЦ предлагают сервера.
2) порт 100mbs минимум и никаких шаред.
3) проц ксеон/оптерон памяти минимум 2гб , винты скайзи (так как работа с кучей файлов + мускуль).
Что такое шаред? Это канал который совместно используется несколькими серверами?
Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.
Я другое программировать не умею
Тогда придется обращать серьезное внимание на качество и количество запросов, и в принципе, оперативки скорее всего два гиг, одного может не хватить. Для начала конечно поставьте один гиг, будут захлебываться - ставьте второй. Мускул сам по себе дело очень хорошее, сам обожаю, но не для больших объемов он. Хотя 3 гиг не сказать, что большой объем.
В общем машина Вам должна по идее обойтись ~100-150 баков (можно конечно взять и более современное железо, но оно вам надо?), обратите внимание на трафик, некоторые ДЦ с привеликим удовольствием тарифицируют входящий. Совсем забыл, не помешает второй хард для бакапа, данных много и машина старая будет, так что не помешает.
Раз 70% бендвича из рунета так и сервер надо брать в рунете.
1) важны хорошие каналы , значит уточни в каком ДЦ предлагают сервера.
2) порт 100mbs минимум и никаких шаред.
3) проц ксеон/оптерон памяти минимум 2гб , винты скайзи (так как работа с кучей файлов + мускуль).
Ну, про месторасположение сервера я бы поспорил... :)
1) Это правильно, в России высококлассных ДЦ с высококлассными каналами не видел...
2) Зачем для траффика в 300Гб в месяц нужен именно 100 мбит канал, если он будет загружен всего на 1% (может чуть больше ввиду некруглосуточной закачки, к примеру)?
3) Про винты, имхо, в данном случае пустая переплата. Возможно ошибаюсь, но данных не так и много обрабатывать нужно, как я понимаю. Хотя, для гарантии быстрой работы, то SAS в Raid 10, только это совсем уж дорого :2cents:
Что такое шаред? Это канал который совместно используется несколькими серверами?
Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.
Да, шаред это расшаренный между несколькими серверами порт. Только одно НО. Выделенный 100 мбит порт стоит хороших денег, причем очень даже хороших. И Вам совершенно ни к чему. 300Гб это в среднем 1 мбит. Так что порта в 10 мбит за уши хватит.
Что такое шаред? Это канал который совместно используется несколькими серверами?
да
Файлы хранить не надо. Только мускуль. Т.е. скачанная страница не сохраняется из нее только выдирается что нужно и в базу.
так будет же куча файлов обрабатываться без промежуточной закачки на сервер? "на лету"? канал упал - процесс встал? ... и к мускулю тоже частые обращения , так ведь?