Слава Шевцов

Слава Шевцов
Рейтинг
370
Регистрация
23.07.2005
InGift:
А Санкт-Петербург - это глубинка?! контора вообще-то крупная и серьезная)

Представительство в Пензе:

(офис разработки)

Адрес: 440026, г.Пенза, ул.Лермонтова, 3, оф. 249А.

Тел.: +7 (8412) 20-33-05, 20-33-44

E-mail: penza@versus-group.ru

InGift:
пожалуйста:
http://www.versus-group.ru
инвестиционная интернет компания

Не похожи они на нормальных инвесторов. Каких-то программистов нанимают, свой центр разработки веб-приложений в глубинке. Они больше на конкурентов похожи, которые ищут дельные бизнес планы для реализации.

BiGgi:
Ну да это и есть самая крупная точка обена трафиком в России около 190 операторов связи там присутствует.

Через М9 проходит более 80% российского интернет-трафика. Итого, сервера там надо ставить :)

По ключевикам в сообщении BigGgi нашёл топологию сети: http://www.msk-ix.ru/rus/struct/

Территориальное распределение: http://www.msk-ix.ru/rus/struct/topology.shtml

BiGgi:
Самое главное что бы ДЦ имел несколько каналов желательно у разных магистральных провайдеров тогда отсутствие сети будет стремится, к минимуму.

Тогда где можно посмотреть схему связи магистральных провайдеров?

InGift:
в любой поисковой системе-) сейчас инвестиционных фирм достаточно много.
А вот как их заинтересовать:
читайте статью Сета Голдина)

Тут где-то Лев Матвеев бродит из СофтИнформа. У него была чуть другая проблема: он, как стартап, искал тех инвесторов, кто заинтересует его 😂

Интересуюсь в какой датацентр сервер поставить :)

После проработки вопроса пришёл к такой архитектуре:

1. Выделенный сервер для обслуживания рекламодателей. Крутится nginx + fastcgi + php. Слабенькие диски для данных, мало памяти.

2. Сервер Mysql. Хорошие диски, много памяти.

3. Нужное количество полностью идентичных серверов под поисковый движок. На каждом в памяти хранится реплика всех данных. Слабенькие диски для данных, много памяти, древние процессоры. При смерти каждой из машин система остаётся работоспособной.

4. На отдельной машине биллинг кликов с быстрой отработкой запросов. Данные с неё снимаются раз в минуту, но копия хранится сутки. Эта же машинка является вспомогательным прокси. Мало памяти, слабые диски.

5. Прокси-сервер. Роутит запросы на сервера и балансирует нагрузку.

6. Сервер для переиндексации данных. Слабенькие диски для данных, мало памяти.

7. Сервер под бекап. Слабенькая машинка с большим диском. Здесь находится копия всех данных.

8. Сервер управления системой: перенос данных из MySQL в индексатор, репликация обратных индексов на сайты поисковых серверов, пренос данных из сервера биллинга в MySQL. Здесь же в свободное время крутится система обработки статистики. Надёжность машины и диски не критичны.

В дополнительном хостинге ожидают копии серверов 3, 4 и 5. Хотя если есть датацентры, при падении которых рушится интернет в Москве, то в таком дублировании нет необходимости.

snoopckuu:
Слава Шевцов, Вы изначально допустили ошибку связывая слова Mysql и поисковая система, тут Вам никакой кластер не поможет.

Если использовать MySQL только для хранения данных о рекламодателях контекстной рекламы (клиентах), а всю информацию для работы поисковика выгружать в собственную БД, то поможет.

sandys:
Допустим есть прямой индекс который в оперативной памяти не умещается, хранится на диске и строится достаточно легко.
Как не загружая в память прямой индекс создать обратный также не формируя его в памяти - сразу на диске.
Какие есть варианты?
Где посмотреть?
Где почитать?

По кусочкам. Считываешь первые 64Кб прямого индекса. Строишь куски обратного, сбрасываешь на диск. Считываешь следующий кусок прямого индекса. Строить куски обратного, сбрасываешь на диск. И так до конца прямого индекса.

Всего: 33369