О понятии кластера

Gordon01
На сайте с 21.05.2006
Offline
12
1026

Всё далее сказанное является моими выводами и перефразированными цитатами из разных манов по сетям.

Во-первых, кластер - это группа компьютеров(серверов) которая работает логически как единый сервер и разделяет нагрузку между всеми серверами, включёнными в кластер.

Во-вторых, как я думаю в яндексе несколько кластеров, которые выполняют разные функции, а именно:

-кластер по индексации Интернета. Он соединён быстрыми высокоскоростными каналами с интернетом и постоянно выкачивает сайты. Вобщем выполняет самую грязную работу.

-с предыдущим скореев сего соединены вские кластеры с ботами(индексирующий, подсвечивает)

-кластер первиной обработки результатов обхода. Собирает статистику по среднему пингу до серваков, доступности отдельных сайтов,организует работу кэша. Координирует работу первого.

-кластер БД. Хранит бд. Тут просто кластер с огромном количеством дискового пространства.

-кластер запросов БД. Сервер БД, которыя обрабатывает запросы. Сама БД храниться на предыдущем клстере. Да, это сложно понять, но это так.

-веб-клстер. Собственно http-сервер. Содержит скрипты, которые делают запросы к предыдущему кластеру и выдают результат в виде html-страничек.

В будущем пополню, пока написал самое основное. Будут вопросы по работе и принципах работы, а также "как оно называется" - задавайте. Постараюсь всем ответить.

Проблемы с сервером? Не та кодировка в MySQL? 404? Настройка VPS/VDS (forum.searchengines.ru/showthread.php?t=69437)
IndexSa
На сайте с 23.12.2005
Offline
205
#1

Gordon01, А Вы с какими кластерами работали? Может с Massive Parallel Processing Cluster?

мозг находится в мире, а мир находится в мозгу
Andreyka
На сайте с 19.02.2005
Offline
822
#2

Как лучше сделать веб-кластер, ноды которого разбросаны по разным ДЦ? синхронизировать содержимое или использовать кластерную FS (а ее как размазать?)

Не стоит плодить сущности без необходимости

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий