Форум Сайтостроение Веб-строительство

Разгрузка ИТ инфраструктуры

12 3
ngsv
На сайте с 12.10.2012
Offline
47
ngsv
1469

Здравствуйте, уважаемые пользователи.

Интересует вопрос разгрузки нескольких серверов, одного проекта.

Имеется форум на IP Board. (порядка 10 000 000 сообщений, 1000 категорий форумов, 200 000 пользователей... средний онлайн около 5000)

Движок форума не из легкий, да еще и с наворотами достаточно сильно грузит все и вся на своем пути.

Особенно напрягает железо работа с MySQL.

# Query_time: 44.663738
# Lock_time: 0.000224
# Rows_sent: 100
# Rows_examined: 9632393
SELECT p.pid, p.queued,t.approved, t.forum_id
FROM ipb_posts p
LEFT JOIN ipb_topics t
ON ( p.topic_id=t.tid )
WHERE t.forum_id IN (399,2,3,610,621,149,358,73,5,146,7,21,145,10,26,81,11,18,14,8,
22,15,19,17,20,12,25,32,28,136,77,662,122,27,147,63,64,80,144,119,476,477,478,479,
199,200,201,137,70,66,67,68,69,71,89,90,91,92,124,126,202,673,34,135,208,209,210,
211,212,213,214,215,216,217,218,242,348,657,82,83,84,85,87,189,270,324,414,658,
666,407,43,273,274,275,276,277,278,279,288,289,341,654,94,95,96,97,134,36,62,76,
406,138,98,103,106,109,112,114,99,104,107,110,113,115,100,105,108,111,101,102,
282,556,557,559,560,284,132,128,131,129,130,133,170,165,166,167,168,169,171,
196,79,150,151,152,164,180,233,248,249,250,251,254,318,319,328,59,154,155,156,
157,255,408,45,48,153,626,470,475,466,467,468,551,554,555,569,661,685,693,469,
611,445,644,446,602,603,441,636,442,586,587,450,642,451,598,599,436,632,437,
578,579,448,643,449,600,601,440,634,447,582,583,430,629,431,571,572,456,639,
457,592,593,452,641,453,596,597,438,633,439,580,581,434,631,435,576,577,443,
637,444,588,589,458,638,459,590,591,432,630,433,574,575,454,640,455,594,595,
461,646,462,604,605,464,648,465,608,609,472,647,473,606,607,561,562,563,483,
635,484,584,585,52,54,60,175,613,645,614,615,616,415,302,376,623,624,40,39,
625,627,628,668,669,670,671,672,679,680,681,682,683)
AND p.queued=0
AND t.approved=1
AND p.post LIKE '%пластиковые окна%'
AND t.state != 'link'
GROUP BY p.topic_id
ORDER BY post_date desc
LIMIT 0,100;

Query_time: 44.663738 :eek:

Перешли на сфинкс, не спасает. Сделана репликация MySQL на 3 сервера, тоже не особо летает...

Кто что может посоветовать? Нагрузка растет в геометрической прогрессии.

Как распределить ресурсы по умному?

------------------------------------------------------------------------

P.S. Миграцию на другие движки не предлагать.

SIQWELL (http://siqwell.com/) - Быстро. Качественно. Дорого.
V
На сайте с 05.08.2007
Offline
87
VGrey
#1
ngsv:

Перешли на сфинкс, не спасает.

Уточните, пожалуйста, что значит, перешли на сфинкс и почему это не спасло? У Вас что, остлись поисковые запросы к базе? Если остались, то как же тогда "перешли на сфинкс"?

Или основная нагрузка у Вас не от поисковых запросов?

ngsv:

Сделана репликация MySQL на 3 сервера, тоже не особо летает...

Кто что может посоветовать? Нагрузка растет в геометрической прогрессии.

Как распределить ресурсы по умному?

Расскажите более детально о репликации на три сервера и способах ее использования?

У Вас три сервера работают по какой конкретно схеме? Какие хранилища используются? Каким образом Вы распеределили запросы форумного движка на три сервера? Что именно тормозит в схеме из трех серверов?

В общем, вопросов множество... Если что, прошу в личку/асю/скайп.

С уважением, Victor (http://adm-lib.ru)
Нужен сервер для телевизионной TeaserNet.com Beta 2.0 - Проблема с хостингом. Помогите
ngsv
На сайте с 12.10.2012
Offline
47
ngsv
#2
VGrey:

Или основная нагрузка у Вас не от поисковых запросов?

Основная нагрузка не от поисковых запросов... Даже главная страница, либо страницы просмотра тем бывает грузятся по 10 секунд...

VGrey:

Расскажите более детально о репликации на три сервера и способах ее использования?
У Вас три сервера работают по какой конкретно схеме? Какие хранилища используются? Каким образом Вы распеределили запросы форумного движка на три сервера? Что именно тормозит в схеме из трех серверов?
В общем, вопросов множество... Если что, прошу в личку/асю/скайп.

1 master сервер, на него идет UPDATE/INSERT запросы.

на slave 2 и 3 идут SELECT запросы...

mysql-репликация с блек джеком Нужно оценить затраты на Нужен надежный хост для
V
На сайте с 05.08.2007
Offline
87
VGrey
#3
ngsv:
Основная нагрузка не от поисковых запросов... Даже главная страница, либо страницы просмотра тем бывает грузятся по 10 секунд...

1 master сервер, на него идет UPDATE/INSERT запросы.
на slave 2 и 3 идут SELECT запросы...

На самом деле вопросов было много больше...

- какой тип хранилища Вы использвете?

- с помощью чего(какого приложения или механизма) Вы распределяете запросы между серверами? Это mysql-proxy, django_replicated, что-то еще, или, Вы переписали сам механизм форума для работы с базой?

- насколько большая у Вас база не в терминах количества записей, а в магабайтах-гигабайтах?

Для того, что бы посоветовать что-либо конкретное, кроме того, хотелось бы видеть версии mysql, конфигурацию Ваших серсров с базами, и, наконец, конкретные конфиги mysql...

Что нужно сделать? Подскажите в оптимизации MySQL Целесообразно ли использовать MySQL
bukachuk
На сайте с 07.09.2008
Offline
97
bukachuk
#4

LIKE в том виде что у вас в примере должен тормозить, попробуйте запрос без него например.

Программирование PHP,Mysql (/ru/forum/934470)
ngsv
На сайте с 12.10.2012
Offline
47
ngsv
#5
VGrey:
- какой тип хранилища Вы использвете?

InnoDB. MyISAM ложится за несколько минут...

VGrey:
- с помощью чего(какого приложения или механизма) Вы распределяете запросы между серверами?
Это mysql-proxy, django_replicated, что-то еще, или, Вы переписали сам механизм форума для работы с базой?

http://community.invisionpower.com/files/file/3841-high-performance-mysql-driver/

VGrey:

- насколько большая у Вас база не в терминах количества записей, а в магабайтах-гигабайтах?

~40 GB.

bukachuk
На сайте с 07.09.2008
Offline
97
bukachuk
#6

Почему у вас запрос с LIKE, он молотит всю таблицу, тут хоть весь железом обвешайся толку не будет. Может я конечно заблуждаюсь, но мне кажется это не будет работать быстро с таким кол-вом записей

1000 ссылок на морде Как сделать СДЛ, наброски Сайт PR=1 на продажу
ngsv
На сайте с 12.10.2012
Offline
47
ngsv
#7
bukachuk:
Почему у вас запрос с LIKE, он молотит всю таблицу, тут хоть весь железом обвешайся толку не будет. Может я конечно заблуждаюсь, но мне кажется это не будет работать быстро с таким кол-вом записей

Но не запретить же пользователям поиск по форуму? Они задушат администрацию...

Меня интересуют альтернативные способы хранения больших данных, и работа с ними?...

Дмитрий
На сайте с 23.08.2006
Offline
222
Дмитрий
#8

Поиск с использованием LIKE? Это ваша разработка или IP Board?

Разрабатываю и автоматизирую на php http://jonnyb.ru/
bukachuk
На сайте с 07.09.2008
Offline
97
bukachuk
#9
ngsv:
Но не запретить же пользователям поиск по форуму? Они задушат администрацию...

Меня интересуют альтернативные способы хранения больших данных, и работа с ними?...

Поиск через LIKE c такими объемами это и есть один из тормозов. Я не говорю запретить поиск, надо переделать поиск. Да и вообще посмотреть что у вас с запросами. Два или один тугих запроса могут запросто ложить систему всю и slow_query будет сыпаться все подряд. Просто вот глядя на такой LIKE кажется, что там никто не запаривался.

Да и возможно глупый вопрос, все закешили что можно было?

оптимизация запросов к БД Подскажите по запросу MySQL Кэш опенкарта, контроллер header
ngsv
На сайте с 12.10.2012
Offline
47
ngsv
#10
bukachuk:
Да и возможно глупый вопрос, все закешили что можно было?

Почти все, что можно...

При обновлении страницы от 3-до 5 запросов, от стандарных изначальных 7-12...

---------- Добавлено 18.10.2012 в 18:09 ----------

JonnyB:
Поиск с использованием LIKE? Это ваша разработка или IP Board?

IP Board... 😡

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий