ngsv, я правильно понимаю, что основной трабл с поиском? Или?
Основной трабл вообще с мускулом... На один форум с просмотрами страниц - пол лимона в сутки работают 3 фронтенда и 3 мускул сервера не самых слабых конфигураций... Это нормально? А что дальше? на сколько резиновый MySQL? Нагрузка растет в геометрической прогрессии, и пока не поздно нужно что то делать сейчас...
sg552: Что мешает кешить результаты выполнения запроса. И делать что-то вроде
if ($result = $memcache->get(md5($sql))){
return $result;
} else {
mysql_query($sql);
...
}
Имея 3 сервера под базу, думаю вы можете себе позволить выделить 3-5 гб под мемкеш
От кеширования запросов сразу откажусь... для каждого юзера формируется список форумов к которым есть(или нет) доступа. этот список вставляется в каждый запрос, при выборке форумов или топиков, кроме того, все временные данные сохраняются в сесииях, которые IPB хранит как ни странно в базе, при запросе страницы делает SELECT * FROM ipb_sessions WHERE key='MD5(сессия из куки)'; и перед отдачей контента, UPDATE данных в таблице сессий... на этом работает весь форум, кто просматривает тему, форум, кто на сайте, и т.д. Сама таблица перенесена в MEMORY... хотя это и не самый тяжелый запрос, и время его выполнения менее 1 тысячной секунды...
на данный момент в мемкеш кешируется почти все, что не нарушает работу форума...
bukachuk: ipb_posts - отсюда вроде должны быть документы, вы же в топиках ищете а потом в постах уже, можно же сразу посты найти
Скрипт ищет с топиках, либо постах в зависимости от установленного чекбокса "Искать только в названиях тем"... Но суть не в этом, интересуют альтернативные способы хранения данных, кроме MySQL...
На чем работают такие гиганты как Вконтакте, Твиттер, и т.п... ? У них базы по миллиарды записей, и моментальный поиск (например по #хеш-тегу в твиттере...)
bukachuk: Почему у вас запрос с LIKE, он молотит всю таблицу, тут хоть весь железом обвешайся толку не будет. Может я конечно заблуждаюсь, но мне кажется это не будет работать быстро с таким кол-вом записей
Но не запретить же пользователям поиск по форуму? Они задушат администрацию...
Меня интересуют альтернативные способы хранения больших данных, и работа с ними?...
Разместил на сайте ссылки от партнерской программы admitad, а они выглядят так:
http://ad.admitad.com/goto/78c036e30dc33454e6ae809d908a9ba3575/?ulp=[[[http://www.boutique.ru/tovaridladoma/slippers_in_domashnyayaodejdaobuv/de-fonseca/d65add7b-2e2b-11e2-a266-0050569500d1/]]]
А не пробовали вот так: ?
http://ad.admitad.com/goto/78c036e30dc33454e6ae809d908a9ba3575/?ulp=%5B%5B%5Bhttp://www.boutique.ru/tovaridladoma/slippers_in_domashnyayaodejdaobuv/de-fonseca/d65add7b-2e2b-11e2-a266-0050569500d1/%5D%5D%5D
Раньше тексты можно было вынести в отдельную myisam-таблицу (хотя, сфинкс, на мой взгляд, предпочтительнее), сейчас не обязательно
http://dev.mysql.com/doc/refman/5.6/en/innodb-table-and-index.html#innodb-fulltext-index
ngsv, я правильно понимаю, что основной трабл с поиском? Или?
Основной трабл вообще с мускулом... На один форум с просмотрами страниц - пол лимона в сутки работают 3 фронтенда и 3 мускул сервера не самых слабых конфигураций... Это нормально? А что дальше? на сколько резиновый MySQL? Нагрузка растет в геометрической прогрессии, и пока не поздно нужно что то делать сейчас...
Что мешает кешить результаты выполнения запроса. И делать что-то вроде
if ($result = $memcache->get(md5($sql))){
return $result;
} else {
mysql_query($sql);
...
}
Имея 3 сервера под базу, думаю вы можете себе позволить выделить 3-5 гб под мемкеш
От кеширования запросов сразу откажусь... для каждого юзера формируется список форумов к которым есть(или нет) доступа. этот список вставляется в каждый запрос, при выборке форумов или топиков, кроме того, все временные данные сохраняются в сесииях, которые IPB хранит как ни странно в базе, при запросе страницы делает SELECT * FROM ipb_sessions WHERE key='MD5(сессия из куки)'; и перед отдачей контента, UPDATE данных в таблице сессий... на этом работает весь форум, кто просматривает тему, форум, кто на сайте, и т.д. Сама таблица перенесена в MEMORY... хотя это и не самый тяжелый запрос, и время его выполнения менее 1 тысячной секунды...
на данный момент в мемкеш кешируется почти все, что не нарушает работу форума...
У Вконтате вроде своя база на Сях c и разные навороты сверху.
возможно, но еще пару лет назад выловил ошибку "too many connections" от mysql на страницах вк...
При попытке зайти на сайт: eurogrand.com
http://s019.radikal.ru/i611/1210/cc/768a0c823ca2.jpg
http://host-tracker.com/check_res_ajx/11419845-0/ - хост трекер отдает нормально IP.
Так что ваш домен интернет провайдер походу на своих днс серверах в 127.0.0.1 засунул...
попробуйте прописать гугл днс (man). но не вариант что поможет...
Называется mod_chart_proxy
Скидывай ссылку в личку, попробую поковырять, хоть что то вытащить... =)
ipb_posts - отсюда вроде должны быть документы, вы же в топиках ищете а потом в постах уже, можно же сразу посты найти
Скрипт ищет с топиках, либо постах в зависимости от установленного чекбокса "Искать только в названиях тем"... Но суть не в этом, интересуют альтернативные способы хранения данных, кроме MySQL...
На чем работают такие гиганты как Вконтакте, Твиттер, и т.п... ? У них базы по миллиарды записей, и моментальный поиск (например по #хеш-тегу в твиттере...)
Это как Вы так перешли на сфинкс, что база все-равно под нагрузкой?
Сфинкс отдает ID найденных документов, после чего из базы выгребается контент по этим ID,
Да и возможно глупый вопрос, все закешили что можно было?
Почти все, что можно...
При обновлении страницы от 3-до 5 запросов, от стандарных изначальных 7-12...
---------- Добавлено 18.10.2012 в 18:09 ----------
Поиск с использованием LIKE? Это ваша разработка или IP Board?
IP Board... 😡
Почему у вас запрос с LIKE, он молотит всю таблицу, тут хоть весь железом обвешайся толку не будет. Может я конечно заблуждаюсь, но мне кажется это не будет работать быстро с таким кол-вом записей
Но не запретить же пользователям поиск по форуму? Они задушат администрацию...
Меня интересуют альтернативные способы хранения больших данных, и работа с ними?...