Справочник организаций 5 млн страниц и друпал - совместимы?

12
AL
На сайте с 09.02.2010
Offline
199
1265

Будет ли работать на друпале каталог организаций (5- 10 млн страниц) - на странице тел, адрес, урл сайта, карта и отзывы. Посещаемость до 30 тыс чел в сутки.

Хочу разместить все города на основном домене.. Или лучше разбить на поддомены (по городам)?

Перестаю тут обновлять темы, тк они стали платные. Пишите в телегу @Alex_Lab Все также перехватываю дропы RU под заказ и регулярно обновляю файл с дропами в продаже: https://docs.google.com/document/d/1wprrYn9Zweo8XlKsVQVXbh3rScPWm5y1NTm8Oua6ZUM
SK
На сайте с 10.05.2008
Offline
108
#1

тут скорей от кеширования зависит, правильно настроить и норм все будет))

HostiQ - Хостинг, который радует (http://goo.gl/jTd7hf)
bay_ebook
На сайте с 28.05.2010
Offline
111
#2
alexey_levkov:
Будет ли работать на друпале каталог организаций (5- 10 млн страниц) - на странице тел, адрес, урл сайта, карта и отзывы. Посещаемость до 30 тыс чел в сутки.

Хочу разместить все города на основном домене.. Или лучше разбить на поддомены (по городам)?

не знаю как в друпала с пхп7, но если возможно - сразу туда перевести ( и мускул желательно 5,6+)

дальше идем в кеширвоание и смотри, что можно и как закешировать, в идеале подключить не только кеш файлами и мускулом но что-то с nosql взять.

И все будет работать шустро.

Перевести все на поддомены - хоть немного геморно, но оно того стоит.

Нужен прогер на php+mysql+понимание чужего кода? (/ru/forum/540660) Вам сюда PHP-шаман (http://php-shaman.pw/)
dma84
На сайте с 21.04.2009
Offline
168
#3
SHoKKiNG:
тут скорей от кеширования зависит, правильно настроить и норм все будет))

Не поможет, 100+ страниц с кэшем еле ворочается, а тут 5кк

CP
На сайте с 12.08.2009
Offline
101
#4

Тут мне кажется больше от базы данных будет зависеть. А именно поиск в ней, что и где показать.

Если поиск будет элементарным, то думаю особых проблем не должно быть. Кэшировать, всё подряд не нужно, нужно кэширивать то что чаше все используется. Грубо прикинув, на 30 000 может быть 5000 самых чаще обращаемых страниц, их контент и кэшировать. Вообще в принципе можно всё протестить за день, 30 000 уников с большой вероятностью, не создаст большое количество одновременных подключений, поэтому можно сгенерить базу и кинуть ей в секунду 100 запросов, ну и посмотреть по логам что да как будет.

Профессиональный frontend: JS, html,css, Single-Page App (/ru/forum/964386)
dma84
На сайте с 21.04.2009
Offline
168
#5
Content-pro:
Тут мне кажется больше от базы данных будет зависеть. А именно поиск в ней, что и где показать.
Если поиск будет элементарным, то думаю особых проблем не должно быть. Кэшировать, всё подряд не нужно, нужно кэширивать то что чаше все используется. Грубо прикинув, на 30 000 может быть 5000 самых чаще обращаемых страниц, их контент и кэшировать. Вообще в принципе можно всё протестить за день, 30 000 уников с большой вероятностью, не создаст большое количество одновременных подключений, поэтому можно сгенерить базу и кинуть ей в секунду 100 запросов, ну и посмотреть по логам что да как будет.

Проблем не будет, если будет выборка записей по id. Но будут большие проблемы с выборкой по LIMIT OFFSET, если OFFSET слишком большой, но тут поможет правильная оптимизация запроса. База не самое узкое место, узкое место сам говнодрупал. Я бы даже с ампутированным мозгом не выбрал друпал для целей ТС.

TF-Studio
На сайте с 17.08.2010
Offline
334
#6

Для каталога - лучше не столь универсальную CMS

Простой магазин - оптимальнее.

те же сущность и выбор по параметрам

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
CP
На сайте с 12.08.2009
Offline
101
#7
dma84:
Проблем не будет, если будет выборка записей по id. Но будут большие проблемы с выборкой по LIMIT OFFSET, если OFFSET слишком большой, но тут поможет правильная оптимизация запроса. База не самое узкое место, узкое место сам говнодрупал. Я бы даже с ампутированным мозгом не выбрал друпал для целей ТС.

С друпалом пару раз сталкивался, особо в код не лазил. Вы правы, запросы всегда можно оптимизировать, можно индексами ускорить, а можно вообще sphinx прикрутить. Вообще в идеале для такого формата данных, лучше самопис дабы не таскать с собой груз универсальных решений, но тут уже от предпочтений ТС всё зависит. Нагрузку на базу можно перенести в поисковые движки, к примеру sphinx или к примеру elasticsearch, его можно вообще как базу (в формате справочника, навряд ли надо будет что то постоянно писать в базу) использовать, скорость поиска у него на высоте, плюс сразу хороший плюс проекту, без лишний телодвижений сделать неплохой поиск по справочнику.

Вообще формат php и mysql в нынешних реалиях не всегда оправдан, можно использовать другие более подходящие под проект инструменты, хотя есть мнение что разрабов на php больше, это бесспорно их больше, но там где количество, жесть как страдает качество)

AL
На сайте с 09.02.2010
Offline
199
#8
TF-Studio:
Для каталога - лучше не столь универсальную CMS
Простой магазин - оптимальнее.
те же сущность и выбор по параметрам

Не понял. Магазинную ЦМС для каталога организаций? Покажите, плиз, пример, где такое используется.

F
На сайте с 03.10.2006
Offline
160
#9

alexey_levkov, в общем, работать будет. Если кэширование будете использовать, то будет работать быстро. Учитывая, что нодов будет много, то на сервере памяти понадобится немало, чтобы в кэше держать много чего.

---------- Добавлено 09.05.2016 в 20:49 ----------

В общем, примерно так:

  • Для быстрой работы с нодами и комментариями используйте Memcache, APC или ещё какой-то кэш-бэкэнд.
  • Можно кроме этого использовать ещё и статический кэш, например, Boost.
  • На сервере ставите Nginx или Varnish, чтобы отдавать статику более быстро (если ставите Varnish, то Boost из пункта №2 не нужен). Nginx можно настроить так, чтобы он отдавал кэш созданный через Boost (так будет значительно быстрее).
  • Комментарии делаете через AJAX, чтобы страница грузилась из статического кэша и только комментарии грузились из БД (точнее, из БД и кэша).
  • Для поиска прикрутите любой внешний поисковые движок (Apache SOLR, например).
  • Если у вас есть выборки, где ноды вытягиваются не по id, то нужно будет очень внимательно посмотреть, что там за выборки. Возможно нужно будет добавить какие-то индексы в БД или ещё что-то придумать. Учитывая, что у вас в БД 5-10кк нодов, MySql будет не очень шустрым без индексов.

То, что я описал работает нормально на сайте с 700к просмотров в сутки (нодов не так много - 30к). Вы, правда, указали количество посетителей и не указали количество просмотров. Вам нужно обратить внимание только на последний пункт, так как всё остальное будет работать нормально.

TF-Studio
На сайте с 17.08.2010
Offline
334
#10
alexey_levkov:
Не понял. Магазинную ЦМС для каталога организаций? Покажите, плиз, пример, где такое используется.

Я использую постоянно модуль магазина в проектах и эту логику для построения чего-то схожего.

Мыслите сущностями, а не бизнесом.

Какая разница это свитер и характеристики, или фирма с характеристками?

Поиск уже настроение и удобен в магазинном модуле/cms

Только простой берите, без аналитики.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий