CMS для миллиардов страниц

S7
На сайте с 10.01.2010
Offline
67
3820

Есть сеть блогов с миллиардами страниц контента.

Сейчас все это реализовано на самописке пхп и от индексации роботами сервера постоянно перегружаются, хотя кэширование настроено, crawl delay 300 (кстати, сколько максимальное значение которое реально работает?)

1) Подскажите пожалуйста CMS которая будет минимально грузить сервер и имеет базовый набор функций wordpress

2) Что можно еще поднастроить чтоб уменьшить нагрузку в первую очередь от роботов пс

D.iK.iJ
На сайте с 26.05.2013
Offline
179
#1

Ну если уж самопис тормозит, то не знаю даже. Чую, что тот же wordpress умрет там вместе с сервером... обычно самопис на файлах (или даже с БД) менее прожорлив.

Я бы подумал над оптимизацией движка и кешированием (php кеширование, кеширование статики).

Ну а для защиты от лишних ботов тут на форуме видел скрипт AntiBot. Стоит копейки (не реклама, так как никакого отношения к скрипту не имею). Но я бы при таком количестве страниц попробовал сделать что-то похожее. Даже если и свое.

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
bay_ebook
На сайте с 28.05.2010
Offline
111
#2
sam7en:
Есть сеть блогов с миллиардами страниц контента.
Сейчас все это реализовано на самописке пхп и от индексации роботами сервера постоянно перегружаются, хотя кэширование настроено, crawl delay 300 (кстати, сколько максимальное значение которое реально работает?)
1) Подскажите пожалуйста CMS которая будет минимально грузить сервер и имеет базовый набор функций wordpress
2) Что можно еще поднастроить чтоб уменьшить нагрузку в первую очередь от роботов пс

Несколько севреров (пусть даже 1$/вых) лучше чем миллионы страниц на одном сервере. Просто разнесите по дешевых хостингах. (это из проверенной практики)

Нужен прогер на php+mysql+понимание чужего кода? (/ru/forum/540660) Вам сюда PHP-шаман (http://php-shaman.pw/)
Апокалипсис
На сайте с 02.11.2008
Offline
391
#3

1. Такой CMS не существует.

2. Нужно смотреть, вариантов очень много, тем более мы не знаем в каком состоянии ваш самопис.

Я встречал в своей практике разные ситуации по тормозам, но в основном все идет из за неправильной архитектуры (дубли вызова, дубли в памяти, ненужные данные в памяти).

Записки нищего (http://zapiskinishego.ru) - мой личный блог Услуги php программиста. Очень нужна любая работа. Не покупают? Поведенческий аудит интернет-магазина за 5000 руб. (/ru/forum/990312)
humbert
На сайте с 16.03.2006
Offline
497
#4

только разгружать сервер, разнося данные по другим серверам.

Даже если обращение будет к статике (картинки, файлы текстовые), то слишком много обращений все равно положат любой сервер - банально жесткие диски не справятся с частым обращением к файлам.

Парсинг прайс-листов, наполнение интернет-магазина товаром. (https://humbert.ru) Любая CMS (Битрикс, OpenCart, Prestashop и даже Woo Commerce )
LEOnidUKG
На сайте с 25.11.2006
Offline
1553
#5

Да хоть 10ККК, что значит перегружают? Если у вас кэш в html то диск нагруженный чтоли? Ну выбирайте SSD, если ещё не переехали на него.

Входных данных 0. Распишите хотя бы что за сервер у вас.

CMS это система управления контентом всего лишь.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
humbert
На сайте с 16.03.2006
Offline
497
#6

У меня у товарища сервак загружен на 70% контентом для WP - винт на 3 Тб.

Яндекс жрет сервак нещадно, постоянно нагружен ботом Яндекса.

Посещаемость небольшая, но вот боты жрут его сильно

S
На сайте с 23.05.2004
Offline
290
#7

Блоги с миллиардами страниц, серьезно ? :)

Это просто мой личный сайт (https://phpdevs.com/) в моей подписи.
Segey
На сайте с 23.08.2005
Offline
404
#8
sam7en:
Сейчас все это реализовано на самописке пхп
sam7en:
CMS которая будет минимально грузить сервер и имеет базовый набор функций wordpress

Как бы это - wordpress.

Brexit - уже совсем рядом. (https://about-this-model.blogspot.com/2019/03/brexit.html)
Samail
На сайте с 10.05.2007
Offline
328
#9
sam7en:
crawl delay 300 (кстати, сколько максимальное значение которое реально работает?)

Для Яндекса 2, Гугл вообще не эту директиву не учитывает.

В миллиарды страниц конечно слабо верится...

ДП
На сайте с 23.11.2009
Offline
190
#10

Мож в раздел к дорвейщикам сходить, они там миллиардами страниц ворочают, мне кажется.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий