Как сделать сайты на wordpress по полмиллиона страниц? Подскажите

12
kaaaaaljan
На сайте с 07.04.2012
Offline
72
1222

В общем, вот какая проблема:

Надо сделать пару сотню сайтов по полмиллиона страниц

Есть готовые материалы в txt (и csv) форматах объемами по полмиллиона страниц

Как заливать такие объемы в worpress???

есть CSV файлы по полмиллиона материалов, если даже разбить файлы по 100 000 материалов, то импортируется через плагины очень долго, т.к. замечено, что с каждым импортируемым файлом закидывается все медленнее и медленнее. Если первая 1000 материалов заливается за 2 минуты, то после 10 000 залитых, этот же объем заливается уже за 20 минут, и затем времени надо все больше и больше на тот же объем. А сайтов таких предполагается создать много.

Вот думаю над следующими вариантами,

1. использовать прогу

2 Оптимально разбить мегафайл на файлы по 1-2 тысячи материалов, затем залить их разом в папку на сервере и импортировать ПО ОЧЕРЕДИ, но нужен спец плагин. Пока что я не нашел подходящего

3. Может напрямую с базой вордпресс работать, т.е. выкачать таблицу постов и таблицу категорий и через эксель вставить в соответствующие колонки тайтлы, тексты и т.п. Думаю что надо специальный макрос покупать

Может ли кто-нибудь подсказать другой выход из этой ситуации, как импортировать огромный файл CSV в вордпресс??? У кого какой есть опыт?

Покупка и продажа сайтов (http://www.telderi.ru/?pid=a979f8) Пожалуй - это лучший хостинг (https://beget.com/p67848)
S
На сайте с 28.02.2013
Offline
31
#1

зеброид поможет

SeVlad
На сайте с 03.11.2008
Offline
1474
#2
kaaaaaljan:
Надо сделать пару сотню сайтов по полмиллиона страниц???

нет.

10 нетов

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Топики помощи с ⓌordPress (https://searchengines.guru/ru/forum/1032910 ) и основы безопасности сайтов ( https://searchengines.guru/ru/forum/774117 ). *** Помощь\консультации в топиках форума - БЕСПЛАТНО. Платные услуги ( https://wp.me/P3YHjQ-3 ) - с бюджетом от 150$ ***
totamon
На сайте с 12.05.2007
Offline
363
#3
kaaaaaljan:
Как заливать такие объемы в worpress???

а вордпресс вам зачем?

Хостинг от 90р ( https://goo.gl/h1VRkY ) и ВПС от 161р ( https://goo.gl/vw9JH7 ) 14 дней бесплатный тест! Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno ХОСТИНГ №1 РОССИИ https://8fn.ru/beget Монетизация любых сайтов PUSHами ( https://8fn.ru/push ) - лучшая цена клика и показа ;)
Ragnarok
На сайте с 25.06.2010
Offline
208
#4

я бы генерировал файлы импорта в sql и лил напрямую в базу

//TODO: перестать откладывать на потом
TA
На сайте с 12.06.2009
Offline
116
TiA
#5
kaaaaaljan:
В общем, вот какая проблема:

Надо сделать пару сотню сайтов по полмиллиона страниц

Есть готовые материалы в txt (и csv) форматах объемами по полмиллиона страниц

Как заливать такие объемы в worpress???


есть CSV файлы по полмиллиона материалов, если даже разбить файлы по 100 000 материалов, то импортируется через плагины очень долго, т.к. замечено, что с каждым импортируемым файлом закидывается все медленнее и медленнее. Если первая 1000 материалов заливается за 2 минуты, то после 10 000 залитых, этот же объем заливается уже за 20 минут, и затем времени надо все больше и больше на тот же объем. А сайтов таких предполагается создать много.

Вот думаю над следующими вариантами,

1. использовать прогу

2 Оптимально разбить мегафайл на файлы по 1-2 тысячи материалов, затем залить их разом в папку на сервере и импортировать ПО ОЧЕРЕДИ, но нужен спец плагин. Пока что я не нашел подходящего

3. Может напрямую с базой вордпресс работать, т.е. выкачать таблицу постов и таблицу категорий и через эксель вставить в соответствующие колонки тайтлы, тексты и т.п. Думаю что надо специальный макрос покупать

Может ли кто-нибудь подсказать другой выход из этой ситуации, как импортировать огромный файл CSV в вордпресс??? У кого какой есть опыт?

Здравствуйте.

Без дополнительной опимизации WordPress с таким объемом материалов будет очень сильно тормозить. Вы уверены, что вам нужно использовать именно эту систему?

По поводу самой проблемы. Зачастую она решается или разбиением файла на части, или оптимизацией самого скрипта, который выполняет загрузку. Нужно, чтобы он считывал большой файл в построчном режиме для уменьшения объема потребяемой памяти.

Профессиональная верстка и разработка сайтов на WordPress (http://www.maultalk.com/topic139110s0.html)
99Aleksandr
На сайте с 16.02.2010
Offline
79
#6

Загрузите через запросы к БД в несколько подходов. Только вам с таким количеством страниц обязательно нужно думать что-то в плане оптимизации, а то стандартная настройка вп оптимальна для сайтов с количеством страниц до 1000, дальше начинаются проблемы и прочие тормоза.

Удачи!

Профессиональный массаж на дому для девушек (мск), писать в лс ;)
Xammer2000
На сайте с 10.08.2011
Offline
178
#7

Зеброид в помощь )

Самый удобный сервис комментов и репостов ( http://qcomment.ru/ref/123163 ) Позиции и апдейты проверяю тут ( https://tinyurl.com/tvefbe4 )
BooblikBBW
На сайте с 01.07.2014
Offline
83
#8

Был опыт заливки.

300К статей на WP через денвер заливал через Zerber дорген. Процесс очень долгий (больше недели ушло).

Но такая заливка - это ещё ладно. Проблема встала когда надо было эту базу вытащить с денвера, промаялся неделю, криво вытаскивалась... Иногда вообще не вытаскивал и показывал пустой файл бд.

Плагины импорта WP все перепробовал, безнадежно.

В общем кое как со скрипом всё сделал путём и зарёкся подобного не повторять.

Это мой опыт, у кого другого может всё супер...

B
На сайте с 27.07.2015
Offline
5
#9
kaaaaaljan:
Может ли кто-нибудь подсказать другой выход из этой ситуации, как импортировать огромный файл CSV в вордпресс??? У кого какой есть опыт?

Советую забить на это, дело гиблое. Даже если получиться импортировать данные в базу, у вас следом возникнет другая проблема. При открытии страниц на таком сайте, страницы будут открываться ужасно долго, по несколько секунд.

Смотрите в сторону DLE, она в разы быстрее вордпреса, но даже её придется дорабатывать. У самого несколько сайтов на оптимизированной dle по 300к страниц.

99Aleksandr
На сайте с 16.02.2010
Offline
79
#10
Даже если получиться импортировать данные в базу, у вас следом возникнет другая проблема. При открытии страниц на таком сайте, страницы будут открываться ужасно долго, по несколько секунд.

При грамотной оптимизации сервера и его хороших мощностях + оптимизация движка - все будет ок ;) проверено на личном опыте

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий