foxi: 20 млн хз. нету под рукой такой базы, есть 7 млн. Time: 0.0067 Sec на ноуте с ssd. Это при том что не просто выборка, а еще куча всего происходит, типа генерации ссылок и прочие дела.
sema_87, без баз оно будет тормозить, если не статика.
Можно генерить такое на главном сервере (на служебном домене) моментально, а потом зеркалить в статику любым многопоточным спайдером. Впринципе, делается на коленке за час или меньше.
Я по такой системе (но не этот принцип генерации контента) сейчас на фрихи как раз лью. Сохраняю в статику то, что выдал динамичный дорген.
---------- Добавлено 31.03.2019 в 21:10 ----------
sema_87: там нет этих макросов, чтобы рандом строку из файла.
У меня тоже нет макросов вроде бы, не помню уже :%) Если хочешь, можем связаться, погенерим попробуем.
Glueon, хоть бы тогда мат перестали удалять, а то как дорвеи и без мата?
Возможно, файл отдается с другим mime, а не с нужным application/vnd.android.package-archive.
20 млн хз. нету под рукой такой базы, есть 7 млн. Time: 0.0067 Sec на ноуте с ssd. Это при том что не просто выборка, а еще куча всего происходит, типа генерации ссылок и прочие дела.
Из sqlite на диске?
перемешивание массива в лям строк - это дико много времени и ресурсов
Сколько займет выборка 1000 случайных строк из sqlite базы на 20млн строк?
Найти в текущей директории все файлы, заканчивающиеся на .html и удалить в них теги script вместе с содержимым:
find . -type f -name "*.html" -exec perl -i -pe 's|<script>.*</script>||' {} \;но оно не сработает для script в разных строках.Поэтому окончательный вариант (отсюда):
find . -type f -name "*.html" -exec perl -0 -i -pe 's/<script.*?script>//gs' {} \;Jgd, Idonat, ну тогда пиздуйте писать петицию об удалении раздела.
sema_87, без баз оно будет тормозить, если не статика.
Можно генерить такое на главном сервере (на служебном домене) моментально, а потом зеркалить в статику любым многопоточным спайдером. Впринципе, делается на коленке за час или меньше.
Я по такой системе (но не этот принцип генерации контента) сейчас на фрихи как раз лью. Сохраняю в статику то, что выдал динамичный дорген.
---------- Добавлено 31.03.2019 в 21:10 ----------
там нет этих макросов, чтобы рандом строку из файла.
У меня тоже нет макросов вроде бы, не помню уже :%) Если хочешь, можем связаться, погенерим попробуем.
Интересно, в этом разделе будут про доры говорить?
Ты хочешь то что делал фокси в своем идор лайт? Судя по описанию, это именно оно.
Я себе делал такое же.
Динамика на php+postgres, работает очень быстро.
А что, на лоре не помогли советы?