duckduck: Слушай, а просто интересно. У тебя уровень высокий, кодинга? Судя по постам да)
По коду и работе доргена и будет видно ;)
duckduck:
Каждый макрос лучше сделай как отдельный модуль, что бы закинул в папку какую нибудь, прописал путь в functions.py и завел) типа того)
Уже есть. элементарные макросы сделаны built-in, все остальные подключаются просто папкой модуля, прописывать ничего не придется, само подхватится + модульные макросы при конфликте перекрывают встроенные.
converse19880604: ЗЫ Бредоген, это же ты "пиражок" писал?
Не совсем, я его подхватил и начал развивать идею, но забил. Сейчас страшно вспоминать, что за код там был.
А вот как назвать нескучное чудо не знаю :)
Новости с фронта: сейчас пишется "ядро" и взят курс на покрытие функционала доргена SeoDor (у него нормальное описание возможностей), то есть парсинг выдачи. Буду благодарен, если кто-нибудь скинет свои мысли, что нравится в том или ином существующем доргене.
Пишу в свободное от работы время (где тоже уйма всего нескучного и извращенного), поэтому не все так быстро как хотелось бы.
Urbanoid: Техническая часть (полная динамика, почти без кэша, без гуи) с точки зрения практической эксплуатации - это на мой взгляд худшее, что можно придумать.
Видимо я с самого начала неправильно выразил мысль (а с выражением мыслей в форме понятной не только мне у меня проблемы :) ).
Кеш есть, но организован он не тупым складыванием сгенеренного html на диск с потерей динамичности. Используется кеширование чистого питоновского байт-кода шаблонов _в памяти_, что не отнимает динамичности (нужные блоки будут обновляться) и чертовски производительно. Тяжелые части (результаты парсинга, что угодно) будут кешироваться обычными способами. Собственно, обычная практика в хай-лоадах и именно так имплементирована система темплейтов в Tornado.
Кому не нужна динамичность - смогут включить полное кеширование шаблонов (как у всех). Кто захочет живой сайт - получит живой сайт. Пусть будет выбор, чо уж там :) А я приведу бенчмарки.
xprobe: без гуя и через ssh теперь называется "нескучный"... типа несоскучишься, да ;)
Залить и поднять нужно будет только один раз (и то, возможно через нативный гуевый инсталятор) на мастер сервере который будет обслуживать все домены, потом просто подкидывать сырья для генерации. Ничего особо страшного ;)
Кеш есть, но своеобразный. Все, что разумно будет кешироваться. Спарсенную/сгенеренную текстовку - да, силами каждого макроса. Каждый макрос сможет реализовать свою схему кеширования хоть где.
Сами шаблоны целиком в html и на диск, в БД (более того, юзается async модель) - нет.
Шаблоны транслируются в pure python bytecode, кешируются в памяти, при исполнении выполняется чистый байткод с минимальным оверхедом. Это позволит сохранить полную динамику и гибкость.
KBECT: Если вы делаете для себя и не рассчитываете на продажу, то я рекомендую продолжать:) Интересная идея.
Ну а если планируете (или подумываете) о продажах доргена, настоятельно рекомендую это gettingreal.37signals.com.
P.S. Просто оказываю посильную помощь.
Продавать, не продавать, в любом случае дорген будет с открытым исходным кодом, возможно даже под GPL.
---------- Добавлено 04.09.2012 в 06:03 ----------
duckduck: основная проблема - нагрузка.
Страницы будут в кеше? БД? Каждый раз генерация по новой?
Кеширование страницы будет выборочное, по макросам (макрос сам реализует схему кеширования). С учетом кеширования байткода самого компиленного шаблона, целиком хранить страницу - только динамику убивать.
---------- Добавлено 04.09.2012 в 07:52 ----------
Голосующие за "Не нужно" отписывайтесь хотя-бы кратко. Дописка "Возможно за деньги" особой роли не играет, т.к распространяться будет свободно.
duckduck:
В основном сча в динамических в качестве текстовки парсятся сниппеты
Поэтому думаю сделать гибкую модульность. Это позволит не тащить весь функционал (часть из которого не нужна) внутри, а позволит каждому выбирать что ему нужно.
Dos3: а насчёт того что динамики не хватает это не так, есть ydd, sed ы, seodoor итд, остальные не помню но они есть
Возможно. Пробегался по описаниям в соседних тредах, какие-то они все квадратные и скучные.
Dos3:
фантазиями делится не буду т.к себе сам пишу, да и тех что есть за глаза хватает, и просто лень писать ))
На самом деле пока хватает функционала на разработку. Нужно вобрать все лучшее из существующих доргенов, не взяз маразма. Сейчас занимаюсь системой макросов.
Добра всем.
Идея жива, более чем. Сейчас небольшие трудности связанные с факапом другого проекта, скоро все наладится.
В скайпе я нахожусь большую часть времени, меня всегда можно там найти и помучать вопросами :)
Слушай, а просто интересно.
У тебя уровень высокий, кодинга? Судя по постам да)
По коду и работе доргена и будет видно ;)
Каждый макрос лучше сделай как отдельный модуль, что бы закинул в папку какую нибудь, прописал путь в functions.py и завел) типа того)
Уже есть. элементарные макросы сделаны built-in, все остальные подключаются просто папкой модуля, прописывать ничего не придется, само подхватится + модульные макросы при конфликте перекрывают встроенные.
ЗЫ Бредоген, это же ты "пиражок" писал?
Не совсем, я его подхватил и начал развивать идею, но забил. Сейчас страшно вспоминать, что за код там был.
А вот как назвать нескучное чудо не знаю :)
Новости с фронта: сейчас пишется "ядро" и взят курс на покрытие функционала доргена SeoDor (у него нормальное описание возможностей), то есть парсинг выдачи. Буду благодарен, если кто-нибудь скинет свои мысли, что нравится в том или ином существующем доргене.
Пишу в свободное от работы время (где тоже уйма всего нескучного и извращенного), поэтому не все так быстро как хотелось бы.
Техническая часть (полная динамика, почти без кэша, без гуи) с точки зрения практической эксплуатации - это на мой взгляд худшее, что можно придумать.
Видимо я с самого начала неправильно выразил мысль (а с выражением мыслей в форме понятной не только мне у меня проблемы :) ).
Кеш есть, но организован он не тупым складыванием сгенеренного html на диск с потерей динамичности. Используется кеширование чистого питоновского байт-кода шаблонов _в памяти_, что не отнимает динамичности (нужные блоки будут обновляться) и чертовски производительно. Тяжелые части (результаты парсинга, что угодно) будут кешироваться обычными способами. Собственно, обычная практика в хай-лоадах и именно так имплементирована система темплейтов в Tornado.
Кому не нужна динамичность - смогут включить полное кеширование шаблонов (как у всех). Кто захочет живой сайт - получит живой сайт. Пусть будет выбор, чо уж там :) А я приведу бенчмарки.
без гуя и через ssh теперь называется "нескучный"... типа несоскучишься, да ;)
Залить и поднять нужно будет только один раз (и то, возможно через нативный гуевый инсталятор) на мастер сервере который будет обслуживать все домены, потом просто подкидывать сырья для генерации. Ничего особо страшного ;)
Сколько людей смогут его хотябы запустить ? :)
Все, кто могут в ssh. Неужели таких мало? :)
Более того, возможно будет отдельный автоустановщик, который все сделает сам.
---------- Добавлено 05.09.2012 в 13:41 ----------
p/s С учетом того что GUI пишется в самую последнюю очередь, если вообще пишется
Гуя там нет, не будет и не должно быть.
Мнение пополам. Ну да ладно, хоть кому-то нужно, а там видно будет.
Поехали.
duckduck, на огромное и ориентируюсь.
Кеш есть, но своеобразный. Все, что разумно будет кешироваться. Спарсенную/сгенеренную текстовку - да, силами каждого макроса. Каждый макрос сможет реализовать свою схему кеширования хоть где.
Сами шаблоны целиком в html и на диск, в БД (более того, юзается async модель) - нет.
Шаблоны транслируются в pure python bytecode, кешируются в памяти, при исполнении выполняется чистый байткод с минимальным оверхедом. Это позволит сохранить полную динамику и гибкость.
Если вы делаете для себя и не рассчитываете на продажу, то я рекомендую продолжать:) Интересная идея.
Ну а если планируете (или подумываете) о продажах доргена, настоятельно рекомендую это gettingreal.37signals.com.
P.S. Просто оказываю посильную помощь.
Продавать, не продавать, в любом случае дорген будет с открытым исходным кодом, возможно даже под GPL.
---------- Добавлено 04.09.2012 в 06:03 ----------
основная проблема - нагрузка.
Страницы будут в кеше? БД? Каждый раз генерация по новой?
Кеширование страницы будет выборочное, по макросам (макрос сам реализует схему кеширования). С учетом кеширования байткода самого компиленного шаблона, целиком хранить страницу - только динамику убивать.
---------- Добавлено 04.09.2012 в 07:52 ----------
Голосующие за "Не нужно" отписывайтесь хотя-бы кратко. Дописка "Возможно за деньги" особой роли не играет, т.к распространяться будет свободно.
В основном сча в динамических в качестве текстовки парсятся сниппеты
Поэтому думаю сделать гибкую модульность. Это позволит не тащить весь функционал (часть из которого не нужна) внутри, а позволит каждому выбирать что ему нужно.
Парсинг выдачи - плагин.
Парсинг ютуба - плагин.
Свои извращения - напиши плагин.
а насчёт того что динамики не хватает это не так, есть ydd, sed ы, seodoor итд, остальные не помню но они есть
Возможно. Пробегался по описаниям в соседних тредах, какие-то они все квадратные и скучные.
фантазиями делится не буду т.к себе сам пишу, да и тех что есть за глаза хватает, и просто лень писать ))
На самом деле пока хватает функционала на разработку. Нужно вобрать все лучшее из существующих доргенов, не взяз маразма. Сейчас занимаюсь системой макросов.