SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

JungleBox:
Интeрeсуeт: видeл на выпичкe доры сдeланныe по образу и подобию сайта, то eсть нe отличить от сайта, только ссылки стоят такиe domain.com/?page=5112 а так как будто сам сайт 1 в 1. ( когда будeт возможность - отправлю примeр в ЛС )

Ваша софтина умeeт такоe гeнeрить, или как это дeлаeтся ( понятно, что на автоматe сдeлано ) ?

( можeтe в лс отвeтить )

Мы частично описали в топике тестирований, о том, то что произошло с системой, какие изменения она претерпела. Проще конечно просто написать - мы написали все заново, с нуля, но все-таки хочется отметить главные изменения, чтобы пользователь понял, что произошло.



Кроме того что описано в топике тестирований, было сделано много изменений, которые принесли большую стабильность в работе SEDv4, за что мы хотим поблагодарить активных тестеров - спасибо!

Вот несколько самых существенных изменений, которые наш программист смог вспомнить:

- Кроны теперь можно запускать как угодно часто! Теперь, при запуске, проверяется запущен ли уже такой крон, если запущен то ничего выполнятся не будет.
- Статистика обрабатывается по крону. Это нужно учитывать и ставить на работу крон, а так же не ожидать моментального изменения статистики на графике, но больших задержек быть не должно судя по тестам.
- Так же по крону подготавливается рандомный контент для фронтенда. Теперь рандомные макросы берут контент не из базы, а из файла подготовленного кроном, это дает прирост в производительности но требует чтобы крон работал иначе у вас рандом будет браться лишь из небольшой выборки данных ( по умолчанию это 500 сниппетов\видео\ключей ).
- Добавлено полное кэширование страниц, страницы так же полностью кешируются и ложатся в хранилище (sqlite), но теперь можно указывать блоки которые не будут кэшироватся используя [NOCACHE][/NOCACHE] блоки.
- Изменено хранилище файлового кэша, теперь это sqlite база за счет чего удаление кэша будет моментально по сравнению с большим количеством файлов.


По нагрузке сейчас уже видно что результат есть, к тому же мы избавились от многих проблем которые беспокоили пользователей, например долгое время удаления кэша. Время загрузки страницы существенно сократилось, минимум в два раза, а на разных конфигурациях серверов даже больше. Но главное это все же сама нагрузка, нагрузки на базу сейчас будет намного меньше так что можно меньше внимания уделять базе и выделять меньше ресурсов, что позволит получить хорошую производительность и на слабых машинах.

Но не смотря на это еще есть куда расти, можно сократить потребление памяти фронтендом, создать один глобальный крон и панель конфигураций тасков для удобства пользователей, можно переписать систему парсинга чтобы паралельно парсить несколько ресурсов что в разы уменьшит время парсинга, а соответственно и время первой загрузки страницы.

По возможности можно и нужно переходить на nginx + php-fpm, как показала практика такая конфигурация работает значительно лучше, но при этом требует администрирования потому что по умолчанию, насколько мне известно, никто такую сборку не ставит + нужно переписывать правила htaccess'a под формат nginx'a. Таким образом Вам понадобится помощь сисадмина, но это того стоит.

Несколько отчетов по нагрузке от наших тестеров раз, два, три (блок-цитата в сообщении, было прислано в письме)

В новой версии появилось 4 новых крона, поэтому будьте внимательны и не забывайте о них и о тех задачах, которые они выполняют!



пересчитывает показатели статистики, тоесть по нему будет менятся стата на главной, можно ставить достаточно часто, раз в пару минут, не напряжный.



обновляет конфиги домена для фронтенда, не напряжный но обновляет сразу всем доменам потому смотрите сами, можно ставить раз пару минут спокойно. РУками можно это обновить из конфигов домена, синяя кнопка.



тоже что и выше но обновляет рандом контент для домена. ЭТО ВАЖНО, рандом берется не из базы а из этого кэша, тоесть если крон не поставить то будет рандом из малого количества данных постоянно. Сейчас берется 500 ключей, сниппетов, картинок, видео и 100 адв конта. Этот момент тоже можете оттестить, хватает ли такого количества данных для "живого" рандома.



обновляет глоб конфиг для фронтенда, вообще не напряжный можно часто ставить, можно руками запустить из глоб конфига по синей кнопке.

При любых неполадках, сообщайте в тикеты. Огромная просьба - цените свое и наше время, не нужно заставлять нас задавать наводящие вопросы, чтобы общение не превращалось в долгую переписку соблюдайте правила составления тикетов

1. Введена логика наследования данных от странице к странице, проще говоря можно делать какой-то блок, вывести в нем текст, картинку, видео и ссылку на какую-то страницу и при переходе на эту страницу мы увидим полностью или частично тот контент, который был на предыдущей странице.

Реализовано так: добавлен блок [BLOCK][/BLOCK], внутри которого НЕрандомные макросы, такие как sed_snip_title, sed_link, sed_snip_descr, sed_image_large будут отдавать контент по одному какому-то рандомному ключу.

Соответственно, если Вы вставите в блоке макросы [SED_RAND_KEY_LINK] и [SED_SNIP_TITLE], то на странице будет выведена рандомная ссылка с анкором в виде ключевика страницы, например это будет ключ1, на которую ведет эта ссылка и будет выведен один из заголовков сниппетов, спаршенных для ключа1.

Возникает вопрос - что будет на самом старте жизни дорвея, ведь ни по одному ключу ничего не спаршено?

Мы это предусмотрели таким образом, что блоки готовятся только из тех ключей, по которым уже есть спаршенная информация. Таким образом на новом дорвее это будет выглядеть примерно так:

- заходим на страницу по ключу1, информация парсится, формируется страница, блок пустой
- заходим на страницу по ключу2, информация парсится, формируется страница, в блоке данные по ключу1
- заходим на страницу по ключу3, информация парсится, формируется страница, в блоке данные по ключу2



Особенно хочется отметить, что некоторые макросы в блоке меняют свои свойства, например макрос [SED_CUR_KEY_LINK], который по идее должен вывести ссылку на текущую страницу с кеем текущей страницы, выведет ссылку на рандомную страницу с ее ключом в качестве анкора т.е. на страницу ключа блока, учитывайте это.

У каких макросов в этом блоке изменится поведение?

- макросы вывода сниппетов (тайтлов и дескрипшнов)
- макросы вывода изображений
- макросы вывода видео
- макрос вывода адвансед контента
- макрос вывода текущего ключа (CUR_KEY*)

Просто запомните - все что выводится в блоке - берется по рандомному ключу из базы, выбирается ключ и в блоке используются данные исключительно этого ключа, т.е. если в блоке выводится сниппет, то это будет обязательно сниппет принадлежащий этому ключу, если выводится картинка, то это картинка спаршенная по этому ключу итд!

Поэтому если вы хотите организовать правильную перелинковку со следующей страницей, используйте в блоке макросы текущей страницы а НЕ рандомные, например: [SED_CUR_KEY_LINK], который выведет ссылку на страницу ключа данного блока, а [SED_SNIP_DESCR] выведет текст сниппета принадлежащий одному из сниппетов спаршенных по данному ключу.



Тем самым мы выполнили эту просьбу, настолько, насколько смогли продумать http://sedv4.reformal.ru/proj/?ia=497807

2. Возможность скачать все ключи домена или БД ключей. http://sedv4.reformal.ru/proj/?ia=525841
Для этого появились соответствующие кнопки в разделах ключей домена и глобальных настройках, в разделе БД ключей.


3. Исправлены разного рода ошибки, а так же несколько оптимизаций. (Точно не помню, мы их вместе с билларом и чижом находили\правили прим. разработчика)

4. Улучшена работа макроса [SED_ADVCONT], для более логичной работы с новым функционалом наследования. Раньше при каждом вызове этой логики, в макрос выводилась мешанка из спаршенных адвансед текстов по ключу, т.е. при каждой перезагрузке страницы, если она не кеширована, выводился бы разный текст, созданный из того что спаршено по кею.
Таким образом, если в блоке вы бы вывели этот макрос, на странице, на которой вы бы ожидали увидеть тот же результат его работы что и на предыдущей, вы бы с большой долей вероятности увидели бы другой текст.
Для того, чтобы результат был один и тот же, мы внедрили модификатор rand со значениями:

0 - не перемешивать предложения, брать текст из базы по предложениям в том порядке, в котором он расположен в БД
1 - установлен по дефолту, т.е. его можно не указывать, означает что будет выводиться каждый раз мешанка из предложений текста, спаршенного по кею

1. Полный импорт\экспорт ключей домена.

- экспорт на вкладке Ключевые слова, в настройках каждого домена. Экспортируется кей с привязкой к категории (первым идет кей, затем через разделитель ; категория)
- импорт: заходим в настройки домена-ключевые слова - новое ключевое слово и в textarea пишем кеи а в select'e сверху выбираем для какой категории. А если select оставить пустым, добавляемые кеи раскидаются рандомно-равномерно. Также вы можете сформировать файл импорта csv и загрузить ключевые слова с привязкой к категории. При этом категория это всегда значение, идущее после самого последнего знака точка с запятой (;).

Запомните это, потому что в следующем месяце это будет играть очень важную роль, появится MULTIKEY, а там формат будет такой: кей1;значение2;значение3;значение3;значение3;категория, т.е. все что будет идти до самой последней точки с запятой в строке - мультикеи, после - категория или ничего, т.е. не будет задана никакая категория, для этого нужно ничего не вписывать после завершающей (;)

Тем самым исполнена эта просьба http://sedv4.reformal.ru/proj/?ia=525841




2. Возможность задавать категорию не только у основных ключевых слов, но и у ключей в отложке!

Теперь Вы можете заранее распределить нужные ключи по нужным категориям.




3. При добавлении ключей через конфиги домена автоматически будет присваиваться категория для этого ключа.

Мы полностью переделали логику присваивания категории ключу, если раньше категория присваивалась непосредственно при генерации страницы по ключевому слову, то теперь категория присваивается ключевому слову сразу, при его добавлении.


4. Улучшена работа с картинками, если сервер не отдает картинку то пытаемся загрузить по очереди все из рандомных и отдать её.


5. Улучшена работа кеша, теперь он не будет создаваться если на странице еще не напарсилось достаточно контента.

Подстраховка от пустых страниц, когда контент не спарсился, страница могла лечь в кеш и отдаваться без контента.


6. Исправлен баг создания дора на базе профиля категорий.

Независимо от выбора шаблона в профиле категорий шаб перебивался на шаб домена


7. Исправлен баг когда домены пропадали с главной страницы админки.


8. Исправлена логика выборки рандомных записей для блоков.

1. Multikey - не буду долго разъяснять что это и для чего. Функционал довольно ожидаемый и во многом нужный. Решили наконец-то восполнить этот пробел.

Теперь вы можете добавлять ключевики в формате



где:

key - это основное ключевое слово, по которому генерируется страница
mkey2,mkey3 - мультикеи этого кея, разделяются всегда точкой с запятой, добавлять можно сколько угодно

Выводить в шаблоне эти мультикеи можно макросом [SED_MULTIKEY], у этого макроса как и остальных есть параметр counter, который в случае с этим макросом будет отвечать за то, какой мультикей выведется.

Пример:



будут обработаны так:

[SED_MULTIKEY:counter=1] - выведет mkey1
[SED_MULTIKEY:counter=2] - выведет mkey2
[SED_MULTIKEY:counter=3] - выведет mkey3

[SED_MULTIKEY] если указывать макросы без каунтера, то мультикеи будут выведены по очереди.

key - можно вывести любым доступным макросом вывода ключевого слова [SED_CUR_KEY], [SED_CUR_KEY_B] итд

Также в настройках домена, вы можете добавить ключевики в отложку, присвоив им определенную категорию, для этого вы либо в текстовой области выбираете в select'e категорию и добавляете построчно ключи, либо в текстовом файле, формат:



где:

category - категория в которую будет отправлен кей, если категории нет, она создается и в нее добавляется кей.
за категорию принимается любой набор символов, который идет после завершающей точки с запятой в строке, т.е.



будут обработаны так:

key - кей страницы
qwer1 - мультикей
qwer2 - категория

а вот если добавить в конце точку с запятой



то qwer2 будет уже мультикеем, а категория в данном случае будет присвоена рандомная, потому как после последней точки с запятой ничего нет.

Поэтому вот с этим моментом будьте внимательны

Очень важно понимать, что в БД ключей и в текстовую область не имеет смысла добавлять category потому что:

1. В БД ключей ключи используются и получают категорию либо рандомную, если вы работаете с профилем, либо определенную, если работаете с профилем категорий.
2. В текстовую область, потому что там над текстовой областью есть селект, в котором можно выбрать в какую категорию добавляются кеи

Т.е. фактически категорию вы будете использовать только тогда, когда будете добавлять в настройках конкретного домена ему в текущие кеи или кеи в отложку из txt файла с данными нужного формата - key;mkey1;mkey2;mkey3;category



2. Парсинг данных для config.yml - очень важное и полезное обновление, которое упростит логику вашей работы с шаблонами.

Теперь вам больше не нужно заботиться о том, сколько и какого контента (content) вам нужно указать в config.yml, а также не нужно перечислять названия папок (routes), в которых содержатся файлы темплат.

Все это теперь делает сам скрипт при сохранении любого файла (заходите в глобальные настройки - редактирование шаблона, на любом выбранном файле жмете Save)

Была проведена полная ревизия всех имеющихся парсеров


Исправлены парсеры

сниппетов:

Altavista, Ask, Mail, RuYahoo, Softonic, Teoma, Ukr

видео:

DailyMotion, YouTube

картинок:

ImagesQip, ImagesYahoo

Удалены парсеры

сниппетов:

InfoSpace - аякс
Kvasir - аякс
MetaCrawler - аякс
MyWay - сервиса больше нет
MyWebSearch - аякс
SpeedBit - аякс

видео:

PlayUkr - сервиса больше нет

картинок:

ImagesBing - аякс
ImagesDogpile - аякс
ImagesInfoSpace - аякс
ImagesWebCrawler - аякс

Добавлен макрос [sed_exec_randfile]

Принимает параметр path - путь к папке от корня шаблона, без слэша спереди
Пример: [sed_exec_randfile:path=papla/papka1;] можно без ;

Из указанной папки будет браться рандомный файл, обрабатываться макросы находящиеся в этом файле, если есть, и полностью весь контент файла, вместе с результатом обработанных макросов будет вставлен в то место шаблона, где использован данный макрос. Проще говоря, в одном из предыдущих апдейтов мы сделали возможность обработки макросов в любых tpl файлах в шаблоне, теперь вот появилась возможность инклюдить рандомные файлы с обработкой макросов в них. Это позволит еще больше разнообразить в конечном итоге дор, заранее подготовленным рандомом.

L!mur:
Денис121, грабит шаблон, чистит, расставляет макросы в нужных местах в автоматическом режиме?
Если делает все перечисленное выше, значит конкурент и нам остается только мечтать о том, чтобы хоть немного приблизиться к этому уровню :)

L!mur:
Если это будет необходимо, мы заставим SEDv4, чашку кофе подавать по запросу.