Ну вот ради снижения нагрузки, а также ряда других моментов и было затеяно полное обновление! Я думаю было бы глупо переписывать все с нуля и наступать на те же грабли, согласитесь)
1. Без проблем - в шаблоне можно творить что угодно) Таким образом вы снизите нагрузку еще на один пункт..)
2. Можно самостоятельно разбить ключевики на файлы для каждого домена с названиями доменов, типа domen.ru.txt. Если же использовать один файл кеев для всех добавляемых доменов, то ключевики добавляются для каждого домена в порядке очереди. Как только доходит до последнего кея в файле, то они, для последующих доменов, начинают добавляться заново по кругу.
Сайт на сабдомене считается отдельным доменом. Т.е. считай вы добавите 1000 доменов, и это реально.
Эмм..) С чего такие выводы? Выше ведь все расписал. Нагрузка снижена в несколько раз: во-первых, за счет кеширующего крона, во-вторых, за счет оптимизации запросов к базе данных и в-третьих, за счет единоразовой обработки картинок (после обработки они отдаются в виде статических файлов в отличии от предыдущей версии, когда "свои" картинки каждый раз перед отдачей обрабатывал скрипт). Так что о конской нагрузке здесь речи быть не может...
Ну и конечно, дорген не претендует на почти шаровые хостинги с минимальной конфигурацией. Хотя бы потому, что на них обычный скрипт с curl'ом едва сможет спарсить какой-либо сайт. Клиенты может и смогут работать на таких хостингах.
1. Доступ на форум будет при приобретении версии с открытым кодом. Будут также доступны все предыдущие версии для всех существующих и новых пользователей.
Я все распишу в новой теме.
2. Можно использовать несколько копий для пачки доменов, если их много.
Выше я писал про крон, который кеширует. Вот на нем теперь держится вся нагрузка. Чем больше копий крона запустите, тем быстрее будут кешироваться домены, тем больше будет нагрузка во время кеширования кроном. В основном это парсинг.
Если указано в отложенке публиковать по 100 страниц в день, то 1 копия крона сможет закешировать в среднем 50 доменов в сутки (по 100 страниц в день) - это считай один поток.
Одна копия крона не создает особой нагрузки на сервак. Таким образом можно добавить несколько копий крона.
3. Да, они идут в комплекте.
Выше, думаю, ответил на твой вопрос.
Не гадайте в этой теме. Всему свое время. Пока останется текущая цена от старой версии, но она позже изменится.
Да, будет - даты новостей генерятся либо задним числом (для публикации всех новостей сразу), либо в виде отложенной публикации. Кол-во новых страниц указывается при импорте кеев. В видео я про это рассказывал.
Это будет известно в новой теме, в соответствующем разделе через день-два )
С СЕДом если и есть что-нибудь похожее, то это только совпадения, т.к. ни разу даже не запускал его. Новая версия получила свое начало с чистого листа бумаги.
Всю нагрузку теперь берет на себя крон, который кеширует новости. Затем эти новости просто быстро выводятся из кеша.
Оптимизированы все запросы к базе данных, нагрузка минимальная.
Да, это будет не бесплатное обновление. Дорген переписан с нуля, проделана большая работа. Поэтому для перехода на новую версию будет небольшая плата для существующих пользователей. Об этом я говорил и раньше на форуме.
Всем привет и с праздниками!
До 10 мая действует акция - 20% скидка на покупку доргена, а также модулей клоакинга и комментариев!
Также действует система промокодов!
Для приобретения пишите в аську: 775084 или скайп: alexz006 или другие контакты.
Всем привет!
В честь праздника дорген можно приобрести со скидкой 23% - 154$
Акция действует до 23 февраля, 23:23 :)
Дополнительно действует система промокодов!
Для приобретения пишите в аську: 775084 или скайп: alexz006
Рад сообщить, что на форуме заработал раздел "ресурсы", где вы сможете продать свои шаблоны или же наоборот, купить их :)
Доступ к ресурсам происходит автоматически после оплаты через Вебмани или Робокассу (позже будет добавлен Unitpay). Вы можете продавать не только шаблоны, но и товары и/или услуги, для которых возможна автоматическая оплата.
Подробнее...
Также хочу напомнить, что 15.01.2016 закачнивается новогодняя акция:
- скидка 35% на приобретение доргена с открытым кодом + конвертер шаблонов с DLE + доступ на форум + модуль комментариев - за все 130$ !
- скидка 50% на покупку модуля клоакинга.
Прочитал тему и понял, что принцип работы Сеодора многим пока не понятен. Хочу немного разъяснить как он парсит:
В конфиге доргена подключены парсеры с разных источников, и при генерации страницы выбирается рандомно один парсер, через который идет парсинг.
При следующей генерации страницы снова выбирается рандомный парсер. Вероятность того, что выберется тот же парсер, что и в первом случае мала. Т.е. здесь уже идет таймаут между запросами парсинга с одного источника. На самом деле, баны от ПС при парсинге по такому алгоритму минимальны, даже если работает не один дор. Но если уж получили бан от ПС, то можно добавить дополнительных IP на сервак, что снова увеличивает шансы на успех при парсинге.
Теперь о нагрузке. Понятное дело, что при парсинге идет нагрузка, а если еще и в несколько потоков то тем более. Но Сеодор в добавок может не просто парсить сниппеты, он еще может переходить на сайты из этих сниппетов и их парсить. Здесь нагрузка просто неизбежна. Добавим к этому еще и парсинг картинок и видео.
Как решить эту проблему?
- заранее кешировать страницы перед отдачей их ботам;
- составлять шаблоны таким образом, что в сутки, например, будет появляться только по 25 новых страниц, а остальные страницы будут выдаваться из кеша;
- заготавливать свою текстовку и отдавать ее при генерации страниц;
- использовать режим статики в доргене или статический кеш.
В этой теме кидали ссылку на тему с форума сеодора по поводу нагрузки - у кого есть доступ, посмотрите этот ответ, если интересно. Вкратце, пользователь использовал в шаблоне такие конструкции макросов, которые открывали по 25 раз файл с кеями по 12 мегабайт + sqlite базу карты сайта из 270к линков. Нагрузки разве не должно быть? Здесь размер файла кеев не имеет особого значения, нагрузка была из-за множественного открытия файлов.
Решение было найдено с помощью использования небольшого PHP-кода в шаблоне, т.к. под абсолютно все специфические задачи дорген заточен быть не может.
Есть также примеры от пользователей, которые успешно используют Сеодор уже не на первом своем сервере. Ограничения получаются не от нагрузки, а от размера жесткого диска на нем.
