SEDv4 «MobyDick» - полностью автоматизированная система генерации сайтов/дорвеев

12
L!mur
На сайте с 26.06.2006
Offline
176
9519
Уважаемые пользователи форума SearchEngines.RU

Представляем вам новую, долгожданную разработку от команды «SED»



SEDv4 «MobyDick»


Данный программный комплекс разрабатывался нами в период с июля 2012 по настоящий момент.

За этот год разработки комплекс претерпел сотни обычных, рядовых и десятки кардинальных изменений, включая смену CMF.

2 месяца назад 10 пользователей получили возможность принять участие в функциональных и нагрузочных тестированиях данного комплекса.

С их результатами может ознакомиться любой, зарегистрированный на нашем форуме, человек.

Вот некоторые интересные посты и выдержки, которые мы размещали на данном форуме, во время тестирований: 1, 2, 3, 4, 5

Остальную информацию читайте в блогах тестеров

Так что же такое SEDv4 «MobyDick»?

  • 99% работы с SEDv4 это работа в административной панели
  • 34 парсера сниппетов, 10 парсеров видео контента, 13 парсеров изображений
  • Возможность создания своих парсеров (!)
  • Парсинг через socks5/proxy, с авторизацией и без
  • Парсинг через interfaces сервера (дополнительные IP сервера) (!)
  • Поддержка IPv6 для работы с interfaces (!)
  • Парсинг с IP сервера
  • Логика продвинутого контента (!) (с)SED Team (теперь мы парсим контент и с сайтов!)
  • Встроенная нормализация сниппетов
  • Возможность создавать свои регулярные выражения для чистки сниппетов (!)
  • Фильтрация сниппетов по языку (кириллица/латиница) (!)
  • Логика разрастания (!) (с)SED Team
  • Контроль разрастания (ВКЛ/ВЫКЛ, стоп-слова)
  • Встроенный клоакинг с обновляемой базой IP (!) и возможностью использовать собственные списки IP, а также любых признаков из строки User Agent.
  • Встроенная статистика (!) Глобально/для группы/для каждого домена с возможностью задавать User Agent'ы и получать по ним статистику посещений
  • Поддержка групп дорвеев
  • Создание профилей (!)/клонирование уже существующих
  • Массовая генерация групп дорвеев по профилю (!)
  • Возможность создавать дорвеи по одному
  • Отложенная публикация (!) с имитацией обычного сайта (с)SED Team (новости можно публиковать в определенные временные промежутки, с рандомными интервалами)
  • Кеширующий и Публикующий кроны, создают абсолютно автономную от оператора, жизнь дорвея
  • Упрощенная шаблонизация
  • Создание файлов шаблона и редактирование шаблонов из админ панели (!)
  • Профили категорий (!) (с)SED Team (стирают стандартные границы шаблона, теперь вы можете использовать разные категории разных шаблонов для одно дорвея)
  • Возможность использовать вымышленные названия категорий, в таком случае будет использован default шаблон, для генерации страниц
  • Простое подключение инклюдов к шаблону (информация хранится в БД, а не в файлах)
  • Более 50-ти (!) различных макросов
  • Возможность создания своих макросов (!)
  • Возможность перелинковывать дорвеи на полном автомате
  • Настраиваемое ЧПУ дорвеев
  • Шифрование ссылок на изображения (!) (внешие ссылки выглядят как локальные)
  • Свои ключевые слова для определенных категорий дорвея (!)
  • Хранение всех баз ключевых слов в одной админке
  • Полностью управляемое кеширование (!) (настройка времени жизни кеша для групп доменов или каждого домена по отдельности, удаление кеша)
  • Кеширование страниц в файловую статику
  • Кеширование необходимых данных страниц (сниппеты, видео, изображения) в БД MySQL
  • 2 метода отображения дорвеев на их доменах
  • Работа с Рев.Методом (!)
  • Если дорвеи располагаются с материнской установкой на одном сервере, Вам достаточно просто направить их DocumentRoot на папку мамы, чтобы они включились с ней во взаимодействие и начали работать (!) (с)SED Team
  • Автоматическая система обновления (!)
  • Логгирование работы парсеров, с выводом лога в определенном разделе админ панели
  • Авторегистрация дорвеев, при их создании, в сервисе статистики li.ru
  • Новости/информация об апдейтах теперь выводится в административной панели


С технической стороны:

  • MVC архитектура, модульность
  • Реализация на популярном фреймворке symfony + ORM Doctrine (MySQL)
  • 3 Уровня кэширования, страницы в итоге сводятся в статику
  • Масштабирование всей системы, для каждого домена отдельная БД
  • Парсеры написаны с помощью XPath, что сводит время парсинга страницы практически к 0, время работы парсеров = время загрузки страницы с ПС
  • Модуль установки с минимумом телодвижений
  • Работает на apache+mod_rewrite+mysql+php 5.3
  • Необходим IonCube

Для вас мы сделали максимально подробный User Guide. В руководстве изложены не только описания настроек, но и описана сама логика работы различных функций SEDv4.

К сожалению, по техническим причинам нам не подходит проведение вебинара и мы решили записать качественное видео (1-3 часа видео с комментариями о настройках МобиДика и логике его работы), это видео станет отличным превью к мануалу и еще больше раскроет все тонкости работы с системой!

Видео будет доступно в течение нескольких дней на главной странице Руководства http://wiki.sedv4.ru/

Минимальные требования к серверу

Вы должны понимать, что мы можем перечислить лишь требования к софтовой "начинке" сервера, но никак не к железу, потому как "прожорливость" софта зависит лишь от того, как и при каких обстоятельствах он будет использован, сколько дорвеев будет на нем, какие объемы кеша будут у этих дорвеев и многое другое.

Все зависящее от нас, по оптимизации кода и архитектуры БД MySQL, сделано.

Ознакомьтесь с результатами проведенного, после оптимизации архитектуры БД, эксперимента.

  • PHP 5.3 и выше (сборка должна быть дефолтная, со всеми включенными в нее модулями, а не урезанная/кастомная, единственное хочется выделить CURL модуль)
  • MySQL
  • Apache+Mod_Rewrite
  • IonCube loader


Лицензия предоставляется на 3 IP, это значит что ядро системы, единовременно, может быть установлено на 3 IP адреса (например это будет 3 сервера).

Ядро способно управлять как дорвеями находящимися на одном с ним сервере, так и доменами, находящимися на удаленных серверах (shared hostings, vps, dedicated). Происходит это при помощи файликов-терминалов, которые вы заливаете на удаленные домены.
Обычная цена для всех пользователей



Абонентская плата* (все условия написаны в Лицензионном соглашении)

Абонетская плата + обновления IP клоаки: 30 wmz или 990 wmr


* Это написано в Лицензионном соглашении, но все же: абонентская плата оплачивается пользователем по желанию. Оплата а.п. влияет только на обновления и не влияет на работоспособность софта. Не оплачивая а.п. вы сможете использовать последнюю доступную вам версию.

Внимание: в связи с тем, что обновления неотделимы от багфиксов, 2 месяца, в период с 2.07.13 по 2.09.13, плата за обновления взыматься не будет!

За это время, мы будем принимать сигналы от пользователей о возможных недостатках в функциях и устранять их бесплатно.



Дополнительная лицензия на IP

Стоимость дополнительной лицензии на 1 IP: 50 wmz или 1650 wmr


SEDv4 cо скидкой, для владельцев купленных SEDv3 лицензий



По вопросам покупки и другим предпродажным вопросам обращайтесь в icq или ЛС.



10'000 руб/сутки на SEDv4 «MobyDick»! (/ru/forum/comment/12653555) Нужен трафик? Купи «SED» (http://www.sedv4.ru) 5'000 руб/сутки на SEDv3 (/ru/forum/comment/11641425) Для работы с Twitter только TwiFarmv3! (/ru/forum/839117)
L!mur
На сайте с 26.06.2006
Offline
176
#1
Уважаемые пользователи!

По многочисленным просьбам, мы сделали демо версию.

Это доступ в лимитированную, по своим возможностям, административную панель SEDv4 «MobyDick».

Скрипт был сильно изменен, поэтому если вы обнаружите какие-либо баги, недостатки - просьба сообщить нам, мы исправим.

Для получения доступа вам необходимо:

1. Зарегистрироваться

2. Сообщить нам параметры своей учетной записи (ник или email), мы вас активируем

3. Вы можете войти под своей учетной записью.

Ограничения:

  • Вы можете создать только 3 домена по 50 ключей на каждый, не более.
  • Домены нужно добавлять так: site.ru. Так нельзя: site.ru/papka/
  • Уже создан 1 профиль. Вы можете создать второй, но не более одного.
  • Уже создана 1 БД ключей на 1к ключей. Вы можете создать свою, но не более одной.
  • Уже создан 1 профиль категорий, но вы можете создать свой, но не более одного.
  • Вы не можете изменять глобальные настройки.


  • Изначально была более простая процедура регистрации, но "доброжелателей" и завистников у нас много, поэтому мы решили избрать такой подход.

    Каждые сутки, в 00-00 все записи имеющиеся в базе автоматически удаляются.
    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #2
    Уважаемые пользователи!

    Апдейт от 04.09.2013

    Changelog v 09.01.00

    [Добавлено] Сортировка фильтров сниппетов - http://sedv4.reformal.ru/proj/?ia=494805
    [Добавлено] "Язык парсеров" в профиле - http://sedv4.reformal.ru/proj/?ia=494834
    [Исправлено] Парсер ImagesICQ - http://sedv4.reformal.ru/proj/?ia=494804
    [Исправлено] Таблица транслитерации ключей\категорий - http://sedv4.reformal.ru/proj/?ia=495643

    Оплатившие абонентскую плату за текущий месяц, могут обновиться при помощи встроенного модуля обновлений SED v4

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #3
    Уважаемые клиенты!

    Произведен ряд очередных изменений в SEDv4

    Changelog v SEP 1302


    [Добавлено] Проверка картинок на валидность, работает только с включенным шифрованием ссылок. Проверка идет на Content Type + 200ok http://sedv4.reformal.ru/proj/?ia=494801
    [Добавлено] Фильтры чистки сниппетов. Были добавлены следующие фильтры:

    • Первая буква предложения -> верхний регистр
    • Вырезать предложения короче N символов
    • Вырезать предложения короче N слов


    http://sedv4.reformal.ru/proj/?ia=496785 , http://sedv4.reformal.ru/proj/?ia=520705

    [Добавлено]Закрепление цветов на диаграмме статистики - http://sedv4.reformal.ru/proj/?ia=500062
    [Исправлено] Появление 404 страниц на сгенерированных дорах (фидбек пользователей)


    Также был переписан сервер системы дистрибуции, чтобы у пользователя была возможность скачивать все доступные для него (оплаченные) релизы скрипта.

    Теперь Вы, независимо от текущей версии скрипта, получаете возможность сгенерировать архив с любой, доступной Вам версией, на полном автомате. Этим мы исправили ситуацию, о которой говорилось в стартовом посте топика, на официальном форуме

    2. На данный момент, нет возможности автоматической упаковки апдейтов за каждый отдельный месяц, поэтому если возникнет ситуация, что в мае вам необходимо переехать от текущего хостера на другой IP, а обновления в последний раз вы оплачивали в марте, обратитесь в саппорт с просьбой создать пакет с мартовским релизом и укажите новый IP, мы в ручном режиме создадим (мера временная, в будущем сделаем автоматическую выдачу последних оплаченных архивов)



    В ближайшие 2 недели нас ожидает:


    • функционал автоматической заливки (не путать с автоматическим созданием доменов на сервере) файлов-терминалов после генерации пачки дорвеев. http://sedv4.reformal.ru/proj/?ia=497235
    • Пуш сгенерированных ссылок дорвеев в ваши TwiFarm http://sedv4.reformal.ru/proj/?ia=510938




    Возможности http://www.sedv4.ru/#desc
    Минимальные требования к серверу http://www.sedv4.ru/#requirements
    Порядок оплаты http://www.sedv4.ru/#payment
    Контакты и реквизиты http://www.sedv4.ru/#contacts

    По вопросам покупки и другим предпродажным вопросам обращайтесь в icq или ЛС.


    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #4
    Уважаемые клиенты!

    SEP1302 hotfix от 19.09.13

    [Исправлено] исправлена работа фильтров со спаршенными предложениями без точек.

    Рекомендуем обновиться.

    Также вниманию пользователей топик

    Ищем переводчика для мануала wiki.sedv4.ru RU->EN
    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #5
    Уважаемые пользователи!

    Changelog v SEP1303

    [Улучшено] Унифицирована конфигурация терминалов (index.php и .htaccess файлы), теперь данные файлы вынесены шаблонами в папку data/terminal/. Рабочие файлы htaccess.txt и mirror.txt . Изменения внесенные в эти файлы будут применены при скачивании терминала из админки. Там же присутствует параметр #domain# который заменится на домен админки при генерации.
    [Исправлено] Базовые фильтры сниппетов теперь нормально работают с сниппетами без предложений. Так же предложения после фильтрации разделяются пробелами.
    [Улучшено] Изменен механизм фильтровки сниппетов таким образом чтобы при 100% отфильтровке текста такой сниппет откидывался, а недостающие сниппеты допаршивались.
    [Исправлено] Исправлена 404 ошибка при использовании макроса sed_extlink_key
    [Добавлено] Менеджер заливки терминалов по фтп, а так же добавлен упрощенный метод генерации конфигов при генерации группы доменов. Теперь можно задать домены при генерации группы в формате:
    domain.ru|ftp://username:password@domain.ru/path/to/folder
    domain1.ru|ftp://username:password@domain1.ru/path/to/folder
    domain2.ru|ftp://username:password@domain2.ru/path/to/folder
    Данный параметр не являетя обязательным.
    [Добавлено] Интерфейс взаимодействия с менеджером заливки терминалов на фтп, а так же локализация даного интерфейса. Он присутсвует в утилитах отдельного домена, а так же в модуле управления группой доменов.
    [Исправлено] Исправлена работа функции востановления домена при использовании с механизмом шифрования ссылок на картинки.

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #6
    Уважаемые пользователи!

    Changelog v SEP1304

    [Добавлено] Модуль распределенного постинга ссылок в Twifarm - фермы по специальным ссылкам выдаваемым фермой начиная с версии 2.5.
    [Улучшено] Модуль генерации ссылок, для возможности генерить ссылки для постинга в фермы.
    [Добавлено] Модуль контроля ферм в глобальных настройках. Доступно добавление, редактирование, включение\выключения ферм.
    [Добавлено] Модуль постинга ссылок с домена в настроках отдельного домена "Утилиты" - "Twifarm загрузчик". В даном разделе можно загрузить в указанные, а так же включенные, вами фермы в конфигах. Загрузить можно главную страницу, определенное количество или процент всех ключей с домена, а так же определенное количество или процент ключей со всех категорий домена. Ключи будут равномерно распределены по всем фермам. Успешным действием считается 1 постинг в ферму, тоесть по факту один клик на кнопку "Загрузить".
    [Добавлено] Модуль постинга ссылок в фермы целой группы доменов, все аналогично постинга отдельного домена, но ошибки\успешные действия считаются как единица за домен. Тоесть "Успешно 10\5(15)" означает что было успешно загружено ссылки для 10 доменов, 5 доменов загрузились с ошибками, а всего доменов 15.

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #7

    Changelog v OCT1301

    [Исправлено] Валидация формы профилей в зависимости от выбраных опций. Таким образом если вы включите клоаку и не укажите ссылку то форма не пройдет валидацию и на соответствующем поле появится ошибка. Так же этот фикс касается галочки "templates simple"
    [Исправлено] Исправлен баг при создания домена в группе без фтп конфигов когда после создания такого домена невозможно было зайти на страницу фтп загрузчика группы.
    [Улучшено] Обновлена база IP поисковых роботов для клоакинга

    Уже ведется работа над опциональной интеграция седа с memcached. Мы рассчитываем, что этот функционал даст прирост в производительности. Рабочий функционал появится уже на следующей неделе.

    Актуализирован USER GUIDE

    [Добавлено] Глобальные настройки - Настройки TwiFarm
    [Добавлено] Настройки домена - FTP загрузчик
    [Добавлено] Настройки домена - TwiFarm загрузчик
    [Добавлено] Управление группой - FTP загрузчик
    [Добавлено] Управление группой - TwiFarm загрузчик
    [Обновлено] Глобальные настройки - Фильтры сниппетов

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #8



    Были выпущены 2 параллельных апдейта - OCT1302, OCT1303 (см. новость на форуме)

    В OCT1302 был добавлен ISP creator, модуль, который позволяет автоматически создавать домены на ваших серверах через API ISP manager при создании их через административную панель SEDv4. При удалении дорвеев из админ панели SEDv4, они также удалятся с сервера.

    OCT1303 был построен на базе многочисленных изменений кода, произошедших в октябре и направленных на оптимизацию запросов к базе данных и снижение нагрузки на оборудование.

    Данный билд был доступен в личном кабинете. Были начаты тестирования.

    OCT1304. (см. новость на форуме) Был протестирован билд OCT1303 и на его базе создан OCT1304, дополнительно был изменен и расширен принцип работы макроса [SED_ADVCONT].

    Теперь этот макрос инициирует парсинг сайтов из выдачи по ключевому слову непосредственно при формировании страницы при его наличии в коде темплейта.

    Макрос уже не завязан на статистику, посетителей и не публикует отложенный контент, он срабатывает во время его вызова на странице.

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #9

    OCT1304 hotfix

    [исправлено] из-за перехода на обновленную систему версий произошла непредвиденная рассинхронизация некоторых файлов, что повлекло за собой неправильную отработку модуля клоаки

    NOV1305

    [добавлено] функционал создания карты сайта для ваших дорвеев. С возможностью гибкой настройки таких параметров как: Priority, Changefreq. Lastmod.

    Было обновлено Руководство пользователя SEDv4, вся информация актуализирована и позволяет более подробно познакомиться с произошедшими изменениями


    [Добавлено] Добавить группу - Добавление доменов + ISPmanager
    [Добавлено] Управление группой - Утилиты - ISP creator
    [Добавлено] Настройки домена - Утилиты - ISP creator
    [Обновлено] Глобальные настройки - Главная
    [Обновлено] Главная - Способы отобразить ваши дорвеи на доменах-терминалах
    [Обновлено] Макросы - Таблица макросов SEDv4 с описанием
    [Обновлено] Продвинутый контент
    [Обновлено] Кеширование в SEDv4
    [Добавлено] Глобальные настройки - Утилиты - Sitemap config
    [Добавлено] Управление группой - Утилиты - Sitemap generator
    [Добавлено] Настройки домена - Утилиты - Sitemap generator
    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #10

    NOV1306

    В обновлении NOV1306 добавлена возможность управлять файлом robots.txt

    Вы можете изначально сделать это, задав шаблон файла в разделе Глобальные настройки - Утилиты - Robots config, а затем, при необходимости изменить конфигурацию данного файла как для доменов группы (Управление доменами - Утилиты - Robots config) так и для каждого домена в отдельности (Настройки домена - Утилиты - Robots config)

    #domain# = адрес вашего дорвея в виде domain.ru



    [добавлено] Очистка кэша из мэмкеша при очистке "файлового кэша"
    [добавлено] Проверка наличия сервера мэмкеша при наличии модуля мемкэша чтобы не пыталась система юзать мэмкеш когда его нет.
    [обновлено] Роуты при смене шаба меняют шаб на тот что у домена
    [обновлено] В заголовках сниппетов теперь 2 и более точек заменяются на 1 точку.
    [исправлено] Пофикшена работа фильтров сниппетов, с позапрошлой версии они не работали.

    NOV1306 fix

    [обновлено] убраны устаревшие пункты из глобальных настроек

    По вопросам покупки и другим предпродажным вопросам обращайтесь в icq или ЛС.






    12

    Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий