SEDv4 «MobyDick» - полностью автоматизированная система масс генерации дорвеев

12
L!mur
На сайте с 26.06.2006
Offline
176
7970
Уважаемые пользователи форума SearchEngines.guru


SEDv4 - система созданная для массовой генерации дорвеев, основанная на генерации контента из текста, предварительно спаршенного из поисковых систем и сайтов.

Эта разработка прошла долгий путь от начала (2011 год), тестирований (весна 2012года), официального старта продадж (лето 2012 года) и до текущего момента.

За это время было произведено множество обновлений функционала и несчетное число bugfix'ов.

Что такое SEDv4 сегодня?



  • Это 100% работы только из административной панели после установки системы

  • Нет необходимости каждый раз устанавливать генератор или что-то куда-то самостоятельно заливать. Все делается из централизованной панели управления. Все домены дорвеев и сами дорвеи управляются из одного места!

  • Шаблонизация:


  • Простая структура шаблонов, которую, с легкостью, освоит даже новичок

  • Встроенный менеджер и редактор шаблонов (создание/редактирование, импорт/экспорт шаблонов)

  • Возможность предпросмотра шаблона, создаваемого в редакторе

  • Парсинг и генерация контента:


  • Встроенные парсеры видео (9), изображений (9) и текста сниппетов (21)

  • Универсальный парсер текста сайтов из выдачи.

  • Возможность использовать предложения спаршенного текста as is или генерировать из них контент на основе 2-х алгоритмов

  • Возможность парсить контент с использованием: основного IP сервера, интерфейсов (дополнительных IP сервера), а также socks5/proxy, с авторизацией и без. Дополнительно могут быть настроены таймауты парсинга, лимит ошибок прокси.

  • Логика парсинга предусматривает возможные проблемы (бан прокси, интерфейса, недоступность сайта) и использует все имеющиеся возможности, чтобы получить контент

  • Возможность создания собственных парсеров

  • Фильтрация и обработка контента:


  • Фильтрация текста по языку (содержание кириллицы/латиницы), позволит не засорять дорвеи тем или иным видом языка в контенте.

  • Фильтры (удаление лишнего) и нормализаторы текста (приведение первой буквы предложения к верх регистру, точка в конце предложения и т.д.), позволяют избавиться от лишнего мусора в нем и привести его к читаемому виду.

  • Создание собственных фильтров текста на основе регулярных выражений

  • Фильтрация доменов позволит избежать парсинга контента с заведомо некачественных сайтов (бесплатные домены) и ограничить зону парсинга более-менее нормальными доменными зонами

  • Макросы:


  • 72 макроса, позволяющих создавать максимально уникальные и сложные структуры контента на странице, в том числе возможность создавать полную и короткую новости, выводить заданное количество и тип контента в нужных местах и многое другое.

  • Возможность создавать собственные макросы (требуется знание PHP)

  • Ключевые слова:


  • Базы ключевых слов. Модуль, в который вы можете загрузить один раз свои базы ключевых слов, а затем использовать их постоянно уже из админ.панели.

  • Парсинг ключевых слов из статистики самих дорвеев в Li.ru

  • Поддержка Multikey - ключевые слова с дополнительными параметрами (Блузка женская;размер:38;цена 2000 руб)

  • Саморазрастание и отложенная публикация:


  • Умная система разрастания (разрастание можно вкл. и выкл.): ключ создаваемой страницы сравнивается с ключом текущей страницы и если процент совпадения меньше заданного (настраивается), такая страница создана не будет. Это позволяет сохранить тематичность разрастания.

  • Дополнительная фильтрация разрастания на основе групп стоп-слов. Под каждую тематику и случай, вы сможете создать свою группу стоп-слов для разрастания.

  • Отложенная публикация позволит создать видимость естественного наполнения

  • Работа с посетителями:


  • Встроенная клоакинг-система позволяет не показывать роботам, то, что вы показываете обычным посетителям, например фрейм на весь сайт. Существует возможность вести и добавлять свою базу поисковых роботов, а также пользоваться нашей (наша новая система сбора находится в разработке, она заменит базу redsed)

  • Статистика:


  • Модуль статистики посещаемости собирает статистику из сервиса Liveinternet.ru и позволяет видеть реальную посещаемость групп ваших дорвеев

  • Создание дорвеев и их заливка/отображение на сервере:


  • Нет сотен и тысяч файлов, как у статических генераторов.

  • - Если дорвеи располагаются на сервере с ядром системы - создается просто домен, а его DocumentRoot направляется на папку SEDv4 ядра.
    - Если дорвеи располагаются на стороннем хосте - генерируются файлы-терминалы (index.php и .htaccess) и только эти 2 файла заливаются в папку домена.


  • Поддержка создания групп дорвеев. Чтобы не путаться в тысячах дорвеев.

  • Система профилей. Позволяет создавать наборы предварительных настроек/правил, по которым будет создаваться группа дорвеев: выбор используемых шаблонов, баз ключевых слов, тайтлов, конфигураций ЧПУ страниц и путей к изображениям, наборов парсеров, фильтра языка, вкл/выкл разрастания, клоакинга и другие пред. настройки.

  • Помимо удобного массового создания, SEDv4 позволяет удобно размещать дорвеи на вашем оборудовании:


  • - Создание доменов дорвеев через встроенный модуль ISPmanager API: создает домены на сервере автоматически, при генерации группы дорвеев, а также удаляет домены с сервера, при удалении группы. Актуально только для генерации дорвеев на одном с ядром системы сервере.
    - Заливка дорвеев через встроенный FTP менеджер Актуально для дорвеев, расположенных на отличных от веб-сервера ядра системы хостах.

    Система кеширования:


  • Комплексная система кеширования: файловый кеш (страницы и конфиги) + информация хранящаяся в БД MySQL (используется для перегенерации страниц, в случае удаления файлового кеша, чтобы избежать повторного парсинга информации).

  • Мы неоднократно переделывали нашу систему, пытаясь найти оптимальные варианты по соотношению нагрузка/производительность. Прошлой весной, основываясь на предыдущем опыте, мы внесли серьезные изменения в архитектуру системы, полностью переписав frontend часть.

    По откликам наших пользователей это в разы улучшило ситуацию с нагрузкой и позволило дополнительно размещать сотни дорвеев на тех же мощностях за счет снижения нагрузки.

    Обновление системы:


  • Модуль обновления, который позволяет максимально упростить обновления систем для наших клиентов.

  • Технические ньюансы:


  • MVC архитектура, модульность

  • Реализация на популярном фреймворке symfony (полностью переписанная frontend часть) + ORM Doctrine (MySQL)

  • 3 Уровня кэширования, страницы в итоге сводятся в статику

  • Масштабирование всей системы, для каждого домена отдельная БД

  • Парсеры написаны с помощью XPath, что сводит время парсинга страницы практически к 0, время работы парсеров = время загрузки донор-страницы

  • Модуль установки с минимумом телодвижений

  • Работает на apache+mod_rewrite+mysql+php 5.3 или nginx + mod_php/php-cgi/php-fpm (core 5.3 or higher) + mysql

  • Необходим IonCube


  • Нагрузка, ресурсы:


    SEDv4 рассчитан на работу с большими объемами дорвеев и на опытных вебмастеров, в области создания большого количества трафикодобывающих сайтов.

    Поскольку вся нагрузка лежит на ядре системы, мы рекомендуем примерно такие конфигурации серверов под него:

    Intel Xeon™ E3-1230v2 (или близкий по параметрам), от 8-16 gb RAM

    Как показала практика и отзывы наших пользователей, одним из ключевых моментов конфигурации сервера является SSD (от 64 gb в зависимости от планируемого количества дорвеев) диск под базу данных. По отзывам пользователей скорость работы системы и ее стабильность на SSD в разы лучше HDD.

    Если вы не планируете массово работать, посмотрите в сторону двух других наших решений - WordpreSED или DLESED (тест марафон)

    По вопросам приобретения SEDv4 обращайтесь по контактам



    Текущая цена





    Руководство пользователя

    Сайт продаж

    Связанные топики на этом форуме:

    Предыдущий топик продаж

    SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

    Другие наши продукты:

    WordpreSED - генератор автонаполняемых дорвеев на CMS Wordpress
    TwiFarm v3 - скрипт автоматического создания human like активности на сотнях и тысячах твиттер аккаунтов (твиттинг, ретвиттинг, реплаинг, фоловинг и анфоловинг на полном автомате)
    DLESED - генератор дорвеев на CMS DLE

    10'000 руб/сутки на SEDv4 «MobyDick»! (/ru/forum/comment/12653555) Нужен трафик? Купи «SED» (http://www.sedv4.ru) 5'000 руб/сутки на SEDv3 (/ru/forum/comment/11641425) Для работы с Twitter только TwiFarmv3! (/ru/forum/839117)
    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #1
    Уважаемые пользователи!

    В связи с наступлением праздничной, предновогодней поры и непростой экономической ситуацией, колебаниями курса USD/RUR, мы хотим сделать вам подарок, в виде праздничной, новогодней акции




    Следите за началом акции и условиями на официальном сайте продаж SEDv4 и в этом топике!

    Или узнайте условия прямо сейчас, обратившись к нам по контактам:




    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #2
    Уважаемые пользователи!

    Продолжение приключений Марти





    Акция официально стартовала сегодня, 22.12.14!

    По условиям акции любой может приобрести SEDv4 (+дополнительная скидка 15%) за:





    Акции также проходят по:

    TwiFarm v3 - скрипт автоматического создания human like активности на сотнях и тысячах твиттер аккаунтов (твиттинг, ретвиттинг, реплаинг, фоловинг и анфоловинг на полном автомате)
    DLESED - генератор дорвеев на CMS DLE

    Условия покупки плагина WordpreSED (идет переходный период с v1 на v2), уточняйте у нас, по контактам:







    P
    На сайте с 01.03.2012
    Offline
    63
    #3

    Работаю с SEDv4 уже 1.5 года. С самого начала бета-тестов - я верно тестировал, улучшал и помогал авторам в реализации доргена, который можно было бы назвать "лучшим".

    Какие его достоинства?

    - Текст парсится с статей сайтов + сниппеты. При уникализации - получается идеальный тематический текст.

    - Возможность автоматизации из-за простой структуры шаблона и вообще работы

    - Легко дорабатывать под свои нужды

    Вот стата последней "мамки" SED'a, где RU-Download доры:

    40 дорвеев. Старт - дата на графике.


    Стата по данной "мамке": (недавно начал лить на свои ПДП)


    Вот с автопродаж

    Вот так вот выглядит работа одного отдельного дорвея:

    Старт - дата на графике


    Могу однозначно сказать, что среди конкурентов - достойней SEDa - вряд-ли кого найдете.

    exarh
    На сайте с 28.03.2010
    Offline
    503
    #4
    pqbd:
    Какие его достоинства?

    Встречный вопрос к вам. Какие его недостатки?

    и еще нескромный вопрос.

    Ваши доры под андроид инсталлы тоже на этом доргене?

    Монетизируй (https://publishers.propellerads.com/#/pub/auth/signUp?ref_id=tnE) свой сайт с выгодой
    P
    На сайте с 01.03.2012
    Offline
    63
    #5
    exarh:
    Встречный вопрос к вам. Какие его недостатки?

    и еще нескромный вопрос.

    Ваши доры под андроид инсталлы тоже на этом доргене?

    Недостатки:

    - Крайне редкие обновления

    - Много баг в интерфейсе - он попросту "плохо" проработан

    - Немного неудобный менеджер дорвеев

    - Слишком мало макросов (хотя все нужные - есть), но выбор можно было и обширней сделать

    Да, все доры у меня на SEDe

    L!mur
    На сайте с 26.06.2006
    Offline
    176
    #6

    pqbd, благодарим за отзыв!

    pqbd:
    Недостатки:
    - Слишком мало макросов (хотя все нужные - есть), но выбор можно было и обширней сделать

    Мы не можем сказать что 72 макроса, а с 3.02 их стало 80, это "мало макросов", тем более, учитывая наличие, примерно, 60 модификаторов, которые есть у этих макросов, позволяющих изменить информацию, которую они выводят.

    Одновременно с этим, мы прекрасно понимаем, что макросы, расширяют использование генератора, их не может быть много или достаточно, потому что их может существовать бесконечное множество. Учесть все нужды не представляется возможным, потому что у каждого свои идеи и потребности.

    В связи с этим, каждый может написать самостоятельно макроcы к SEDv4 или заказать разработку на платной основе, если у него нет знаний PHP или макрос требует вмешательства в основной код продукта.

    pqbd:

    - Крайне редкие обновления
    - Много баг в интерфейсе - он попросту "плохо" проработан
    - Немного неудобный менеджер дорвеев

    Именно из-за плохого usability, к которому привел бесконтрольный рост генератора (множество апдейтов абсолютно различной направленности). Сейчас ведется разработка нового интерфейса, изменения глобальные, по этой причине выходят лишь редкие апдейты, когда кто-то заказывает платные доработки и bugfixes.

    Новый build будет включать в себя также новую cloacking систему, некоторые другие интересные новшества и более продуманный дизайн.

    Мы обязательно завершим этот апдейт, он исправит многие недочеты в SEDv4 :)

    R
    На сайте с 16.08.2009
    Offline
    44
    #7

    Работаю с SED уже три года. За это время дорген зарекомендовал себя с лучшей стороны. Простой в использовании и нетребовательный к ресурсам (при должной настройке сервера).

    Что касается последнего, 32гБ ОЗУ и SSD – это оптимальный вариант и вполне недорого.

    Естественно, в качестве вебсервера использую nginx + php-fpm. На нем хватит мощности развернуть 1000 сайтов, а может и больше. Главное правило – стараюсь не генерить за раз слишком много. Лучше добавлять потихоньку, по 100-150 дорвеев. Иначе, набежавшие боты просто положат сервак.

    Новые сайты лучше пройти индексатором, так они хорошо закешируются на сервере и странички будут быстро отдаваться.

    Сами дорвеи у меня размещаются на IP отличных от адресов ядра. Они могут быть на шаред хостингах, где множество хороших соседей. В этом случае используется php скрпт зеркала. Или же могут быть на дешевых ВПСках. Тут вообще можно обойтись без PHP, а использовать проксирование в nginx. У всего этого есть две причины - исключаю абузы на основной сервер и баны по IP.

    Для начала сделал около сотни шаблонов. Что бы ускорить процесс, написал небольшую утилиту для конвертации с популярных cms. Но при этом при последующей ручной доработке стараюсь их разнообразить как можно сильнее. В шаблонах использую как спаршенные сниппеты/статьи, так и уник контент с подмешанными ключами. Через некоторое время, когда количество сайтов перевалит за несколько тысяч можно собирать статистику и проводить анализ. Для этого сумма трафика со всех доров на одном шабе делится на количество доров. Получаю средний индекс эффективности шаблона. Таким образом, отбираю те шабы (и, соответственно, признаки), которые дают наибольший результат, и полностью отказываюсь от тех, которые не приносят такового.

    Что касается макросов – может показаться, что их много. Но через некоторое время я понял, что кое-чего не хватает. К счастью, в SED есть возможность расширить функционал, написав собственные макросы. Чем я и воспользовался.

    Собственно, чего добился при помощи SED.

    Cтата по LoadPays:

    Это второе место в топе. Я нахожусь в ТОП 10 постоянно уже на протяжении 1.5 лет, как начал работу с сед4.

    В связи с падением рубля потихоньку перебираюсь в бурж. Решил начать с фармы. Работаю чуть больше месяца, еще все скромно. Но без использования «пирогов». Вот стата с Stimulcash:

    groupwm
    На сайте с 30.10.2011
    Offline
    136
    #8

    Сегодня 26.03.15 нах нам стата за 15.02.15???? А после февраля все в бан полетело?

    R
    На сайте с 16.08.2009
    Offline
    44
    #9

    groupwm, мне лень было новые скрины делать ))

    Все в бан - это мало вероятно. Щас как-то так...

    Y
    На сайте с 28.09.2011
    Offline
    128
    #10

    rostunov, Я конечно против седа ничего не умею, так как пользуюсь другим софтом этой команды. Вы оставляли такой отзыв в том году, прям сед дорген кнопка бабло)

    12

    Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий