Если вы хотите что-то спросить, спрашивайте - Doorways & Cloaking

SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

L!mur · 2020-07-28T15:09:29.0000000Z

Уважаемые пользователи! Данный топик было решено открыть, чтобы пользователи данного форума, в том числе наши клиенты, которым удобней общаться посредством именно этого форума, без ограничений могли задавать вопросы, касающиеся системы генерации дорвеев SEDv4, а мы могли в рамках данного форума отвечать на них. Топик носит исключительно информационный характер. Этот топик: 1) Не создан, что бы устраивать батлы вроде "SEDv4 VS [другой генератор]". Мы никогда себя ни с кем не сравнивали, у нас всегда был свой путь, свои идеи. Мы уважаем создателей других систем и просим вас поступать также. 2) Не создан для ответов на вопросы, касающиеся ценообразования, условий лицензионного соглашения и других подобных моментов как-либо затрагивающих тему продаж. 3) Не создан для оскорблений, любого рода упреков, флуда, троллинга и вопросов вида "а почему у вас нет [название функционала]?". 4) Создан для конструктивного обсуждения, ваших вопросов по системе, высказывания идей по развитию, различного рода предложений по улучшению существующего функционала, указания на недостатки системы 5) Создан для информирования пользователей об обновлениях и нововведениях, нестандартных решениях, с использованием имеющегося функционала и других интересных вещах. Возможности системы: http://www.sedv4.ru/#desc 99% работы с SEDv4 это работа в административной панели 34 парсера сниппетов, 10 парсеров видео контента, 13 парсеров изображений Возможность создания своих парсеров (!) Парсинг через socks5/proxy, с авторизацией и без Парсинг через interfaces сервера (дополнительные IP сервера) (!) Поддержка IPv6 для работы с interfaces (!) Парсинг с IP сервера Логика продвинутого контента (!) (теперь мы парсим контент и с сайтов!) Встроенная нормализация сниппетов Возможность создавать свои регулярные выражения для чистки сниппетов (!) Фильтрация сниппетов по языку (кириллица/латиница) (!) Логика разрастания (!) Контроль разрастания (ВКЛ/ВЫКЛ, стоп-слова) Встроенный клоакинг с обновляемой базой IP (!) и возможностью использовать собственные списки IP, а также любых признаков из строки User Agent. Встроенная статистика (!) Глобально/для группы/для каждого домена с возможностью задавать User Agent'ы и получать по ним статистику посещений Поддержка групп дорвеев Создание профилей (!)/клонирование уже существующих Массовая генерация групп дорвеев по профилю (!) Возможность создавать дорвеи по одному Отложенная публикация (!) с имитацией обычного сайта (новости можно публиковать в определенные временные промежутки, с рандомными интервалами) Кеширующий и Публикующий кроны, создают абсолютно автономную от оператора, жизнь дорвея Упрощенная шаблонизация Создание файлов шаблона и редактирование шаблонов из админ панели (!) Профили категорий (!) (стирают стандартные границы шаблона, теперь вы можете использовать разные категории разных шаблонов для одно дорвея) Возможность использовать вымышленные названия категорий, в таком случае будет использован default шаблон, для генерации страниц Простое подключение инклюдов к шаблону (информация хранится в БД, а не в файлах) Более 50-ти (!) различных макросов Возможность создания своих макросов (!) Возможность перелинковывать дорвеи на полном автомате Настраиваемое ЧПУ дорвеев Шифрование ссылок на изображения (!) (внешие ссылки выглядят как локальные) Свои ключевые слова для определенных категорий дорвея (!) Хранение всех баз ключевых слов в одной админке Полностью управляемое кеширование (!) (настройка времени жизни кеша для групп доменов или каждого домена по отдельности, удаление кеша) Кеширование страниц в файловую статику Кеширование необходимых данных страниц (сниппеты, видео, изображения) в БД MySQL 2 метода отображения дорвеев на их доменах Работа с Рев.Методом (!) Если дорвеи располагаются с материнской установкой на одном сервере, Вам достаточно просто направить их DocumentRoot на папку мамы, чтобы они включились с ней во взаимодействие и начали работать (!) Автоматическая система обновления (!) Логгирование работы парсеров, с выводом лога в определенном разделе админ панели Авторегистрация дорвеев, при их создании, в сервисе статистики li.ru Новости/информация об апдейтах теперь выводится в административной панели С технической стороны: MVC архитектура, модульность Реализация на популярном фреймворке symfony + ORM Doctrine (MySQL) 3 Уровня кэширования, страницы в итоге сводятся в статику Масштабирование всей системы, для каждого домена отдельная БД Парсеры написаны с помощью XPath, что сводит время парсинга страницы практически к 0, время работы парсеров = время загрузки страницы с ПС Модуль установки с минимумом телодвижений Работает на apache+mod_rewrite+mysql+php 5.3 Необходим IonCube User Guide (Руководство пользователя) Полезные статьи из руководства: Порядок действий по созданию дорвеев на SEDv4 2 способа отображения дорвеев, сгенерированных системой, на доменах для них предназначенных Как происходит обновление системы и затрагивает ли оно ваши дорвеи? Парсинг продвинутого контента (что такое продвинутый контент и как это работает?) Крон ссылки SEDv4 (что заставляет ваши дорвеи "оживать"?) Как происходит парсинг в SEDv4? Все о шаблонах SEDv4 и Макросы SEDv4 Встроенный клоакинг SEDv4 (что это и как работает?) Кеширование в SEDv4 (как устроена система кеширования?) Сколько дорвеев выдержит SEDv4 (что показали проведенные нагрузочные тестирования?) Как мы и обещали в топике продаж , мы начинаем освещать функции и логику работы СЕД4 МобиДик. Наш программист не ведущий центральных новостей, не диктор, поэтому просим отнестись с пониманием к данным роликам, основная задача которых, дать пользователю аудио-визуальное представление о том, как наша система работает :) В будущем видео будет переснято. Создание архива в личном кабинете, заливка, установка Обзор основных элементов административной панели. Какие функции они выполняют? Рассказ о ключевых элементах парсинга, о том как работает логика парсинга Система фильтрации, чистки и нормализации текстового контента Отложенная публикация и логика разрастания. Как это работает? Добавление и генерация дорвея для одного домена Добавление и генерация группы дорвеев Если у вас возникли какие-либо вопросы по системе, по функционалу, логике работы, пишите - ответим, расскажем, поможем!

X

55

xordeer

11 июля 2013, 09:04

#81

vladosik:
Примерное время вы можете сказать, если сервер находится в Нидерландах, парсятся и выводятся сразу 3 поисковика - Youtube, Ask, Aol. Или даже у вас с какой скоростью грузится страница с примерно такой же конфигурацией парсеров.

3-5 секунд с первоначальным парсингом

vladosik:

xordeer, я не профессиональный программист и в своей жизни таких встречал всего пару раз на dev conf и обычно в онлайне вижу на stackowerflow. Я спрашивал про то, что если человек типа "программист", то код на symphony будет выглядеть как говнокод.

Да и не вижу я смысла хамить мне за обычное разъяснение что да как человеку, который что то писал про качество кода на предыдущей странице. Если вам все таки хочется поспорить, то аргументируйте, а не "Если бы да кабы...".

Моя реакция - исключительно на этот перл:

Учитывая то, что тут используется symphony, то если код писал не реальный перец, то все будет выглядеть как псевдо код или как в старинке говнокод.

Но теперь все встало на свои места

xordeer, я не профессиональный программист и в своей жизни таких встречал всего пару раз на dev conf и обычно в онлайне вижу на stackowerflow.

Если вы хотите что то спросить - спрашивайте.

Пока тут уже вторую страницу я наблюдаю рефлексивные попытки самоутверждения теоретиков, даже не видвших кода )))

ВКонтакте появились «Реакции» Яндекс изучил, как изменилась Как люди используют поиск

54

vladosik

11 июля 2013, 09:22

#82

vladosik Вас никто не хотел обидеть. Вы, не профессиональный программист, не видели кода, приходите в топик и начинаете выстраивать теорию, высказывать предположения, что было-бы, если бы.

Пока тут уже вторую страницу я наблюдаю рефлексивные попытки самоутверждения теоретиков, даже не видвших кода )))

Ну ведь я просто высказал мнение по symphony и о том, что если пишет на нем плохой программист, то код будет плохим.

176

L!mur

11 июля 2013, 09:25

#83

vladosik:
Ну ведь я просто высказал мнение по symphony и о том, что если пишет на нем плохой программист, то код будет плохим.

А если хороший, то код будет хорошим. Мы понимаем, у нас с логическим мышлением тоже все достаточно неплохо :)

10'000 руб/сутки на SEDv4 «MobyDick»! (/ru/forum/comment/12653555) Нужен трафик? Купи «SED» (http://www.sedv4.ru) 5'000 руб/сутки на SEDv3 (/ru/forum/comment/11641425) Для работы с Twitter только TwiFarmv3! (/ru/forum/839117)

M

63

MUTOgenn

11 июля 2013, 09:44

#84

L!mur:
А если хороший, то код будет хорошим. Мы понимаем, у нас с логическим мышлением тоже все достаточно неплохо :)

а можно вопрос?

вы продаете продукт как собственность некоторой фирмы/компании или как частное лицо/лица?

I-paper (http://www.i-paper.ru).

[Удален]

11 июля 2013, 10:50

#85

Можно вопрос? При помощи этой штуки можно делать ДДЛы?

363

Dos3

11 июля 2013, 10:53

#86

ддлы можно из любой ... делать

а вот зддл - не из любой

извеняюсь за флуд

X

55

xordeer

11 июля 2013, 11:02

#87

MUTOgenn:
а можно вопрос?
вы продаете продукт как собственность некоторой фирмы/компании или как частное лицо/лица?

Собственность группы лиц http://www.sedv4.ru/license-agreement.html

Можно вопрос? При помощи этой штуки можно делать ДДЛы?

При помощи этой штуки можно генерить html контент. А что это будет на выходе - зависит от шаблона.

ддлы можно из любой ... делать
а вот зддл - не из любой
извеняюсь за флуд

зддл?

363

Dos3

11 июля 2013, 11:05

#88

xordeer:
зддл?

заипатые доры для людей

3

D3

55

DEM333

11 июля 2013, 11:11

#89

xordeer:
Собственность группы лиц

это ниочем. номер свидетельства об авторском праве? и юрисдикция?

X

55

xordeer

11 июля 2013, 11:35

#90

DEM333:
это ниочем. номер свидетельства об авторском праве? и юрисдикция?

Вы сейчас что пытаетесь выяснить и для чего ? )

Дзен реализовал для авторов возможность вывода денег через СПБ

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе