Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 30.01.2014, 15:37   #691
L!mur
что такое seo?
 
Аватар для L!mur
 
Регистрация: 26.06.2006
Сообщений: 2,262
Репутация: 163210
Отправить сообщение для L!mur с помощью ICQ

ТопикСтартер Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Что у нас нового?

DEC1308

1. Парсинг статистики из liveinternet (посетители, просмотры , парсинг ключевых слов по которым пришли)

Для интеграции парсера пришлось допилить структуру парсеров контента, таким образом теперь парсер лиру работает по тому же принципу что и парсер контента, тоесть присутствует ротация проксей и интерфейсов вашего сервера, а так же парсинг лиру выводится в лог седа. Для доступа к лиру используется пароль из socials_password глоб настройки.

Парсинг статы производится по крону /cron/liru_stats/ТОКЕН , для настройки парсинга добавлиась настройка liru_cron_domains_number которая определяет количество доменов парсинга за раз.

Парсинг сделан так чтобы парсить не рандомные домены а по порядку, тоесть последний домен предыдущего запуска крона запоминается и при следующем запуске крона будет парсинг начинатся со следующего домена.
Хранение данных будет или в файлах, или в мэмкеше, в зависимости от наличия мэмкеш сервера.

Парсинг ключевых слов так же будет идти по порядку по доменам и работать со сменой прокси\интерфейса в разных сессиях.

Для настроек парсинга добавились конфиги

liru_cron_queries_domains_number - количество доменов за раз , liru_cron_queries_depth - глубина парсинга ключевых словах, тоесть это сколько нужно парсить ключевых слов с домена.

Ключевые слова можно загрузить с домена или группы с вкладок ключевые слова - Liru queries, в случае домена там будет или ссылка или сообщение что ключей нет. Так же ключи можно скачать самим, лежат они в /data/liru_queries в формате DOMAIN/YYYY-HH-MM.txt

2. Рядом с каждым сайтом в таблице на главной, сделана ссылку на яндекс и на гугл с оператором site:domain.ru

На главной странице возле каждого домена появились иконки гугла\яндекса со ссылками на индекс домена. По умолчанию в ссылке присутствует /& (вроде как основной индекс)

3. Сделана крон ссылка, которая запускает парсинг статистики согласно настройкам

4. В глобальные настройки добавлена настройка отвечающая за срок хранения статистики.

Удаление сейчас происходит только по крону парсинга статистики лиру, по сколько удалять из фронтенд части достаточно напряжно.

5. На графике введена отдельная линия Li.ru, которая отображает эту спаршиваемую статистику

На графике главной страницы появятся линии посетителей и просмотров после того как спарсится статистика с лиру для какого либо домена. Так же на графиках каждого домена так же появится отображение статистики с лиру.

6. В таблице соответственно введены столбцы li.ru посетители и li.ru просмотры

На главной странице рядом со статой седа теперь через слэш будет отображатся стата лиру, если она есть.

7. На главной странице в списке доменов теперь отображается статистика только посетителей, боты не учитываются.

8. Увеличен размер пулла (random_data_number с файла конфигов фронтенд части) с 25 до 300 для временного кэширования рандомного контента для фронтенда.

9. Исправлен баг кэширования связаный с внутренней логикой фреймворка, суть его в том что при создании уникального названия кэша используются GET параметры данного запроса, при использовании терминалов передается реальный айпи посетителя через гет-параметр, таким образом для каждого айпи генерился свой кэш. Данная проблема была не всегда, а появилась месяц-два назад когда добавлялся даный параметр в терминал.


DEC1309

В этом апдейте доработали статистику.

1. Теперь есть возможность проверки индексации дорвеев (Google и Yandex) по крону - /cron/index/TOKEN

2. Появился новый график, на котором будет отображаться индексация




Также в этом апдейте доработаны фильтры текстовки.

Добавлено к чистке текста:

- Вырезаем пробелы в начале и в конце предложения.
- Фильтруем всё кроме -0-9a-zа-я & ., ()!?]
Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации
- Заменяем несколько подряд идущих спец символов(.,?!) на первый символ.
- Режем даты и IP
- Разбиваем на предложения и строим правильное предложение - первый символ большой, остальные маленькие, в конце точка и пробел. Мы не придумали пока как определять имена собственные. Если есть предложения - пишите. Заранее указывать все собственные имена чтобы потом сравнивать во время чистки - не предлагать, слишком емкая операция.

Чистка заголовков сниппетов:

- Чистим на всё кроме -0-9a-zа-я
Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации
- Заменяем все знаки препинания на пробелы
- Режем лишние пробелы
- Первый символ большой остальные маленькие


DEC1310

Завершающее обновление декабря, об этом функционале нас просили очень многие ребята, начиная с лета, в основном конечно это пользователи закрытого форума BSS, они ждали и мы сделали.

Данное обновление логически завершает добавление методов заливки файлов-терминалов на домены - SEDv4 теперь поддерживает WSO.

У нас были определенные сомнения насчет этого функционала, но обойти стороной просьбы пользователей мы не могли.

Были проведены небольшие консультации с заинтересованными пользователями в skype/icq, для выяснения необходимой функциональности, также путем логических размышлений были добавлены некоторые свои идеи и составлен таск.

Добавлено

1. Добавилась возможность автоматической заливки файлов-терминалов через WSO.
2. Добавилось окно Утилиты - WSO config в глобальных настройках
3. Добавлена опция "обфусцировать" в Утилиты - WSO config, чтобы можно было отключать обфускацию файла index.php
4. В группе доменов можно указывать дорвеи, которые должны быть созданы через WSO в таком формате


domain.com/$dir|site.ru/1/2/3/wso2.php|password
/$dir обязательно, его скрипт будет заменять на найденную директорию
5. В управлении группой появилась вкладка Утилиты - WSO creator, работает по тому же принципу что и ISP\FTP заливки
6. В конфиге домена появилась вкладка Утилиты - WSO loader, работает по тому же принципу что и ISP\FTP заливки
7. При заливке используется отдельный список socks5/proxy с авторизацией и без

Настройки:

White list - белый список названий директорий
Black list - черный список названий директорий (по нему директории проверяются в первую очередь)
Proxy - список прокси в формате username:рass@ip или SOCKS5 (Это обязательный параметр, без него ничего не будет работать! Если вы не понимаете зачем и почему так сделано, то мы настоятельно советуем отказаться от использования данного функционала и направления в целом )
Deep - глубина с которой начинать поиск (глубина от корня домена). 0 - глубина папки в которой находится скрипт WSO (в наших примерах wso2.php) 1 - site.ru/dir1/, 2 - site.ru/dir1/dir2/ итд
Create dir - создавать или нет свою папку в найденной папке
Owndir - названия своих папок в которые будут залиты файлы терминала, создаются в найденной директории
Obfuscate - обфусцировать ли файл index.php

Логика:

1. Подключаемся к прокси (списка Proxy) и проверяем соединение с WSO скриптом
2. Забираем весь список директорий относительно корня сайта
3. Фильтруем по Black list
4. Выбираем директории с нужной глубиной
5. Выбираем подходящую директорию из выбранных (приоритет у тех директорий что есть в White list), если нету ни одной директории из White list, то берем рандомную
6. Заливаем туда файлы, если указано Obfuscate, предварительно их обфусцируем
7. Если указан параметр Create dir, создаем в найденной директории свою с рандомным названием из списка Owndir и заливаем в нее файлы, если указано Obfuscate, предварительно их обфусцируем
8. Заменяем $dir в имени домена на найденную папку (потому домены нужно указывать в формате domain.com/$dir)

Исправления/Улучшения

1. Поправлена проблема создания роботс для домена на терминале
2. Для инклуда лиру добавлено еще два варианта "liru" и "li"
3. Дефолтное значение index_cron_domains_number изменено с 1 на 10


Обращаем ваше внимание на то, что данный функционал был протестирован вот на этой версии WSO скрипта.
Методы обфускации не раскрываем, кому нужно тот узнает и поймет.

Тестирования работоспособности производились на локальном сервере, поэтому работоспособность функционала и заливаемых файлов-терминалов, будет также зависеть от удаленных серверов и их настроек.
L!mur вне форума   Ответить с цитированием

Реклама
Старый 30.01.2014, 15:38   #692
L!mur
что такое seo?
 
Аватар для L!mur
 
Регистрация: 26.06.2006
Сообщений: 2,262
Репутация: 163210
Отправить сообщение для L!mur с помощью ICQ

ТопикСтартер Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Январское обновление Jan1411.


В этом обновлении были реализованы две, на наш взгляд очень важные, фичи:

- обработка макросов в статичных страницах шаблона
- интеграция с акселератором PHP - Alternative PHP Cache (APC)

Подробней:

1. Статичные страницы с обработкой макросов (http://sedv4.reformal.ru/proj/?ia=574366). Любой файл в шаблоне с раширением tpl теперь будет доступен на доре, контент на такой странице равноценен контенту на странице категории. К примеру, вы не сможете вывести текущий кей страницы, просто потому, что у нее его нет. Контент берется рандомный, из уже спаршенного по другим ключевым словам. В общем все как на странице категории.

Ссылка на статическую страницу имеет вид domen.ru/PATH/IN/THEME.EXTENSION, где PATH/IN/THEME путь к этому файлу относительно корня темы, а EXTENSION это расширение из настроек домена. Ссылатся на такие страницы можно через новый макрос [sed_static_page_url:path=PATH/IN/THEME] который вернет оносительный урл с правильным расширением.

2. Интеграция с apc опкод кэшером. Очень важное обновление потому как это дает прирост в производительности и уменьшает нагрузку на диск. Суть в том что пхп файлы кэшируются в память и при каждом запросе не нужно их брать с диска и интерпретировать. Для исползования этого необходимо поставить php-apc модуль. За разъяснениями обратитесь к своему системному администратору.

3. Добавилась возможность в профиле указывать дробные проценты в отложке. Разделитель - точка. И если раньше, имея 5000 слов и выставляя 99% в отложку мы получали все равно довольно много страниц на дорвее со старта (50 штук), то теперь, выставив 99.9% можно получить всего 5 страниц в основных кеях.
Количество знаков после точки ограничено лишь здравым математическим подходом.
Для примера 5000 кеев, указываем 99.99% в отложку. Получается 4999.5 ключей должны попасть в отложку. В данном случае, скрипт округлит в меньшую сторону, т.е. 4999 попадут в отложку, а 1 попадет в основу.

4. В профиле, при указании параметров отложки будет автоматически подсчитыватся дата до которой будут публиковатся ключи, чтобы удобнее можно было расчитывать.

Тоже, в общем-то приятная вещь, которой не хватает некоторым пользователям. Она наглядно даст прогноз, когда опубликуется последний кей на доре, при текущих настройках отложенной публикации.

5. Добавлен макрос [sed_baseurl] который возвращает урл на корень домена, полезно для тех кто размещает доры не в корне сайта. (http://sedv4.reformal.ru/proj/?ia=564065)

6. Добавлены макросы [sed_cat_rlink] и [sed_cat_rurl] которые возвращают ссылку и урл на рандомную категорию дора соответственно.(http://autosed.com/forum/showthread.php?t=1694)

7. Добавлена локализация для всех строк которые еще не были переведены.
L!mur вне форума   Ответить с цитированием
Старый 21.02.2014, 17:08   #693
rostunov
Дипломник
 
Регистрация: 16.08.2009
Сообщений: 52
Репутация: 5197

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Хочу рассказать о своем опыте работы с SEDами. Сразу скажу, что отзыв написан по личной просьбе SafariLive, но не только из корыстных побуждений, а еще в качестве благодарности команде «SED», за ее работу.

SEDv4 это инструмент, который качественно выполняет свою функцию, и при должном подходе существенно упростит работу и принесет вам доход. Не ищите легких денег и волшебных знаний, ищите инструмент для комфортной работы.

Немного о том, как я узнал о СЕДе.

Это было примерно 2 года назад. Тогда я сделал небольшую пачку. Были использованы шаблоны, которые шли в комплекте с доргеном. Все это дело было залито на шаредхостинг, и проспамлено Хрумером. К моему удивлению, доры стали приносить довольно ощутимый трафик.
С того времени поисковые системы поумнели и сейчас не все так легко дается. Но и развитие SEDa тоже не стояло на месте. Сегодня я обладатель, лицензии SEDv4 на семи серверах. И не собираюсь на этом останавливаться.

Он полностью подходит для моей схемы работы. Вот несколько причин почему:

- массовость, пакетный режим, быстрое создание большого количества доров. Я просто обожаю это. Нажал на кнопку «добавить группу», ввел новые домены и через пару минут сотни новых сайтов готовы к работе.
- не надо заботиться о контенте. SED парсит поисковые системы в поисках контента, а так же контент с релевантных запросу сайтов. Благодаря чему получаются практически читаемые статьи с тематическими картинками и видео.
- шаблонизатор SEDv4 удобный и гибкий. Для каждой категории можно написать свой шаблон. У вас могут быть категории, выглядящие сообразно своему названию (например: форум, фотогалерея, видео и т.д.). А если вам, стало не хватать каких-то макросов, вы можете написать свой.
- встроенная система клоакинга. Позволяет скрыть механизм перенаправления пользователя на платник от глаз поисковиков. Я не замечал особой разницы в скорости забанивая доров с ней и без неё, что говорит о том, что это работает.

И многое другое. Некоторые функции, напротив, я не использую по тем или иным причинам. Например, экспорт ссылок в фермы (да, я по старинке ручками), разрастание (эта вещь непредсказуема. Надеюсь, разработчики сделают белый список), WSO загрузчик (…), автодобавление (и удаление) доменов в ispmanager (у меня его нет).

Опишу несколько технических нюансов.

1) О сервере.
Если вы собираетесь серьезно работать, первое что вам понадобится – это мощный сервер с большим количеством оперативной памяти.
Я использую конфиги: Intel i7-4770, Оперативная память 32 ГБ (и выше), диски в основном SSD. SED хранит данные в СУБД MySQL, InnoDB. Последнее в свою очередь позволяет кешировать данные в оперативной памяти, за счет чего происходит прирост в быстродействии. Поэтому, 32 ГБ оперативной памяти, считаю,- это минимум для комфортной работы.

2) О программном обеспечении.
В качестве веб-сервера я использую nginx. SED прекрасно на нем работает. Нужна только небольшая переделка конфига для домена ядра и терминалов (т.к. на nginx не предусмотрен htaccess). И конечно, не забудьте установить акселератор APC.
Итого, у меня на сервере размещается по 500 доменов без особых тормозов.

3) IP. Что бы добыть контент для такого количества доменов, нужно много быстрых прокси или же дополнительных IP вашего сервера.

В завершении, моя статистика по Loadpays:


И стата по кредитам. Тут все очень плохо. Но я особо и не работал с этой темой.
rostunov вне форума   Ответить с цитированием
Сказали спасибо:
Старый 21.02.2014, 21:07   #694
L!mur
что такое seo?
 
Аватар для L!mur
 
Регистрация: 26.06.2006
Сообщений: 2,262
Репутация: 163210
Отправить сообщение для L!mur с помощью ICQ

ТопикСтартер Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

rostunov благодарим за столь подробный отзыв! Мы надеемся, что с выходом в нового frontend (мы полностью отказались от использования framework'а), КПД SEDv4 вырастет в разы и на ваших серверах будет помещаться... xN дорвеев, но не будем загадывать, сначала alpha и beta тестирования в конце этого месяца

Впереди много нового и интересного!

А пока, в этом месяце вышли 2 минорных апдейта

[исправлено] в связи с оптимизациями вывода статистики домены которые не имели статистики за посл месяц не отображались (спасибо одному из пользователей за этот bug)
[улучшено] улучшен модуль импорта ссылок в TwiFarm, новый модуль поддерживает импорт ссылок в новую TwiFarm v3, которая недавно вышла (топик новой TwiFarm v3)
L!mur вне форума   Ответить с цитированием
Старый 22.02.2014, 14:56   #695
Yaki
Профессор
 
Регистрация: 28.09.2011
Сообщений: 602
Репутация: 37082

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

rostunov, дайте трафэг погонять
Yaki вне форума   Ответить с цитированием
Старый 10.03.2014, 22:34   #696
PomAnt
Pomidorov Anton
 
Аватар для PomAnt
 
Регистрация: 26.10.2013
Сообщений: 176
Репутация: 6986

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Все накопил денег на нуленном седе теперь буду брать лицуху. Ура товарищи!
PomAnt вне форума   Ответить с цитированием
Старый 10.03.2014, 22:46   #697
Сенатор
Студент
 
Аватар для Сенатор
 
Регистрация: 03.03.2014
Сообщений: 47
Репутация: -11569

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Цитата:
Сообщение от PomAnt Посмотреть сообщение
Все накопил денег на нуленном седе теперь буду брать лицуху. Ура товарищи!
Нуленном седе?
Всмысле бесплатном чтоли?
Сенатор вне форума   Ответить с цитированием
Старый 10.03.2014, 22:48   #698
stev
Are you ready to rock?!
 
Аватар для stev
 
Регистрация: 21.06.2009
Сообщений: 1,273
Репутация: 11545

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Цитата:
Сообщение от Сенатор Посмотреть сообщение
Нуленном седе?
Всмысле бесплатном чтоли?
В смысле поломатом.
stev вне форума   Ответить с цитированием
Старый 10.03.2014, 22:52   #699
Сенатор
Студент
 
Аватар для Сенатор
 
Регистрация: 03.03.2014
Сообщений: 47
Репутация: -11569

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Это как демо версия?
Какие там функции не работают?
Где скачать? На сайте седа не нашёл.
Или его по запросу в тех. поддержку выдают?
Сенатор вне форума   Ответить с цитированием
Старый 10.03.2014, 23:06   #700
Жека Чан
Студент
 
Регистрация: 13.02.2014
Сообщений: 17
Репутация: 6890

По умолчанию Re: SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

Цитата:
Сообщение от Сенатор Посмотреть сообщение
Это как демо версия?
Какие там функции не работают?
Где скачать? На сайте седа не нашёл.
Или его по запросу в тех. поддержку выдают?
Жека Чан вне форума   Ответить с цитированием
Сказали спасибо 4 пользователей:
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 07:19. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны