SEDv4 «MobyDick» - ваши вопросы, наши ответы, рассказ о системе

ONLY_EXISTING_KEYWORDS = true

Фриха забанила дор, наверноее из за трафа или нагрузки на хостинг.

Это они из зависти. ☝

Нет, серьезно, куда вы сливали 1800 разнотематических уников?

Регнул еще одну фриху, установил еще один нулл седа, только ключи на этот раз не микс, а вполне рабочие. Теперь вопрос, так как фриха не очень тут мне кажется нужен будет прогон, где берутся ссылки для прогона?

Спроси у тех поддержки седа 🤪

Дорвей сам вылез, что наверно покликал по нему

Отличный дорген, использую с 3 версии, 4-я версия просто сказка, а сервера никто не мешает брать в OVH за копейки :)

Можно ссылку на тариф?

Я чет не нахожу там ничего(

GAGAn, Получите

1. Парсинг статистики из liveinternet (посетители, просмотры , парсинг ключевых слов по которым пришли)

Для интеграции парсера пришлось допилить структуру парсеров контента, таким образом теперь парсер лиру работает по тому же принципу что и парсер контента, тоесть присутствует ротация проксей и интерфейсов вашего сервера, а так же парсинг лиру выводится в лог седа. Для доступа к лиру используется пароль из socials_password глоб настройки.

Парсинг статы производится по крону /cron/liru_stats/ТОКЕН , для настройки парсинга добавлиась настройка liru_cron_domains_number которая определяет количество доменов парсинга за раз.

Парсинг сделан так чтобы парсить не рандомные домены а по порядку, тоесть последний домен предыдущего запуска крона запоминается и при следующем запуске крона будет парсинг начинатся со следующего домена.
Хранение данных будет или в файлах, или в мэмкеше, в зависимости от наличия мэмкеш сервера.

Парсинг ключевых слов так же будет идти по порядку по доменам и работать со сменой прокси\интерфейса в разных сессиях.

Для настроек парсинга добавились конфиги

liru_cron_queries_domains_number - количество доменов за раз , liru_cron_queries_depth - глубина парсинга ключевых словах, тоесть это сколько нужно парсить ключевых слов с домена.

Ключевые слова можно загрузить с домена или группы с вкладок ключевые слова - Liru queries, в случае домена там будет или ссылка или сообщение что ключей нет. Так же ключи можно скачать самим, лежат они в /data/liru_queries в формате DOMAIN/YYYY-HH-MM.txt

2. Рядом с каждым сайтом в таблице на главной, сделана ссылку на яндекс и на гугл с оператором site:domain.ru

На главной странице возле каждого домена появились иконки гугла\яндекса со ссылками на индекс домена. По умолчанию в ссылке присутствует /& (вроде как основной индекс)

3. Сделана крон ссылка, которая запускает парсинг статистики согласно настройкам

4. В глобальные настройки добавлена настройка отвечающая за срок хранения статистики.

Удаление сейчас происходит только по крону парсинга статистики лиру, по сколько удалять из фронтенд части достаточно напряжно.

5. На графике введена отдельная линия Li.ru, которая отображает эту спаршиваемую статистику

На графике главной страницы появятся линии посетителей и просмотров после того как спарсится статистика с лиру для какого либо домена. Так же на графиках каждого домена так же появится отображение статистики с лиру.

6. В таблице соответственно введены столбцы li.ru посетители и li.ru просмотры

На главной странице рядом со статой седа теперь через слэш будет отображатся стата лиру, если она есть.

7. На главной странице в списке доменов теперь отображается статистика только посетителей, боты не учитываются.

8. Увеличен размер пулла (random_data_number с файла конфигов фронтенд части) с 25 до 300 для временного кэширования рандомного контента для фронтенда.

9. Исправлен баг кэширования связаный с внутренней логикой фреймворка, суть его в том что при создании уникального названия кэша используются GET параметры данного запроса, при использовании терминалов передается реальный айпи посетителя через гет-параметр, таким образом для каждого айпи генерился свой кэш. Данная проблема была не всегда, а появилась месяц-два назад когда добавлялся даный параметр в терминал.

В этом апдейте доработали статистику.

1. Теперь есть возможность проверки индексации дорвеев (Google и Yandex) по крону - /cron/index/TOKEN

2. Появился новый график, на котором будет отображаться индексация



Также в этом апдейте доработаны фильтры текстовки.

Добавлено к чистке текста:

- Вырезаем пробелы в начале и в конце предложения.
- Фильтруем всё кроме -0-9a-zа-я & ., ()!?]
Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации
- Заменяем несколько подряд идущих спец символов(.,?!) на первый символ.
- Режем даты и IP
- Разбиваем на предложения и строим правильное предложение - первый символ большой, остальные маленькие, в конце точка и пробел. Мы не придумали пока как определять имена собственные. Если есть предложения - пишите. Заранее указывать все собственные имена чтобы потом сравнивать во время чистки - не предлагать, слишком емкая операция.

Чистка заголовков сниппетов:

- Чистим на всё кроме -0-9a-zа-я
Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации
- Заменяем все знаки препинания на пробелы
- Режем лишние пробелы
- Первый символ большой остальные маленькие

Завершающее обновление декабря, об этом функционале нас просили очень многие ребята, начиная с лета, в основном конечно это пользователи закрытого форума BSS, они ждали и мы сделали.

Данное обновление логически завершает добавление методов заливки файлов-терминалов на домены - SEDv4 теперь поддерживает WSO.

У нас были определенные сомнения насчет этого функционала, но обойти стороной просьбы пользователей мы не могли.

Были проведены небольшие консультации с заинтересованными пользователями в skype/icq, для выяснения необходимой функциональности, также путем логических размышлений были добавлены некоторые свои идеи и составлен таск.

Добавлено

1. Добавилась возможность автоматической заливки файлов-терминалов через WSO.
2. Добавилось окно Утилиты - WSO config в глобальных настройках
3. Добавлена опция "обфусцировать" в Утилиты - WSO config, чтобы можно было отключать обфускацию файла index.php
4. В группе доменов можно указывать дорвеи, которые должны быть созданы через WSO в таком формате

domain.com/$dir|site.ru/1/2/3/wso2.php|password
/$dir обязательно, его скрипт будет заменять на найденную директорию
5. В управлении группой появилась вкладка Утилиты - WSO creator, работает по тому же принципу что и ISP\FTP заливки
6. В конфиге домена появилась вкладка Утилиты - WSO loader, работает по тому же принципу что и ISP\FTP заливки
7. При заливке используется отдельный список socks5/proxy с авторизацией и без

Настройки:

White list - белый список названий директорий
Black list - черный список названий директорий (по нему директории проверяются в первую очередь)
Proxy - список прокси в формате username:рass@ip или SOCKS5 (Это обязательный параметр, без него ничего не будет работать! Если вы не понимаете зачем и почему так сделано, то мы настоятельно советуем отказаться от использования данного функционала и направления в целом )
Deep - глубина с которой начинать поиск (глубина от корня домена). 0 - глубина папки в которой находится скрипт WSO (в наших примерах wso2.php) 1 - site.ru/dir1/, 2 - site.ru/dir1/dir2/ итд
Create dir - создавать или нет свою папку в найденной папке
Owndir - названия своих папок в которые будут залиты файлы терминала, создаются в найденной директории
Obfuscate - обфусцировать ли файл index.php

Логика:

1. Подключаемся к прокси (списка Proxy) и проверяем соединение с WSO скриптом
2. Забираем весь список директорий относительно корня сайта
3. Фильтруем по Black list
4. Выбираем директории с нужной глубиной
5. Выбираем подходящую директорию из выбранных (приоритет у тех директорий что есть в White list), если нету ни одной директории из White list, то берем рандомную
6. Заливаем туда файлы, если указано Obfuscate, предварительно их обфусцируем
7. Если указан параметр Create dir, создаем в найденной директории свою с рандомным названием из списка Owndir и заливаем в нее файлы, если указано Obfuscate, предварительно их обфусцируем
8. Заменяем $dir в имени домена на найденную папку (потому домены нужно указывать в формате domain.com/$dir)

Исправления/Улучшения

1. Поправлена проблема создания роботс для домена на терминале
2. Для инклуда лиру добавлено еще два варианта "liru" и "li"
3. Дефолтное значение index_cron_domains_number изменено с 1 на 10


Обращаем ваше внимание на то, что данный функционал был протестирован вот на этой версии WSO скрипта.
Методы обфускации не раскрываем, кому нужно тот узнает и поймет.

Тестирования работоспособности производились на локальном сервере, поэтому работоспособность функционала и заливаемых файлов-терминалов, будет также зависеть от удаленных серверов и их настроек.