SEoDOR – Дорген на основе выдачи сниппетов ПС

Паук не запоминает место остановки и если на хостинге есть ограничение в 30 сек, и паук в них не укладывается, то его можно еще раз запустить - он быстро перейдет от уже закешированных страниц к остальным.

понял, так что вопрос уже серым напечатал, спасибо за разъяснения!

На форуме добавил 5 новых парсеров - 4 контента и 1 парсер картинок.

Всего парсеров 43:

18 контента;

11 картинок;

10 видео;

универсальный парсер сайтов по запросу;

парсер rss-лент;

парсер кеев из rss-лент и txt;

парсер Твиттера.

Вниманию пользователей SEoDOR'a!

Внимание всем желающим приобрести дорген со скидкой!

До 31.03.2014 23:59 действует акция 200$-45%=110$

Акция продлится всего два дня, поэтому не упустите свой шанс приобрести дорген и доступ на форум техподдержки!

Для покупки доргена пишите в аську 775084 или скайп alexz006.

Всем привет! До 20 апреля действует скидка 20% (160$), плюс учитываются промокоды от пользователей :)

Также готовится скорое обновление, в котором, как всегда, будут улучшения и новые фичи!

Поздравляю всех с Днем Победы! Пусть в ваших домах всегда будет мир, покой и радость!

До 10 мая (включительно) действует акция - 25% - 150$!

Близится обновление, в котором будет реализовано много полезностей, таких как поиск по дору, похожие новости, маскировка удаленных url'ов картинок под "свои" (было в шаблоне site.ru/image.jpg, стало dor.ru/123-key.jpg), новые виды ЧПУ, новые макросы, локальные макросы без повторов на странице, улучшения некоторых функций и другие фичи :)

Приветствую, уважаемые форумчане!

Рад представить Вам обновленный SEoDOR v3.0!

И сразу пару демок:

http://www.mp3vk.org/ - демонстрирует возможности мультикеев, похожих новостей, поиск и скачивание музыки с контакта (ссылки на mp3 прямые, как бы "свои"), а также поиск по сайту.

http://tramtararam.net/ - режим мешанки параграфов со спарсенных сайтов-доноров по запросу, поиск по сайту, короткие новости.

Стоимость доргена составляет $200.
Обновления бесплатные!

Для первых пяти человек с этого форума, которые готовы приобрести SEoDOR,
будет скидка в размере 40% - 120$

ICQ: 775084
Другие контакты

Новые возможности:

Маскировка удаленных URL'ов картинок под 'свои':

Было в шаблоне:

<img src="http://site.com/image.jpg">

Стало:

<img src="/imgs/123-keyword.jpg">

или

<img src="/imgs/he6hkl3o3.jpg">

Теперь в файле мультикеев, а также просто в шаблоне, можно указывать урлы на картинки с сайтов-доноров и дорген их будет выводить как "свои".

Новые возможности режима Мультикей:

- генерация своего URL'a страницы для кейворда.

Например, файл кеев такой:

Кейворд;любой_url_для_этого_кея

Тогда в шаблоне можно прописать вывод ссылки на страницу так:

<a href="[S_DOR_URL][MKEYURL-metka-2]" title="[L_MULTIKEY-metka-1]">

[MKEYPART-metka-1]

</a>

На выходе получим:

<a href="http://dor.ru/lyboy-url-dlya-etogo-keya.html" title="Кейворд">

Кейворд

</a>

Также по одному мультикею теперь можно сгенерировать несколько страниц, например, один мультикей - 2 страницы:

http://www.mp3vk.org/artists/beastie-boys.html

http://www.mp3vk.org/beastie-boys/hello-nasty-deluxe-edition-2009-cd1.html

Урлы, как и выше я описывал, генерируются макросом [MKEYURL-X-Y], где:

X - метка строки;

Y - номер подключа.

Парсинг аудио с соц. сети VK:

Можно парсить MP3 по любому указанному кейворду в шаблоне. Если не указан кейворд, то парсинг происходит по текущему кею страницы. Ссылки на файлы MP3 получаются прямыми, т.е. как бы "свои": /mp3/73616548_259281488.mp3. Для работы с VK нужно создать приложение и получить токен, т.к. парсинг идет через API.

Поиск по сайту:

В поисковой форме сайта можно ввести запрос и дорген выдаст страницы, отвечающие этому поисковому запросу. Поисковый запрос автоматически становится текущим кейвордом (он выводится в шаблоне макросами [L_QUERY] и [L_QUERY_FULL]), т.е. если в шаблоне указаны макросы парсинга любого контента, то поисковыми результатами будет спарсенный контент по этому запросу.

Как, например, сайт www.mp3vk.org - поиск музыки с VK + демонстрация режима мультикеев + "свои" картинки + похожие новости.

В конфиге доргена указывается префикс, который говорит доргену, что это поисковый запрос. Например,

• префикс search/, то при переходе на http://dor.ru/search/любой запрос - покажет результаты поиска по сайту по запросу "любой запрос".
• Префикс можно написать еще так: search.php?q=, тогда поиск будет работать в таком URLе: http://dor.ru/search.php?q=любой запрос
• А если его вообще убрать, то результаты поиска будут в таком урле: http://dor.ru/любой запрос

В конфиге можно указать кешировать результаты поиска или нет:

• не кешировать,
• кеш обновляется по указанному периоду времени,
• результаты кешируются как страницы - в постоянный кеш, записывается ссылка на страницу в карту сайта.

Похожие новости:

Эти макросы похожи с "короткими новостями" и "поиском по сайту", но они сверяют схожесть текущего запроса с уже закешированными новостями и выводят релевантные. С закешированными страницами сверяется каждое слово из текущего запроса.

Поддержка прокси с авторизацией:

Типы поддерживаемых прокси: HTTP, SOCKS4, SOCKS5.

Поддерживаемые форматы файла с проксями:

    ip:port

    username:password@ip:port

    http://ip:port

    socks5://username:password@ip:port

Если не указан тип прокси (socks5:// и тд), то используется из опции в конфиге доргена.

Новые виды URL'ов:

Поддерживаемые типы URL'ов (это касается и режима сабдоменов - url_type_sab.site.ru):

• httр://www.dоr.ru/category/sample-post.html - По умолчанию
• httр://www.dоr.ru/2013/05/13/sample-post.html - День и название
• httр://www.dоr.ru/2013/05/sample-post.html - Месяц и название
• httр://www.dоr.ru/category/91dbd3dbd0e3ca61e1d3834304417636.html - md5(sample-post)
• httр://www.dоr.ru/sample-post/ - Название записи
• httр://www.dоr.ru/category/12345-sample-post.html - Префикс и название
• httр://www.dоr.ru/category/fnzcyr-cbfg.html - str_rot13(sample-post)
• httр://www.dоr.ru/category/fnzcyrcbfg.html - str_rot13(samplepost) - без тире
• httр://www.dоr.ru/category/91dbd3dbd0.html - обрезанный md5 до 10 символов
• httр://www.dоr.ru/category/1234567890.html - 10 символов из цифр

Новые виды парсинга:

Поддерживаемые виды парсинга в доргене:

• "Обычный" - макрос Q_CONTENT будет выводить спарсенное предложение с рандомной ПС по запросу.
• "Мешанка" - макрос Q_CONTENT будет выводить спарсенное предложение с сайта-донора.
• "Мешанка из абзацев" - макрос Q_CONTENT будет выводить абзац из нескольких предложений со спарсенных сайтов по запросу.
• "Полные статьи" - макрос Q_CONTENT будет выводить статью полностью с сайта-донора.
• "Контент между <body>" - макрос Q_CONTENT будет выводить спарсенную страницу между тегами <body> с сайта-донора.

Кол-во сайтов-доноров, которые нужно спарсить за один проход указывается в конфиге.

Автообновление парсеров:

В конфиге доргена указывается период времени, через который скрипт проверит обновления парсеров и обновит их, если это требуется. Автообновление включает в себя обновление парсеров контента, видео, картинок и аудио. Опция начинает работать после символической оплаты - 3$/месяц.

В APPS появилась кнопка, при нажатии на которую скрипт немедленно проверит обновления.

Работа с кешем доров в APPS:

В APPS, в разделе кеширования, появилась возможность удаления отдельных частей кеша доров, плюс полное удаление страницы с сайта - при удалении страницы будет выдаваться 404:

Если вам не нужна определенная страница, то удалите из файла кеев ненужный кей этой страницы и нажмите кнопку "Удалить страницу".

Уникализация, генерация контента:

В предыдущей бета-версии появились макросы генерации контента на основе цепей Маркова. Источником для генерации контента может быть любой текстовый контент - как спарсенный, так и заготовленный самостоятельно.

Улучшения:

• Оптимизирована функция автоопределения кодировки сайта-донора, которая избавляет сайт от крякозябр и неверной перекодировки контента.
• Оптимизирована функция обработки контента при парсинге нескольких сайтов по запросу в режимах статей, которая экономит ресурсы сервера, а также увеличивает скорость обработки.
• В APPS теперь рабочий шаблон можно выбрать из списка.
• В макросах генерации контента, типа [L_KEY_TO_TEXT-X], X выводит указанное кол-во вставляемых кеев в текст, а не процент.
• Макрос {SHORT_USER_DATA_COPY-X} теперь "копирует" любой контент с меткой X для "коротких новостей/похожих новостей/поиска по сайту", который затем "вставляется" макросом {SHORT_NEWS_USER_DATA-X}, с этой же меткой X. Метка может называться как удобно.
• Следующие локальные макросы теперь выводят контент без повторов на странице:

[L_KEY-{Z}-X-Y] - Случайный кейворд из $keywords

[L_BKEY-{Z}-X-Y] - Случайный кейворд из $keywords с большой буквы

[L_KEY_URL-{Z}-X-Y] - url со случайным кейвордом из $keywords в латинице (sluchayniy-keyword.html)

[L_KEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords

[L_BKEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords с большой буквы

[L_MAP_URL-{Z}-X-Y] - Случайный внутренний URL из карты сайта

[L_MAP_KEY-{Z}-X-Y] - Случайный анкор из карты сайта

[L_MAP_HREF-{Z}-X-Y] - Случайная внутренняя ссылка из карты сайта

[L_RANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt

[L_BRANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt с большой буквы

Два последних макроса выше выведут контент без повторов, только если используются доп. параметры -{Z}-X-Y

Новые макросы:

• [I_VK_TRACK-{Z}-X-Y-{Q}] - выводит трек по поисковому запросу с VK в виде аудио-плеера, где Q - поисковый запрос. Если нет поискового запроса (макрос прописан так: [I_VK_TRACK-{Z}-X-Y]), то поиск будет идти по текущему кею.
• [S_TEMPL_REAL] - в отличии от [S_TEMPL], который при маскировке под CMS выведет путь типа /wp-content/themes/my_templ/, данный макрос выведет реальный путь к текущему шаблону /templates/my_templ/
• {{привет||{{здравствуйте||добрый день}}||эге-ге-ге!}} - вставляется рандомный текст из указанных, разделенный «||». Можно использовать любые макросы и указывать много вариантов. Поддерживается вложенность.

Обновил плагин макросов (вкладка "Плагин для N++"), а также макросы на сайте.

Еще были многочисленные изменения в коде по оптимизации, а также некоторые фиксы, о которых расписывать не буду).

Обновления 3.0.1

• Для парсера VK-аудио добавил задержку в 3 сек, если сервер не отдал результаты из-за частых обращений. Добавил распознавание капчи через Antigate. Ключ задается в конфиге.
• В конфиг добавлен параметр $ip_admin: