Новые виды URL'ов:
Поддерживаемые типы URL'ов (это касается и режима сабдоменов - url_type_sab.site.ru):
Новые виды парсинга:
Поддерживаемые виды парсинга в доргене:
Кол-во сайтов-доноров, которые нужно спарсить за один проход указывается в конфиге.
Автообновление парсеров:
В конфиге доргена указывается период времени, через который скрипт проверит обновления парсеров и обновит их, если это требуется. Автообновление включает в себя обновление парсеров контента, видео, картинок и аудио. Опция начинает работать после символической оплаты - 3$/месяц.
В APPS появилась кнопка, при нажатии на которую скрипт немедленно проверит обновления.
Работа с кешем доров в APPS:
В APPS, в разделе кеширования, появилась возможность удаления отдельных частей кеша доров, плюс полное удаление страницы с сайта - при удалении страницы будет выдаваться 404:
Если вам не нужна определенная страница, то удалите из файла кеев ненужный кей этой страницы и нажмите кнопку "Удалить страницу".
Уникализация, генерация контента:
В предыдущей бета-версии появились макросы генерации контента на основе цепей Маркова. Источником для генерации контента может быть любой текстовый контент - как спарсенный, так и заготовленный самостоятельно.
Улучшения:
[L_KEY-{Z}-X-Y] - Случайный кейворд из $keywords [L_BKEY-{Z}-X-Y] - Случайный кейворд из $keywords с большой буквы [L_KEY_URL-{Z}-X-Y] - url со случайным кейвордом из $keywords в латинице (sluchayniy-keyword.html) [L_KEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords [L_BKEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords с большой буквы [L_MAP_URL-{Z}-X-Y] - Случайный внутренний URL из карты сайта [L_MAP_KEY-{Z}-X-Y] - Случайный анкор из карты сайта [L_MAP_HREF-{Z}-X-Y] - Случайная внутренняя ссылка из карты сайта [L_RANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt [L_BRANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt с большой буквы
Новые макросы:
Обновил плагин макросов (вкладка "Плагин для N++"), а также макросы на сайте.
Еще были многочисленные изменения в коде по оптимизации, а также некоторые фиксы, о которых расписывать не буду).
Приветствую, уважаемые форумчане!
Рад представить Вам обновленный SEoDOR v3.0!
И сразу пару демок:
http://www.mp3vk.org/ - демонстрирует возможности мультикеев, похожих новостей, поиск и скачивание музыки с контакта (ссылки на mp3 прямые, как бы "свои"), а также поиск по сайту.
http://tramtararam.net/ - режим мешанки параграфов со спарсенных сайтов-доноров по запросу, поиск по сайту, короткие новости.
Новые возможности:
Маскировка удаленных URL'ов картинок под 'свои':
Было в шаблоне:
<img src="http://site.com/image.jpg">
Стало:
<img src="/imgs/123-keyword.jpg"> или <img src="/imgs/he6hkl3o3.jpg">
Теперь в файле мультикеев, а также просто в шаблоне, можно указывать урлы на картинки с сайтов-доноров и дорген их будет выводить как "свои".
Новые возможности режима Мультикей:
- генерация своего URL'a страницы для кейворда.
Например, файл кеев такой:
Кейворд;любой_url_для_этого_кея
Тогда в шаблоне можно прописать вывод ссылки на страницу так:
<a href="[S_DOR_URL][MKEYURL-metka-2]" title="[L_MULTIKEY-metka-1]"> [MKEYPART-metka-1] </a>
На выходе получим:
<a href="http://dor.ru/lyboy-url-dlya-etogo-keya.html" title="Кейворд"> Кейворд </a>
Также по одному мультикею теперь можно сгенерировать несколько страниц, например, один мультикей - 2 страницы:
http://www.mp3vk.org/artists/beastie-boys.html
http://www.mp3vk.org/beastie-boys/hello-nasty-deluxe-edition-2009-cd1.html
Урлы, как и выше я описывал, генерируются макросом [MKEYURL-X-Y], где:
X - метка строки;
Y - номер подключа.
Парсинг аудио с соц. сети VK:
Можно парсить MP3 по любому указанному кейворду в шаблоне. Если не указан кейворд, то парсинг происходит по текущему кею страницы. Ссылки на файлы MP3 получаются прямыми, т.е. как бы "свои": /mp3/73616548_259281488.mp3. Для работы с VK нужно создать приложение и получить токен, т.к. парсинг идет через API.
Поиск по сайту:
В поисковой форме сайта можно ввести запрос и дорген выдаст страницы, отвечающие этому поисковому запросу. Поисковый запрос автоматически становится текущим кейвордом (он выводится в шаблоне макросами [L_QUERY] и [L_QUERY_FULL]), т.е. если в шаблоне указаны макросы парсинга любого контента, то поисковыми результатами будет спарсенный контент по этому запросу.
Как, например, сайт www.mp3vk.org - поиск музыки с VK + демонстрация режима мультикеев + "свои" картинки + похожие новости.
В конфиге доргена указывается префикс, который говорит доргену, что это поисковый запрос. Например,
В конфиге можно указать кешировать результаты поиска или нет:
Похожие новости:
Эти макросы похожи с "короткими новостями" и "поиском по сайту", но они сверяют схожесть текущего запроса с уже закешированными новостями и выводят релевантные. С закешированными страницами сверяется каждое слово из текущего запроса.
Поддержка прокси с авторизацией:
Типы поддерживаемых прокси: HTTP, SOCKS4, SOCKS5.
Поддерживаемые форматы файла с проксями:
ip:port username:password@ip:port http://ip:port socks5://username:password@ip:port
Если не указан тип прокси (socks5:// и тд), то используется из опции в конфиге доргена.
Поздравляю всех с Днем Победы! Пусть в ваших домах всегда будет мир, покой и радость!
До 10 мая (включительно) действует акция - 25% - 150$!
Близится обновление, в котором будет реализовано много полезностей, таких как поиск по дору, похожие новости, маскировка удаленных url'ов картинок под "свои" (было в шаблоне site.ru/image.jpg, стало dor.ru/123-key.jpg), новые виды ЧПУ, новые макросы, локальные макросы без повторов на странице, улучшения некоторых функций и другие фичи :)
Всем привет! До 20 апреля действует скидка 20% (160$), плюс учитываются промокоды от пользователей :)
Также готовится скорое обновление, в котором, как всегда, будут улучшения и новые фичи!
Внимание всем желающим приобрести дорген со скидкой!
До 31.03.2014 23:59 действует акция 200$-45%=110$ Акция продлится всего два дня, поэтому не упустите свой шанс приобрести дорген и доступ на форум техподдержки!
Для покупки доргена пишите в аську 775084 или скайп alexz006.
Вниманию пользователей SEoDOR'a!
На форуме добавил 5 новых парсеров - 4 контента и 1 парсер картинок.
Всего парсеров 43:
18 контента;
11 картинок;
10 видео;
универсальный парсер сайтов по запросу;
парсер rss-лент;
парсер кеев из rss-лент и txt;
парсер Твиттера.
Паук не запоминает место остановки и если на хостинге есть ограничение в 30 сек, и паук в них не укладывается, то его можно еще раз запустить - он быстро перейдет от уже закешированных страниц к остальным.
Благодарю за вопрос!
Дорген генерирует страницы "на лету", а не все сразу. То есть, он при первом запуске сгенерировал карту (можно отключить этот пункт), а затем, при переходе по ссылке ботами или людьми, скрипт сгенерирует новую страницу согласно шаблону, на которой будут новые ссылки, контент и т.д. При генерации страниц, дорген их кеширует и при следующем посещении этой же страницы - она не генерируется заново, а отдается в виде статического html.
Одна страница парсится/генерируется/кешируется в среднем 2-5сек. в зависимости от макросов в шаблоне.
Можно сделать, чтобы дор был сразу закеширован и ботам отдавались эти страницы из кеша:
при первом запуске (или через админку) сгенерируйте карту сайта, а затем перейдите в "Паук", который начнет кешировать страницу за страницей по ссылкам из карты дора. В этом методе есть плюс - 1) страницы ПСам будут отдаваться быстро; 2) нагрузка на хостинг становится минимальной.---------- Добавлено 27.03.2014 в 16:20 ----------На форуме доступна для скачивания Beta-версия!
1. Теперь моды будут в папке inc/mods, включая мод комментов.
2. В конфиге есть опция
$fullParseMod = '0'; // парсить сайты/выдачу ПС полностью, включая html-код (1 - ДА, 0 - НЕТ) # если ДА, то дорген спарсит страницу
Опция сырая!
3. Автообновление парсеров:
В конфиге есть опция
$autoUpdateParsers = '48'; // через сколько часов проверить и обновить (если требуется) нерабочие парсеры (кол-во часов - АВТООБНОВЛЕНИЕ ВКЛЮЧЕНО, 0 - НЕ ИСПОЛЬЗОВАТЬ АВТООБНОВЛЕНИЕ)
Чтобы опция заработала - перейдите на форум и активируйте ее http://seodor.biz/forum/account/upgrades
Скрипт будет проверять наличие обновлений для парсеров. Опция будет с символической платой, чтобы парсеры обновлялись автоматически, если они нерабочие. Всегда бесплатно их можно будет обновить вручную, скачав архив на форуме.
4. Теперь в макросах генерации текста типа [L_KEY_TO_TEXT-X]content[/L_KEY_TO_TEXT] - X выводит указанное кол-во вставляемых кеев. Эти макросы можно прописать так:
[L_KEY_TO_TEXT-X-Y]content[/L_KEY_TO_TEXT], где X-Y - кол-во кеев в content'e от X до Y.
Чтобы отключить выделение кеев жирным шрифтом, в файле inc/functions.php в функции insert_key_to_text укажите пустую переменную $tags.
5. При формировании урлов вырезаются слова, которые меньше 3-х символов.
6. Новые макросы:
Марковка:
Пример:
Поздравляю всех девушек и женщин с Праздником 8 Марта!
В честь весеннего праздника предоставляется скидка на SEoDOR 20% - 160$!
Для покупки пишите в аську 775084 или другие контакты.
Акция продлится до 12.03.14, действует система скидок и промокодов.
