Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 27.06.2016, 00:40   #1
Студент
 
Регистрация: 10.12.2012
Сообщений: 10
Репутация: 2076

По умолчанию True Search Engines Parser - бесплатный парсер поисковых систем


True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex.

Системные требования
Windows XP, 7, 8, 8.1, 10
Microsoft .NET Framework 3.5 или выше

Описание параметров
Threads – количество потоков.
SE – выбор поисковой системы и языка.
Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто
Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)
Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.
Файл keys.txt – запросы
Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)
Файлы нужно заполнять перед запуском проги, и обязательно в кодировке utf-8.

Конкретный пример использования парсера
Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие "option=com_content" в URL. Если вбить в Google запрос inurl:"option=com_content" то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:
inurl:"option=com_content" Авто
inurl:"option=com_content" Ремонт
Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:
1 список:
key1
key2
2 список:
key3
key4
То на выходе получается:
key1 key3
key1 key4
key2 key3
key2 key4
В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру "вариаторы towns bez stran.txt" и "вариаторы высокочастотные.txt". Кладём эти списки в "1.txt" и "2.txt" соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу - в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:"option=com_content". Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:
inurl:"option=com_content" Абаза год
inurl:"option=com_content" Абаза человек
inurl:"option=com_content" Абаза время
inurl:"option=com_content" Абаза дело
То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser

Официальная страничка парсера, где можно скачать последнюю версию:
http://nevep.ru/25-true-search-engines-parser
Nevep вне форума   Ответить с цитированием
Сказали спасибо 3 пользователей:

Реклама
Старый 29.06.2016, 14:26   #2
Leo05
Why, собственно, not
 
Регистрация: 07.03.2008
Адрес: Подмосковье
Сообщений: 87
Репутация: 3937

По умолчанию Re: True Search Engines Parser - бесплатный парсер поисковых систем

Юзаю этот парсер уже пару лет. Не знаю, с чего это автор решил выложить его в паблик, да еще и бесплатно. Золотая жила...
Leo05 вне форума   Ответить с цитированием
Старый 29.06.2016, 17:21   #3
TF-Studio
Академик
 
Аватар для TF-Studio
 
Регистрация: 18.08.2010
Сообщений: 4,204
Репутация: 566907

По умолчанию Re: True Search Engines Parser - бесплатный парсер поисковых систем

есть поддержка кук?
__________________
Всё ещё лучший способ заработка для белых сайтов: GoGetLinks.
TF-Studio вне форума   Ответить с цитированием
Старый 29.06.2016, 20:25   #4
Nevep
Студент
 
Регистрация: 10.12.2012
Сообщений: 10
Репутация: 2076

ТопикСтартер Re: True Search Engines Parser - бесплатный парсер поисковых систем

Цитата:
Сообщение от TF-Studio Посмотреть сообщение
есть поддержка кук?
Нету............
Nevep вне форума   Ответить с цитированием
Старый 29.06.2016, 20:59   #5
one
-=NaN=-
 
Аватар для one
 
Регистрация: 15.04.2007
Сообщений: 3,467
Репутация: 197838
Отправить сообщение для one с помощью ICQ

По умолчанию Re: True Search Engines Parser - бесплатный парсер поисковых систем

Прокси с авторизацией поддерживаются?
__________________
LimonBucks.com - Зарабатывай лимоны и меняй их на крутые призы!
Решения для автоматизации действий в интернете.
one вне форума   Ответить с цитированием
Старый 30.06.2016, 01:08   #6
Nevep
Студент
 
Регистрация: 10.12.2012
Сообщений: 10
Репутация: 2076

ТопикСтартер Re: True Search Engines Parser - бесплатный парсер поисковых систем

Цитата:
Сообщение от one Посмотреть сообщение
Прокси с авторизацией поддерживаются?
Нет, т.к. я не встречал ни одного платного сервиса прокси с авторизацией
Nevep вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны