True Search Engines Parser - бесплатный парсер поисковых систем

N
На сайте с 10.12.2012
Offline
59
4303

True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex.

Системные требования

Windows XP, 7, 8, 8.1, 10

Microsoft .NET Framework 3.5 или выше

Описание параметров

Threads – количество потоков.

SE – выбор поисковой системы и языка.

Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто

Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)

Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.

Файл keys.txt – запросы

Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)

Файлы нужно заполнять перед запуском проги, и обязательно в кодировке utf-8.

Конкретный пример использования парсера

Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие "option=com_content" в URL. Если вбить в Google запрос inurl:"option=com_content" то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:

inurl:"option=com_content" Авто

inurl:"option=com_content" Ремонт

Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:

1 список:

key1

key2

2 список:

key3

key4

То на выходе получается:

key1 key3

key1 key4

key2 key3

key2 key4

В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру "вариаторы towns bez stran.txt" и "вариаторы высокочастотные.txt". Кладём эти списки в "1.txt" и "2.txt" соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу - в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:"option=com_content". Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:

inurl:"option=com_content" Абаза год

inurl:"option=com_content" Абаза человек

inurl:"option=com_content" Абаза время

inurl:"option=com_content" Абаза дело

То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser

Официальная страничка парсера, где можно скачать последнюю версию:

http://nevep.ru/25-true-search-engines-parser

L0
На сайте с 07.03.2008
Offline
88
#1

Юзаю этот парсер уже пару лет. Не знаю, с чего это автор решил выложить его в паблик, да еще и бесплатно. Золотая жила...

SEO домены (https://domainsrforever.com/)
TF-Studio
На сайте с 17.08.2010
Offline
321
#2

есть поддержка кук?

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
N
На сайте с 10.12.2012
Offline
59
#3
TF-Studio:
есть поддержка кук?

Нету............

one
На сайте с 15.04.2007
Offline
322
one
#4

Прокси с авторизацией поддерживаются?

LimonBucks.com ( http://LimonBucks.com ) - Зарабатывай лимоны и меняй их на крутые призы! Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
N
На сайте с 10.12.2012
Offline
59
#5
one:
Прокси с авторизацией поддерживаются?

Нет, т.к. я не встречал ни одного платного сервиса прокси с авторизацией

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий