True Search Engines Parser - бесплатный парсер поисковых систем

True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex.

Системные требования

Windows XP, 7, 8, 8.1, 10

Microsoft .NET Framework 3.5 или выше

Описание параметров

Threads – количество потоков.

SE – выбор поисковой системы и языка.

Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто

Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)

Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.

Файл keys.txt – запросы

Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)

Файлы нужно заполнять перед запуском проги, и обязательно в кодировке utf-8.

Конкретный пример использования парсера

Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие "option=com_content" в URL. Если вбить в Google запрос inurl:"option=com_content" то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:

inurl:"option=com_content" Авто

inurl:"option=com_content" Ремонт

Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:

1 список:

key1

key2

2 список:

key3

key4

То на выходе получается:

key1 key3

key1 key4

key2 key3

key2 key4

В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру "вариаторы towns bez stran.txt" и "вариаторы высокочастотные.txt". Кладём эти списки в "1.txt" и "2.txt" соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу - в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:"option=com_content". Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:

inurl:"option=com_content" Абаза год

inurl:"option=com_content" Абаза человек

inurl:"option=com_content" Абаза время

inurl:"option=com_content" Абаза дело

То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser

Официальная страничка парсера, где можно скачать последнюю версию:

http://nevep.ru/25-true-search-engines-parser