Как спарсить все сайты из выдачи по запросу

HJ
На сайте с 14.02.2006
Offline
274
3095

Есть задача:

1) получить список всех доменов из выдачи Гугла\Яндекса по определенному запросу. Интересует получение максимально большого списка.

2) пробить все домены из полученного списка по основным параметрам (возраст, страниц в индексе, кол-во входящих\исходящих, трафик по возможности)

Подскажите, чем можно это сделать?

Seolib
На сайте с 03.07.2008
Offline
159
#1

Попробуйте https://seolib.ru/tools/keywords/top/

Если нужно регулярно, то есть ТОПОЛОВ, ежедневно/по расписанию собирает топ:

https://seolib.ru/info/monitoring_top

Проверка позиций от 3 копеек за запрос! (https://seolib.ru/info/positions?from=se) - Гостевой доступ, группировка запросов, финансовый отчет, анализ посетителей из поиска.
HJ
На сайте с 14.02.2006
Offline
274
#2
Seolib:
Попробуйте https://seolib.ru/tools/keywords/top/
Если нужно регулярно, то есть ТОПОЛОВ, ежедневно/по расписанию собирает топ:
https://seolib.ru/info/monitoring_top

ТОП-50 - мало. А если нужно ТОП-1000, например?

_
На сайте с 24.03.2008
Offline
381
#3

Самому только если "колхозить".

Если немного, то через xml можно получить, если много - проксями.

Seolib
На сайте с 03.07.2008
Offline
159
#4

Если нужно много и регулярно, мы до 500 собираем.

Просто именно для Анализа редко кто больше 50 смотрит.

По факту анализ проводят по топ10-20, а 500-1000 для других целей.

Если нужно много - пишите в личку.

B9
На сайте с 12.07.2013
Offline
37
#5

Для вашей задачи подойдет программа Datacol. С помощью нее делайте парсер (это проще простого, примеры на сайте разработчика есть). А потом для разгадывания капчи используйте XEvil, чтобы не тратиться на ********у. XEvil в данном случае очень рекомендую, т.к аналогов нет (сам использую XEvil где только возможно). Даже если Вы будете парсить выдачу через прокси, то капча все-равно начнет вылазить постоянно с учетом того, что вы хотите максимально углубиться в ТОП.

Fringer
На сайте с 19.09.2012
Offline
82
#6

Если одноразово, то:

- с помощью плагина для хрома скрапим выдачу (предварительно в настройках поиска указываем показывать максимальное количество результатов за раз)

- с помощью rds api пробиваем полученные домены по желаемым показателям.

d4k
На сайте с 02.03.2010
Offline
146
d4k
#7

Нужна надежная связка? Тогда рекомендую использовать платный парсер a-parser.com и подключаемый к нему софт для разгадывания капч xevil.net/ru/ (лучший на рынке, на данный момент) - при таком варианте можно настроить объемы парсинга промышленного масштаба.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий