Форум Поисковые системы Google

Как парсить выдачу в Google

12
A
На сайте с 30.11.2005
Offline
193
azazelka
#11
M25:
azazelka, вы скажите что именно Вам нужно? Просто получить на каком месте нужный сайт по списку слов или что-то другое?

получить позиции страницы а не сайта в выдаче

M2
На сайте с 12.12.2015
Offline
7
Mike255
#12
azazelka:
а у кого-то был опыт парсинга выдачи самостоятельный?

Как-то надо было спарсить 9000 запросов, ничего бесплатного что давало бы нормальный результат не нашел. Лучшим был батерфляй, но он не дает страницы, а только адреса сайтов. Селка с гуглом у меня не заработала.

В результате написал свой скрипт под phantom.js. Вариант только на PHP работал совсем не долго, да и с вводом капчи в нем была проблема.

Собственно сам скрипт, для тех кто хочет поиграться.

[ATTACH]153539[/ATTACH]

zip Parser.zip
xml.yandex.ru Чем спарсить ссылки с Как лучше организовать каталог
G
На сайте с 20.02.2013
Offline
94
girlads
#13

На американских форумах читал что можно делать 1 запрос в минуту (1440 в сутки) с одного ай пи адреса, и нормально.

Если нужны не сильно большие объемы и не сильно срочно (ну там 9 тысяч за неделю), то должно хватить без всяких прокси.

Файлообменный сервис Oron.com - Какой Аптайм признан нормальным? Поведенческие факторы или накрутка.
M2
На сайте с 12.12.2015
Offline
7
Mike255
#14
girlads:
На американских форумах читал что можно делать 1 запрос в минуту (1440 в сутки) с одного ай пи адреса, и нормально.
Если нужны не сильно большие объемы и не сильно срочно (ну там 9 тысяч за неделю), то должно хватить без всяких прокси.

Я пробовал варьировать задержкой, в том числе и в 2 минуты (включая случайную). примерно 120 запросов и будет капча. Это при условии поддержки куков и JS.

И еще момент. Если по каком-либо запросу вышка капча. То ответ на этот запрос будет только через капчу (с того же IP).

YaRe - десктопный регистратор Арсенкин - как он Что из себя представляет
St.One
На сайте с 03.03.2008
Offline
154
St.One
#15
azazelka:
а у кого-то был опыт парсинга выдачи самостоятельный?

Если парсить выдачу в больших объемах без прокси ни как не обойтись, можно на IPv6 купить они дешевле будут google с ними нормально дружит.

Key Collector - пробовали?

Здесь Индивидуальные прокси (http://www.primeproxy.net/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий