Чем спарсить ссылки с выдачи гугла?

12
master_jeday
На сайте с 15.05.2010
Offline
232
3740

Нужно спарсить с гугла ссылки на страницы сайта. То есть вбив запрос site:domain.com, получить ссылки на страницы этого сайта. Прикол в том, что у гугла ограничение на 1000 результатов. Видел у A Parser'а модуль, который позволяет парсить больше результатов. Но проблема в том, что у меня нет А парсера, а покупать его за 120$ для одного раза моветон. Может, поможет кто, у кого А парсер есть (можно и платно)? Или может какие-то другие софтины есть бесплатные для этой задачи?

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!
J-ran
На сайте с 24.06.2012
Offline
262
#1
master_jeday:
у гугла ограничение на 1000 результатов

Ну это чистой воды профанация, на самом деле больше 620-650 результатов получить не удастся.

master_jeday:
какие-то другие софтины есть бесплатные для этой задачи

Не совсем ясна задача... Нужны просто URLы сайта что-ли? Так может проще вытянуть sitemap.xml? Или нужны именно те, которые Гугл показывает через оператор site:example.com?

JB
На сайте с 09.05.2014
Offline
210
#2

A-PARSER есть но не помогу, не помню как шаблоны пишутся, и вроде гугол как то бороться стал жестко

хуярсер

_Snake_
На сайте с 06.12.2010
Offline
151
#3
JungleBox:
A-PARSER есть но не помогу, не помню как шаблоны пишутся, и вроде гугол как то бороться стал жестко
хуярсер

Он капчами замучит, если ходить через site:domain.com по пагинации дальше 2й страницы. И ограничения на кол-во результатов тоже есть.

Более грамотно будет так сделать

J-ran:
Так может проще вытянуть sitemap.xml
J-ran:
Или нужны именно те, которые Гугл показывает через оператор site:example.com?

Ни какой информационной ценности ссылки полученные через оператор site:example.com не несут, т.к. они могут тут отображаться, но отсутствовать в реальной выдаче.

L
На сайте с 25.12.2013
Offline
270
#4
_Snake_:
Ни какой информационной ценности ссылки полученные через оператор site:example.com не несут, т.к. они могут тут отображаться, но отсутствовать в реальной выдаче.

Это же легко проверить! А по теме ТСа, проще распарсить все страницы сайта, пройдя по нему тем же бесплатным Xenu, а потом проверить, есть они в Гугле или нет.

Недорогой, надежный и отзывчивый VPS хостинг (http://goo.gl/sSkvjr) Нужно быстро и недорого вывести крипту? Легко! (http://goo.gl/yi4LRb)
О
На сайте с 25.04.2010
Offline
67
#5

site:domain.com a

site:domain.com b

site:domain.com c

master_jeday
На сайте с 15.05.2010
Offline
232
#6
Lastwarrior:
Это же легко проверить! А по теме ТСа, проще распарсить все страницы сайта, пройдя по нему тем же бесплатным Xenu, а потом проверить, есть они в Гугле или нет.

Сам сайт не работает. Хочу с кеша гугла восстановить.

---------- Добавлено 04.01.2017 в 13:40 ----------

оранжевый:
site:domain.com a
site:domain.com b
site:domain.com c

Пробовал. 30% вытащил (~2к из 7к) и там скорей всего дубли. 2-3-символьные комбинации хз как составлять. В идеале кто-то бы написал в личку с А парсером. :) Капча у гугла появляется (рекапча 2), но разгадывается через рукапчу нормально, API кей дам.

О
На сайте с 25.04.2010
Offline
67
#7
master_jeday:
2-3-символьные комбинации хз как составлять.

https://papayainternet.com/ppc-keyword-generator

a a a a a

a a a a b
a a a a c
a a a a d
a a a a e
a a a b a
a a a b b
a a a b c
a a a b d
a a a b e
a a a c a
a a a c b
a a a c c
a a a c d
a a a c e
a a a d a
a a a d b
a a a d c
a a a d d
a a a d e
a a a e a
a a a e b
a a a e c
a a a e d
a a a e e
a a b a a
a a b a b
a a b a c
a a b a d
a a b a e
a a b b a
a a b b b
a a b b c
a a b b d
a a b b e
a a b c a
a a b c b
a a b c c
a a b c d
a a b c e
a a b d a
a a b d b
a a b d c
a a b d d
a a b d e
a a b e a
a a b e b
a a b e c
a a b e d
a a b e e
a a c a a
a a c a b
a a c a c
a a c a d
a a c a e
a a c b a
a a c b b
a a c b c
a a c b d
a a c b e
a a c c a
a a c c b
a a c c c
a a c c d
a a c c e
a a c d a
a a c d b
a a c d c
a a c d d
a a c d e
a a c e a
a a c e b
a a c e c
a a c e d
a a c e e
a a d a a
a a d a b
a a d a c
a a d a d
a a d a e
a a d b a
a a d b b
a a d b c
a a d b d
a a d b e
a a d c a
a a d c b
a a d c c
a a d c d
a a d c e
a a d d a
a a d d b
a a d d c
a a d d d
a a d d e
a a d e a
a a d e b
a a d e c
a a d e d
a a d e e
a a e a a
a a e a b
a a e a c
a a e a d
a a e a e
a a e b a
a a e b b
a a e b c
a a e b d
a a e b e
a a e c a
a a e c b
a a e c c
a a e c d
a a e c e
a a e d a
a a e d b
a a e d c
a a e d d
a a e d e
a a e e a
a a e e b
a a e e c
a a e e d
a a e e e
a b a a a
a b a a b
a b a a c
a b a a d
a b a a e
a b a b a
a b a b b
a b a b c
a b a b d
a b a b e
a b a c a
a b a c b
a b a c c
a b a c d
a b a c e
a b a d a
a b a d b
a b a d c
a b a d d
a b a d e
a b a e a
a b a e b
a b a e c
a b a e d
a b a e e
a b b a a
a b b a b
a b b a c
a b b a d
a b b a e
a b b b a
a b b b b
a b b b c
a b b b d
a b b b e
a b b c a
a b b c b
a b b c c
a b b c d
a b b c e
a b b d a
a b b d b
a b b d c
a b b d d
a b b d e
a b b e a
a b b e b
a b b e c
a b b e d
a b b e e
a b c a a
a b c a b
a b c a c
a b c a d
a b c a e
a b c b a
a b c b b
a b c b c
a b c b d
a b c b e
a b c c a
a b c c b
a b c c c
a b c c d
a b c c e
a b c d a
a b c d b
a b c d c
a b c d d
a b c d e
a b c e a
a b c e b
a b c e c
a b c e d
a b c e e
a b d a a
a b d a b
a b d a c
a b d a d
a b d a e
a b d b a
a b d b b
a b d b c
a b d b d
a b d b e
a b d c a
a b d c b
a b d c c
a b d c d
........
Financia
На сайте с 03.06.2009
Offline
207
#8

Кейколлектор купи, он это умеет делать.

Лучшая датинг сетка (http://trafficgoldmine.net)
Ытшзук
На сайте с 17.12.2009
Offline
71
#9
L
На сайте с 25.12.2013
Offline
270
#10
master_jeday:
Сам сайт не работает. Хочу с кеша гугла восстановить.

В Вебархиве не пробовал свой сайт восстановить?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий