Чем спарсить ссылки с выдачи гугла?

231

master_jeday

30 декабря 2016, 15:11

5728

Нужно спарсить с гугла ссылки на страницы сайта. То есть вбив запрос site:domain.com, получить ссылки на страницы этого сайта. Прикол в том, что у гугла ограничение на 1000 результатов. Видел у A Parser'а модуль, который позволяет парсить больше результатов. Но проблема в том, что у меня нет А парсера, а покупать его за 120$ для одного раза моветон. Может, поможет кто, у кого А парсер есть (можно и платно)? Или может какие-то другие софтины есть бесплатные для этой задачи?

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!

262

J-ran

30 декабря 2016, 15:25

#1

master_jeday:
у гугла ограничение на 1000 результатов

Ну это чистой воды профанация, на самом деле больше 620-650 результатов получить не удастся.

master_jeday:
какие-то другие софтины есть бесплатные для этой задачи

Не совсем ясна задача... Нужны просто URLы сайта что-ли? Так может проще вытянуть sitemap.xml? Или нужны именно те, которые Гугл показывает через оператор site:example.com?

JB

239

JungleBox

30 декабря 2016, 19:47

#2

A-PARSER есть но не помогу, не помню как шаблоны пишутся, и вроде гугол как то бороться стал жестко

151

_Snake_

30 декабря 2016, 20:12

#3

JungleBox:
A-PARSER есть но не помогу, не помню как шаблоны пишутся, и вроде гугол как то бороться стал жестко

Он капчами замучит, если ходить через site:domain.com по пагинации дальше 2й страницы. И ограничения на кол-во результатов тоже есть.

Более грамотно будет так сделать

J-ran:
Так может проще вытянуть sitemap.xml

J-ran:
Или нужны именно те, которые Гугл показывает через оператор site:example.com?

Ни какой информационной ценности ссылки полученные через оператор site:example.com не несут, т.к. они могут тут отображаться, но отсутствовать в реальной выдаче.

L

314

Lastwarrior

4 января 2017, 05:22

#4

_Snake_:
Ни какой информационной ценности ссылки полученные через оператор site:example.com не несут, т.к. они могут тут отображаться, но отсутствовать в реальной выдаче.

Это же легко проверить! А по теме ТСа, проще распарсить все страницы сайта, пройдя по нему тем же бесплатным Xenu, а потом проверить, есть они в Гугле или нет.

Недорогой, надежный и отзывчивый VPS хостинг ( https://bit.ly/3eXUnNN ) Проверенная пуш партнерка с ежедневными выплатами ( https://vk.cc/9wLSrL)

О

67

оранжевый

4 января 2017, 06:32

#5

site:domain.com a

site:domain.com b

site:domain.com c

231

master_jeday

4 января 2017, 10:39

#6

Lastwarrior:
Это же легко проверить! А по теме ТСа, проще распарсить все страницы сайта, пройдя по нему тем же бесплатным Xenu, а потом проверить, есть они в Гугле или нет.

Сам сайт не работает. Хочу с кеша гугла восстановить.

---------- Добавлено 04.01.2017 в 13:40 ----------

оранжевый:
site:domain.com a
site:domain.com b
site:domain.com c

Пробовал. 30% вытащил (~2к из 7к) и там скорей всего дубли. 2-3-символьные комбинации хз как составлять. В идеале кто-то бы написал в личку с А парсером. :) Капча у гугла появляется (рекапча 2), но разгадывается через рукапчу нормально, API кей дам.

О

67

оранжевый

4 января 2017, 13:12

#7

master_jeday:
2-3-символьные комбинации хз как составлять.

https://papayainternet.com/ppc-keyword-generator

a a a a a

a a a a b

a a a a c

a a a a d

a a a a e

a a a b a

a a a b b

a a a b c

a a a b d

a a a b e

a a a c a

a a a c b

a a a c c

a a a c d

a a a c e

a a a d a

a a a d b

a a a d c

a a a d d

a a a d e

a a a e a

a a a e b

a a a e c

a a a e d

a a a e e

a a b a a

a a b a b

a a b a c

a a b a d

a a b a e

a a b b a

a a b b b

a a b b c

a a b b d

a a b b e

a a b c a

a a b c b

a a b c c

a a b c d

a a b c e

a a b d a

a a b d b

a a b d c

a a b d d

a a b d e

a a b e a

a a b e b

a a b e c

a a b e d

a a b e e

a a c a a

a a c a b

a a c a c

a a c a d

a a c a e

a a c b a

a a c b b

a a c b c

a a c b d

a a c b e

a a c c a

a a c c b

a a c c c

a a c c d

a a c c e

a a c d a

a a c d b

a a c d c

a a c d d

a a c d e

a a c e a

a a c e b

a a c e c

a a c e d

a a c e e

a a d a a

a a d a b

a a d a c

a a d a d

a a d a e

a a d b a

a a d b b

a a d b c

a a d b d

a a d b e

a a d c a

a a d c b

a a d c c

a a d c d

a a d c e

a a d d a

a a d d b

a a d d c

a a d d d

a a d d e

a a d e a

a a d e b

a a d e c

a a d e d

a a d e e

a a e a a

a a e a b

a a e a c

a a e a d

a a e a e

a a e b a

a a e b b

a a e b c

a a e b d

a a e b e

a a e c a

a a e c b

a a e c c

a a e c d

a a e c e

a a e d a

a a e d b

a a e d c

a a e d d

a a e d e

a a e e a

a a e e b

a a e e c

a a e e d

a a e e e

a b a a a

a b a a b

a b a a c

a b a a d

a b a a e

a b a b a

a b a b b

a b a b c

a b a b d

a b a b e

a b a c a

a b a c b

a b a c c

a b a c d

a b a c e

a b a d a

a b a d b

a b a d c

a b a d d

a b a d e

a b a e a

a b a e b

a b a e c

a b a e d

a b a e e

a b b a a

a b b a b

a b b a c

a b b a d

a b b a e

a b b b a

a b b b b

a b b b c

a b b b d

a b b b e

a b b c a

a b b c b

a b b c c

a b b c d

a b b c e

a b b d a

a b b d b

a b b d c

a b b d d

a b b d e

a b b e a

a b b e b

a b b e c

a b b e d

a b b e e

a b c a a

a b c a b

a b c a c

a b c a d

a b c a e

a b c b a

a b c b b

a b c b c

a b c b d

a b c b e

a b c c a

a b c c b

a b c c c

a b c c d

a b c c e

a b c d a

a b c d b

a b c d c

a b c d d

a b c d e

a b c e a

a b c e b

a b c e c

a b c e d

a b c e e

a b d a a

a b d a b

a b d a c

a b d a d

a b d a e

a b d b a

a b d b b

a b d b c

a b d b d

a b d b e

a b d c a

a b d c b

a b d c c

a b d c d

........

230

Financia

4 января 2017, 13:21

#8

Кейколлектор купи, он это умеет делать.

71

Ытшзук

4 января 2017, 14:15

#9

http://ascent.pro/ru/selka.html

L

314

Lastwarrior

5 января 2017, 02:12

#10

master_jeday:
Сам сайт не работает. Хочу с кеша гугла восстановить.

В Вебархиве не пробовал свой сайт восстановить?

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Маркетинг для шоколадной фабрики. На 34% выше средний чек