Парсер гугла по определенному сайту

12
R
На сайте с 26.05.2012
Offline
76
1684

Здравствуйте господа!

Подскажите, существует подобный парсер:

из выдачи по запросу site:domain.com

нужно вытащить урлы по определенному фильтру, например domain.com/images/

?

M5
На сайте с 12.08.2009
Offline
221
M25
#1

В гугл вводите:

inurl:domain.com/images/

или

inurl:domain.com/images/ site:domain.com

не парсер, конечно, но существенно упрощает задачу

► Рейтинг серверов — ТОП10 ◄
R
На сайте с 26.05.2012
Offline
76
#2

Спасибо, я както забыл об этом операторе

но там несколько сотен тысяч страниц domain.com/images/ :)

чем отпарсить ? нужен хотябы список всех страниц

N2
На сайте с 28.09.2011
Offline
19
#3

inurl - убьет проксю если 100500 запросов,

парсите всю возможную выдачу по site:domain.com - потом фильтрануть, как-то так...

или обратным путем - просканировать весь сайт (если не вк конечно), взять нужные урлы и чекнуть на индекс...

M5
На сайте с 12.08.2009
Offline
221
M25
#4
namoot27:
парсите всю возможную выдачу по site:domain.com - потом фильтрануть, как-то так...

если страниц в индексе на порядок больше, чем нужных ТСу, то не факт, какая прокся раньше ляжет

namoot27:
или обратным путем - просканировать весь сайт (если не вк конечно), взять нужные урлы и чекнуть на индекс...
тут уже да, верно говорите, но это если на сайте не 100500 млн страниц
R
На сайте с 26.05.2012
Offline
76
#5
namoot27:
взять нужные урлы и чекнуть на индекс...

Задам другой вопрос тогда еще :)

чем чекнуть на индекс страницы site:domain.com/images/ ??

там ведь и supplemental и основной по такому запросу :)

K
На сайте с 03.03.2013
Offline
6
#6

xeon юзай, поможет

R
На сайте с 26.05.2012
Offline
76
#7

что за xeon ? дайте ссылку плиз

О
На сайте с 25.04.2010
Offline
67
#8
M25:
В гугл вводите:
inurl:domain.com/images/

или
inurl:domain.com/images/ site:domain.com

не парсер, конечно, но существенно упрощает задачу

site:domain.com/images/

нафига еше инурлы?

https://www.google.com/search?q=site:https://www.searchengines.ru/seoblog/&filter=0

ПреведSeo
На сайте с 31.10.2008
Offline
163
#9

можно вот так

или найди карту сайта xml, спарсь линки и отфильтруй чё надо

(_x_)
exarh
На сайте с 28.03.2010
Offline
503
#10
ПреведSeo:


можно вот так
или найди карту сайта xml, спарсь линки и отфильтруй чё надо

Обновите программу то ))

Монетизируй (https://publishers.propellerads.com/#/pub/auth/signUp?ref_id=tnE) свой сайт с выгодой
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий