Ну научите парсить выдачу гуры :)

12
I
На сайте с 06.03.2007
Offline
123
2814

Вобщем ситуация такова

делаем запрос (например):

inurl:index.php intext:"ссылка"

Гугль дает, максимум 200 результатов, если в ручную и по 100 на страничке.

Если просто постраничная выдача пускает до 11 включительно.

Далее, начиная с 12 странички "радует" сообщением:

"Ошибка 403"

Приносим свои извинения...

... но ваш запрос похож на запросы, автоматически рассылаемые компьютерным вирусом или вредоносным программным обеспечением. В целях защиты наших пользователей мы не можем обработать ваш запрос немедленно.

Парсеры не пашут, вернее работают но что то я нормального результата так и не нашел, пытался через проксю, вручную начиная с 12 странице, таже проблема....

Ведь знаете жешь лазейку ;) ну поделитесь )

dino_spomoni
На сайте с 09.06.2007
Offline
633
#1

Попробуй добавлять кое что уникальное к inurl:index.php intext:"ссылка" :)

#1 ФАРМ партнёрка, API, 80%+ АПРУВ! Мега крутой конверт, льем всю фарму! -> https://bit.ly/3EvLxX8 | Профи в фарме? Тебе в Union Pharm! -> https://u.to/aXwsIg | PharmEmpire - ТОП Конверт фарма трафика!!! -> https://clck.ru/QrgKx | Рассылки цифровых сообщений и на WhatsApp! -> https://bit.ly/3FVSDYb
malls
На сайте с 08.08.2005
Offline
255
#2
dino_spomoni:
Попробуй добавлять кое что уникальное к inurl:index.php intext:"ссылка" :)

😂 например уникальный IP ☝

I
На сайте с 06.03.2007
Offline
123
#3
malls:
😂 например уникальный IP ☝

неа айпи не катит пробовал

01
На сайте с 18.08.2008
Offline
6
#4

ispan, может реально вирус? Зайдя под прокси все ваше: ip и mac скрываются, а регистрируется даные прокси. Или глюк...

I
На сайте с 06.03.2007
Offline
123
#5

эхх...судя по всему глюк....:(

fima32
На сайте с 12.01.2006
Offline
132
#6

Добавьте условие искать по доменным зонам

К примеру так:

inurl:index.php intext:"ссылка" site:*.com

inurl:index.php intext:"ссылка" site:*.org

inurl:index.php intext:"ссылка" site:*.ru

и т.д.

Z
На сайте с 01.06.2008
Offline
182
#7

inurl:index.php intext:"ссылка"

inurl:"index.php" intitle:ссылка

inurl:"index.php" intitle:ссылка -"медицина"

inurl:"index.php" intitle:ссылка +"SEO"

"" кавычки для Гугля означают более точный поиск, чтобы ненужно не было в выдаче.

В общем подставляй слова в запрос. Меняй слова, добавляй с формы одинаковые слова. Которые обычно одинаковые на сайтах.

Например:

Всегда показывать мой адрес e-mail:

Сайт:

Эта информация будет в открытом доступе

Ник

Добавить ссылку и т.д и т.п

При запросе ещё лучше указывать -"медицина" или -"строительство"или то, что ты не хочешь чтобы попало в выдачу.

Или +"интернет" или ещё что тебе надо, т.е текст который должен быть на странице.

Самый нормальный парсер Hkey Free C++ Google Parser. Хотя не умеет работать с прокси, но с работой справляеться на 5+

Короче примерно так. Думаю пригодиться.

I
На сайте с 06.03.2007
Offline
123
#8

zuziken

Большое спасибо за советы, но это все очевидно...тут больше вопрос борьбы с антиспамом гугля, прокси не лечится, и через прокси лез и куки все удалял, короче хз...мож и правду глюк

Z
На сайте с 01.06.2008
Offline
182
#9

Я бы не назвал это глюком. Всё верно. В Гугле тоже не дураки работают.

Гугль ограничивает выдачу только 1000 результатов.

Представь чтобы бы было, если он выдал бы всё, т.е не 1000, а допустим 10 000.

В итоге тебе нет смысла столько инфы просматривать, да и найдутся люди которые захотят составить базу какую-нибудь. Т.е в интернете бы существовали огромные базы данных.

При парсинге парсер сразу обрабатывает все страницы. Парсер который я тебе указал, в окне программы сразу открывает выдачу на 100 результатов и обрабатывает её.

Т.е за несколько он может обработать 1000 ссылок. Скажи нормальный человек способен на такое?! Я думаю вероятность стремиться к нулю :)

Так и спам-бот сообщает тебе, что это нереально

но ваш запрос похож на запросы, автоматически рассылаемые компьютерным вирусом или вредоносным программным обеспечением

Т.е считает что ты программа и "грабишь" выдачу и не даёт много забрать.

Выход: меняй запросы, комбинируй, находишь один сайт какой тебе надо и указываешь в запросе, что-нибудь (слово или пункт меню), что должно быть и на других сайтах.

zuziken добавил 01.09.2008 в 21:52

Ещё существует парсер AGGRESS Parser 1.6 в нём есть функция парсинга следующего:

  • Google
  • GoogleText
  • Live
  • Overture
  • Yahoo
  • Yandex

Но, он как-то не очень стабильно работает, и иногда не фурычит. Работает на твёрдую 3

d1ma
На сайте с 18.03.2007
Offline
102
#10

Это защита от script kiddies, если в запросе есть php и спец операторы то Google догадывается что с него хотят напарсить список потенциально уязвимых сайтов.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий