Результаты поиска Google программно

12
[Удален]
2694

Собственно, вопрос: как из программы получить результаты поиска гугла? При тупом скачивании страницы perl-ом Google выдаёт какую-то непотребщину...

Подкиньте ссылки на темы где это обсуждалось или ссылки на ресурсы, где об этом написано.

B
На сайте с 04.11.2004
Offline
39
#1

Юзай php и curl - всё отлично отдаётся

[Удален]
#2

benzole

А подробнее? какими инструментами (модулями) пользуетесь?

Для гугли совершенно фиолетово что я юзаю: perl или php. Идёт определение того, что я не броузер и посылание нафих (насколько я понимаю). Так вот как бы замаскироваться под броузер? :-)

Или если можно пример на php или perl с использованием Google SOAP Search API.

B
На сайте с 01.11.2006
Offline
55
#3

LWP::UserAgent

[Удален]
#4

Им и пользовался, читай выше почему не катит без доп средств.

!kt0
На сайте с 28.06.2006
Offline
46
#5

Почитай подробнее про то, что реализовано в curl (библиотека PHP).

У меня с простым считыванием (file например) страници нормально работает. Может слишком часто коннектился? Там капчу просит вводить

http://seorepa.com/ (http://seorepa.com/) - блог был там, пока не запилили mchost
[Удален]
#6

Нет, не часто. Это был первый коннект (тестирование только что написанного метода получения позиции под Гугл).

> Почитай подробнее про то, что реализовано в curl (библиотека PHP).

Ты предлагаешь мне всю документацию по curl прочитать? :-) Укажи на что конкретно обратить внимание.

!kt0
На сайте с 28.06.2006
Offline
46
#7

Например на умаксе в поиск вбить curl и читать все подряд (оч. много полезной инфы)

В принципе та же самая работа с сокетами, только уже все готово. Из серии в 5 строк подключение с приемом кукис и тп.

Что возвращает-то? html? =))

dimok
На сайте с 08.11.2002
Offline
291
#8

гугл подробно пишет о том, как его использовать программно: http://code.google.com/apis.html

CLICKBAZA: есть траф - будут и деньги (https://clickbaza.com/)
N
На сайте с 20.04.2005
Offline
53
#9

у тебя ip забанен похоже. ( может соседи на хостинге помогли )

ибо гугл отдает с радостью странички безо всяких методов

кто не рискует - работает на того кто рискует
N
На сайте с 20.04.2005
Offline
53
#10

гугл лучше парсить вот так:

http://www.google.com/ie?q=test&num=100&hl=en

+ гугл не банит ip ( по крайней мере я 5 милионов запросов пробил так без остановки скрипта)

+ трафик расходуеться экономнее

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий