Результаты поиска Google программно

12
!kt0
На сайте с 28.06.2006
Offline
46
#11
niklab:
гугл лучше парсить вот так:
http://www.google.com/ie?q=test&num=100&hl=en

+ гугл не банит ip ( по крайней мере я 5 милионов запросов пробил так без остановки скрипта)
+ трафик расходуеться экономнее

Очень повезло. Обычно 5-10 минут.

filter=0 забыл

http://seorepa.com/ (http://seorepa.com/) - блог был там, пока не запилили mchost
dkameleon
На сайте с 09.12.2005
Offline
386
#12
metton:
Укажи на что конкретно обратить внимание.

на редиректы

Дизайн интерьера (http://balabukha.com/)
B
На сайте с 04.11.2004
Offline
39
#13
metton:
benzole
А подробнее? какими инструментами (модулями) пользуетесь?
Для гугли совершенно фиолетово что я юзаю: perl или php. Идёт определение того, что я не броузер и посылание нафих (насколько я понимаю). Так вот как бы замаскироваться под броузер? :-)

ну дык собственно это курл (библиотека для php если что) и делает. создаёт этакий виртуальный браузер, с юзерагентами, куками и т.д. В гугле оч.много примеров кода, и использованием списка прокси тоже есть.

П
На сайте с 19.04.2005
Offline
104
#14

перлом парсил выдачу и ни кких проблем, все нормально отдавал

Вечные ссылки в рассрочку, отобраны только качественные доноры Регистрация по приглашению -> http://gogettop.ru/?ref=18973 (http://gogettop.ru/?ref=18973)
[Удален]
#15

Странно, при попытке программно слизать результат что на рабочем инете, что со стрима, выдаёт HTML-ную страничку: "We have encountered an error while processing your request. If you would like to provide us with information..."

K
На сайте с 03.10.2006
Offline
90
#16

проблема или в редиректе, или в том, что google отдавал GZIP пожатые файлы.

если уж очень хочется вытаскивать php скриптом через WWW данные, то можно сделать так:


require_once "PEAR.php";
require_once 'Net/Socket.php';
require_once 'HTTP/Request.php';
$req =& new HTTP_Request('http://www.google.ru', array('allowRedirects'=>true));
if (!PEAR::isError($req->sendRequest())) {
$sContent = $req->getResponseBody();
}

подробнее - см. доки на PEAR

П
На сайте с 19.04.2005
Offline
104
#17

в перле это делал так и все работало


$l="http://www.google.com/search?q=test&hl=en&lr=&start=0&sa=N";
$ua = LWP::UserAgent->new(env_proxy => 1,
keep_alive => 1,
timeout => 60,
agent => "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"
);
$ua->env_proxy;
$ua->no_proxy('localhost');
$req = $ua->get($l);
$file= $req->content;
print $file;
Loofort
На сайте с 23.04.2006
Offline
28
#18

Удивлён, что никто не вспомнил про класс Snoopy в php. Имитирует браузер, ( использует Curl)

SEO-Сервис по проверке индекса Google (http://seo4site.com/tools/index-checker/) пасрать тут (blog) (http://blog.seo4site.com/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий