Форум Поисковые системы Google

Парсинг выдачи Гугля нужен

12
AX
На сайте с 24.09.2004
Offline
118
alex-xl
1298

Господа, подскажите онлайн сервис или скрипт какой-нибудь для парсенья :rolleyes: выдачи Гугла. Типа ищу "тапочки" и мне выдаёт голые урлы в кол-ве ~1000 штук по этому запросу.

NR
На сайте с 11.06.2004
Offline
12
NarratoR
#1

http://www.best-hotels-inns.com/google_demo.php

AX
На сайте с 24.09.2004
Offline
118
alex-xl
#2

Не, кривой какой-то. Во-первых демо версия, во-вторых использовать прокси принудительно надо. Одним словом не гож. Да и долго ли проживёт он там.

Upну тему ещё раз. Подскажите, господа.

Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
#3

You may not take the results from a Google search and reformat and display them, or mirror the Google home page or results pages on your Web site. You may not "meta-search" Google.
(с) Google Privacy Center: Terms of Service

Это, значит, раз :)

http://www.google.com/apis/

Это, значит, два :)

Деревянные окна (http://www.wood-win.ru/)
admad
На сайте с 22.06.2004
Offline
126
admad
#4

Из той же оперы тока не демо :) 


<?php error_reporting(0); ?>

<html>



<head>

 <title></title>

</head>



<body>

<form method="GET">

<input name="str" value="<? echo $_GET['str']; ?>">

<input type="submit">

</form>

<?

    set_time_limit(0);

    if (empty($_GET['str'])) exit;

    $count = 0;

    for ($a=0;$a<=1000;$a=$a+100){

       $url = "http://www.google.com/search?q=".$_GET['str']."&num=100&hl=en&lr=&safe=off&start=".$a."&sa=N";

       $buffer = '';

       $fd=fopen(trim($url), "r");

       if($fd)

       {

               while(!feof($fd)) $buffer .= fgets($fd);

               fclose($fd);

       }

       unset($urls);

       preg_match_all("|<p class=g>(.*)</a>|U", $buffer, $urls);

       $temp = true;

       foreach ($urls[1] AS $url)

       {

               if (strstr($url, 'google') != '') continue;

               unset($temp_urls);

               preg_match_all("|href\=\"?'?`?([[:alnum:]:?=&@/._-]+)\"?'?`?|i", $url, $temp_urls);

               $count += sizeof($temp_urls[1]);

               echo $temp_urls[1][0];

               echo "<br>";

       }

    }

    echo $count;

?>



</body>



</html>
AX
На сайте с 24.09.2004
Offline
118
alex-xl
#5

Насчёт гугл api я знаю, но применить не могу - не программист.

Вторй скриптик завёлся, но не всё нормально отрабатывает.

Например однословные запросы нормально парсит выдачу, а вот так: sony vaio - сразу не парся пишет 0.

Упал трафик в Яндекс CMS для потрала с Поисковые запросы в одном
П
На сайте с 19.04.2005
Offline
104
Пилот
#6

в принципе если не так часто это требуется делать, то можно и ручками выдрать ссылки

например делаете такой завпрос http://www.google.com/ie?q=%D1%82%D0%B0%D0%BF%D0%BE%D1%87%D0%BA%D0%B8&num=100&hl=en&lr=&c2coff=1

и далее в Опере или Maxthon есть встроенные средства для отображения всех линков на странице

Вечные ссылки в рассрочку, отобраны только качественные доноры Регистрация по приглашению -> http://gogettop.ru/?ref=18973 (http://gogettop.ru/?ref=18973)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
WA
На сайте с 18.01.2004
Offline
103
WebAndrey
#7
Пилот:
в принципе если не так часто это требуется делать, то можно и ручками выдрать ссылки

Для поставленных целей - ручками не реально :)

AX
На сайте с 24.09.2004
Offline
118
alex-xl
#8

:)

Ну да, 1000 штук урлов выдрать руками - это грустно .

П
На сайте с 19.04.2005
Offline
104
Пилот
#9

Держи, очень сыро, но за пол часа что получилось набрасать

http://www.seosite.com.ru/link-bot.html

Добавлю, что если начнет глючить, то придется подождать (максимум сутки), пока разбанят IP. Так как есть лимит, не более 1000 запросов с одного IP сутки.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
AX
На сайте с 24.09.2004
Offline
118
alex-xl
#10

Ай спасибо )

Отлично пашет. Уважение и почёт Вам.

А больше 1000 в сутки мне и не надо. Намного меньше.

Пилот, исходником не поделишся ? А то мало ли, прибьёш у себя скрипт за ненадобностью и всё, кончилось счастье.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий