Гуглопарсер

Что, реально никто не делал? =(

несколько часов.

А вообще можно использовать апи гугла, например так:

http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=hello

где q - это запрос

Спасибо за ответ. Апи ненравится тем, что результаты абсолютно неадекватны обычной выдаче. Проверял на ряде запросов, в чем именно дело разбираться не стал, ну и конечно выдача из 4 позиций...

Пока думаю делать так -

<?
    include ('simple_html_dom.php');
    $url = "https://www.google.ru/search?num=100&q=".urlencode($query);
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36");
    curl_setopt($ch, CURLOPT_FAILONERROR, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_REFERER, "https://www.google.ru/"); 
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
    curl_setopt($ch, CURLOPT_TIMEOUT, 30);

    curl_setopt($ch, CURLOPT_POST, 0);

    $html = str_get_html(curl_exec($ch));

    if($html->find('div.srg') === null){
        die($html->outertext);        
    }

    $ret = array();
    foreach ($html->find('div.srg li') as $el) {
        $array = array();
        foreach ($el->find('h3 a') as $anchor) {
            $array['link'] = $anchor->href;
            $array['title'] = $anchor->plaintext;
        }
        foreach ($el->find('span.st') as $text) {
            $array['desc'] = $text->plaintext;
        }  
        if(!empty($array))
            $ret[] = $array;      
    }

print_r($ret);
?>

Результат совпадает на 100%, даже несмотря на то, что скрипт запускается с сервера, то есть региональность по айпи клиента не влияет.

Надеюсь, что при разовых запросах раз в 5-7 минут банить не будет. Хотя, видимо, прокси надо запланировать в конструкции, благо несколько своих айпишников есть в той же сети.

В api небось все купленное не выдается.

Прокси надо.

Через месяц-другой, ip в бан уйдет. (я свой забанил, поставил прокси и всё работает)

Благо прокси дешевые, так что не оч сложно будет.

А может х-парсер купить та и все? Там любую выдачу можно взять...

А зачем? Вышеозначенный код прекрасно работает. Подкрутить Я.XML еще несколько строчек кода. Прокси - не проблема. Задача достаточно простая. Или ты вызываешь мастеров, когда тебе лампочку надо поменять?

Повторюсь, это не проммасштабы. Тем более что все это допиливается в самописный движок, где эта аналитика будет перекликаться со многими другими факторами внутрянки, и получать эти данные лучше внутри этого же движка.