Помощь с парсингом Гугла

Вы через курл делали?

---------- Добавлено 17.10.2012 в 23:53 ----------

Если проект действительно парсит ТОП100, то с удовольствием посмотрю и без пива Вас не оставлю )))

<?

$url = "http:// www google com/search?hl=ru&num=100&filter=0&safe=0&ie=UTF-8&oe=UTF-8&q=".urlencode("site:yandex.ru");

$ch = curl_init();

 curl_setopt($ch, CURLOPT_URL,$url);

        curl_setopt($ch, CURLOPT_USERAGENT, "");

        curl_setopt($ch, CURLOPT_FAILONERROR, 1);

        curl_setopt($ch, CURLOPT_HEADER, 0);

        curl_setopt($ch, CURLOPT_REFERER, "http://www.google.ru/"); 

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

        curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);

        curl_setopt($ch, CURLOPT_TIMEOUT, 30);



            curl_setopt($ch, CURLOPT_POST, 0);



        $data = curl_exec($ch);

preg_match_all("/<div class=\"kv\" style=\"margin-bottom:2px\"><cite>(.+?)<\/cite>/is",$data,$matches);

print_r($matches[1]);

?>

bukachuk, да Ваш вариант с запросом на латинице работает, а вот с кириллицей не хочет ((

Файл в какой кодировке ? Латиницей все также utf8 надо и urlencode не забываем

Да, это я на ночь глядя туплю, спасибо, сейчас напишу Вам в ЛС

P.S. У меня параметра curl_setopt($ch, CURLOPT_HEADER, 0); не было

юзер-агент обязательно передавайте нормальный.

Спасибо за совет, но как раз без юзер агента спокойно 150 ключей парсит, хотя в будущем он потребуется, уверен, ещё раз спасибо.

---------- Добавлено 18.10.2012 в 00:19 ----------

Большое спасибо всем кто отозвался, вопрос исчерпан!

Я когда надо было, ставил максимальный размер страницы и задержку 15-20 секунд и оставлял комп (все равно он у меня не выключается). Через неделю, но напарсил много, реально много...

Парсинг выдачи гугла - это фигня, вот как регион установить я так и не допетрил.

Паршу по 200 кеев с задержкой в 10-20 секунд - никаких проблем (глубина - 500).

Параметр &near в адресной строке поможет указать регион, пишите туда его словами