Парсинг Яши

не пробовали увеличить количество айпишников и последовательно задавать с них запросы, заменяя айпишники с капчей новыми

Собственно количество ip и будет увеличено в качестве решения, если другого не найдётся... Вот поэтому и создал темку, может кто чего умного подскажет :)

можно использовать yandex XML:

http://xml.yandex.ru/

до 1000 запросов с одного IP...

P.S. одна из прог, которая использует данную возможность >>

На данный момент у меня 36 ip адресов - соответственно я смогу сделать 36000 запросов. Но вот всё-равно смущает некий, хоть и "высокий" потолок. Плюс, раньше, не знаю как сейчас, часто выдача XML отличалась от общей выдачи. Как сэтим дела обстоят сейчас?

тут есть хитроть, например то что поиск идет до 500 места, если мне память не изменяет.

А это значит что на 1 запрос, тратиться 10 попыток его найти среди 500 мест. Итого вы можете с одного ИПа найти 100 слов в день, имея 100 Проксей это хорошо, а с 18ю это не так уж и много.

Как и раньше - отличается. Особенно первый день после АПа (+/-) аж до 5-и позиций.

P.S. В помощь таймауты + прокси. Других вариантов не вижу.

А если юзать http://go.mail.ru/search?q= ? Там выдача точно как у Яшки. Чуть регекспы изменить - и в путь. Не?

А Вы простите про какой метод сейчас говорите ? Perl или через строку GET ???

У меня вроде как и 800 позиций получал. Но через GET.

отличается на мейле выдача =( увы...

В десятке добавил 25.11.2008 в 10:40

xml тоже не подходит ввиду того, что выдача отличается, хоть и в день апа... всегда нужны точные данные.

В десятке добавил 25.11.2008 в 10:43

На таймаутах далеко не уедешь... сейчас уже более 1000 запросов надо мониторить... и времени на это тьма уходит с таймаутами и то с ограничением не дальше 50 позиции - поэтому по одной странице в Я смотрю. Прокси - вообще крайне не надёжная штука. У меня свои ip. Но просто их количество ограниченно.

Курлами через GET

Там есть функция.

     $ips = $ip[rand(0,(count($ip)-1))];



        $ch = curl_init();    // инициализация



            curl_setopt( $ch, CURLOPT_URL, 'http://'.$name.'/' );

            curl_setopt( $ch, CURLOPT_NOBODY, 0 );

            curl_setopt( $ch, CURLOPT_HEADER, 0 );



            curl_setopt( $ch, CURLOPT_RETURNTRANSFER, 1 );



               curl_setopt( $ch, CURLOPT_TIMEOUT, 1 );



               curl_setopt( $ch, CURLOPT_USERAGENT, "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)" );



               curl_setopt( $ch, CURLOPT_INTERFACE, $ips );



               curl_setopt( $ch, CURLOPT_REFERER,  'http://'.$name.'/' );        // маскируемся под реферера



               $result = curl_exec( $ch ); // запуск



               $info = curl_getinfo( $ch ); 



        curl_close( $ch ); 

if($info['http_code']==200){} - успешное соединение

если статус равен 0 то IP не работает. Ипшники вводятся в массив, в итоге в скрипте они используются случайным образом. При успешном выполнении желательно использовать задержку sleep();