Страница с бэками яндекса недоступна для РНР-скрипта

Ya просто юзера иногда отключает минут на 10, если его сильно доставать :)

Оникс, а может пойти другим путем и просто купить Яндекс.XML? Вон Коля Дубр тут с калькулятором сидел, говорит, что это недорого и вообще тут вполне реально в бесплатные 1000 запросов в день уложиться.

Excel - это не выход из данной ситуации.

Наверное, нужно попробовать написать в YA про IP, может действительно разблокируют...

Они скорее всего заблокируют IP и предложат купить Я.XML

Тогда дешевле новый IP купить, и скриптом по крону по 3-5 запросов в минуту слать, это особенно актуально, если по сервис не для широкой публики...

Если я вас правильно понял, то имеется ввиду что CURL то что надо а сокеты не подойдут? Если я правильно это понял, то:

На каком основании сия фраза?

И чем принципиально отличается библиотека CURL от работы с сокетами?

Разве что в курл уже написана вся обработка, а на низком уровне вам ее писать придется... Больше никакой разницы нет.

Если неправильно, то сори, но ваш за пост неоднозначный и вводящий в заблуждение.

По существу: Яндекс не любит роботов, сам натыкался на эти грабли.

Прикидывайтесь юзером.

Глупость. Всё очень просто. Нужно через fsockopen подконнектиться к проксе и отправить через этот прокси http запрос к яндексу. Заголовки, похожие на обычного пользователя получить очень просто. Настраиваем проксимитрон (прога такая) и с помощью него получаем заголовки, которые отсылает Ваш же браузер при обращении к серверу и их пихаем в fsockopen. Реализовывается это всё элементарным образом.

Вот пример, что бы не быть голословным:

//прокси в формате ip:port

$proxy = '';

$url = '/yca/cy/ch/ya.ru/';

$host = 'search.yaca.yandex.ru';



$result = '';

if ($proxy == '')

{

    $fp = @fsockopen($host, 80, $errno, $errstr, 30);

    if ($fp)

    {

        $out = '';

        $out .= "GET $url HTTP/1.1\r\n";

        $out .= "Host: $host\r\n";

        $out .= "Connection: Close\r\n\r\n";

        fwrite($fp, $out);

        while (!feof($fp))

           $result .= fgets($fp, 1024);

    

        fclose($fp);

    }

}

else

{

    list($ip, $port) = explode(':', $proxy);

    $fp = @fsockopen($ip, $port, $errno, $errstr, 30);

    if ($fp)

    {

        $out = '';

        $out .= "GET http://$host$url HTTP/1.1\r\n";

        $out .= "Host: $host\r\n";

        $out .= "Connection: Close\r\n\r\n";

        fwrite($fp, $out);

        while (!feof($fp))

           $result .= fgets($fp, 1024);

    

        fclose($fp);

    }

}



print $result;

Нужные заголовки подставляем, как я уже говорил выше.

В общем, IP на мастерхосте забанен намертво, ни соккеты, ни курл не помогают. А вот на VPS у другого хостера все ок :).

Всем большое спасибо за помощь;).

Только интересно как

"Я все спарсил, больше не буду!"

"Все, буду косить под браузер"

:)

Кстати, парсил по неумению сначала просто так, минут 40 возился, сделал обращений 500 никто меня не тронул :)

Не умничай, теоретик. Если я говорю что не будут, то не потому что я так думаю. А потому что это проверено на практике еще пару лет назад. Если кого-то еще с сокетами не забанили, то это значит, что кол-во запросов в единицу времени мало.

Далее. На забаненном айпи - конечно Эксел не выход. Там уже нет выхода :), пока не разбанят.

Как просить прощения когда нашкодил - не мне учить, этому еще в детстве учат.

Насчет CURL - я не знаю, что и как, а только скрипты на Эксел работают, а на сокетах - банятся. Конечно, скрипты на сокетах банятся гораздо позже, чем просто fopen, file или file_get_contents, но кому от этого легче? Лучше, имхо, сразу строить стабильную систему, а не ждать когда забанят IP в самый неподходящий момент.

Также мне кажется, что 1000 запросов в сутки с помощью Яндекс XML - очень нехилый лимит. Хватит на то чтобы проверить все что нужно. Если умно проверять ;)