Страница с бэками яндекса недоступна для РНР-скрипта

123 4
Oniks
На сайте с 22.08.2005
Offline
176
2273

В общем, пытаюсь загрузить страницу http://www.yandex.ru/yandsearch?ras=1&zone=anchor&lang=all&within=0&mime=all&Link=www.site.ru&rstr=&site=&numdoc=50 через file_get_contents, а он фигу. В еррор лог такая вот строчка:

PHP Warning: file_get_contents(http://www.yandex.ru/yandsearch?ras=1&zone=anchor&lang=all&within=0&mime=all&Link=www.site.ru&rstr=&site=&numdoc=50): failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden\r\n in ...
Это что, яндекс проверяет юсер-агент или просто блокировал доступ к этим страницам с моего IP (раньше с него бэки не смотрел, вроде с него же работает граббер позиций в поиске, хостинг мастерхост)?
Профессиональные услуги фотографа в Москве и области (http://www.oniks-photo.ru/) покупаю стать и ссылки с сайтов про охоту
MVH
На сайте с 03.05.2005
Offline
64
MVH
#1

Попробуйте использовать прокси в php скрипте при обращении к яндексу или посылать заголовки, более похожие на заголовки пользователя-человека.

MVH
На сайте с 03.05.2005
Offline
64
MVH
#2

Только что запустил у себя на локальном сервере скрипт:


<?php
print file_get_contents('http://www.yandex.ru/yandsearch?ras=1&zone=anchor&lang=all&within=0&mime=all&Link=www.site.ru&rstr=&site=&numdoc=50');
?>

Всё работает.

Скорей всего у Вас по ip отсекает. Попробуйте через прокси, что бы убедиться.

Bor-ka
На сайте с 16.11.2004
Offline
256
#3

Oniks, блокировал, чаще блокируют хостинги откуда много запросов идет.

выход - делать ретранслятор на другом сайте, менять хостинг или пытаться договориться о снятии запрета на доступ с этого IP

A
На сайте с 05.11.2005
Offline
111
#4

YA IP быстро банит, используйте проксю или другой сервер,

а в скрипте нужно уменьшать число запросов к ya в минуту, ну и до кучи в хеадере заголовки похожие на реальный браузер посылать...

Чтобы договориться о снятии запрета на доступ с IP мысль интересная, но вот пройдет ли такой номер?

Может нам тут ответят представители яндекса? :)

mustafa
На сайте с 28.10.2005
Offline
202
#5
azzz:
YA IP быстро банит

никогда такого не замечал. В отличие от гугли...

A
На сайте с 05.11.2005
Offline
111
#6

А у меня была такая ситуация, когда массово беки по адресам проверять начал, кстати гугл, то же количество обращений выдерживает спокойно...

mustafa
На сайте с 28.10.2005
Offline
202
#7

azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)

Каширин
На сайте с 03.01.2004
Offline
1031
#8

Что вы как дети? Конечно Яндекс фиксит обращения роботов и банит IP.

Потому что страница с бэклинками запрещена для посещения роботов. Если вы напишете в саппорт и объяснитесь, то IP разбанят.

Кстати. Для доступа в интернет Эксел использует ядро Эксплорера, поэтому если Эксел запрашивает информацию со сторонних сайтов, то выглядит и ведет себя как обычный пользователь. Но надо понимать, что обычный пользователь не может делать 10 запросов в секунду, например ;)

Каширин
На сайте с 03.01.2004
Offline
1031
#9
mustafa:
azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)

Сокеты работать не будут - будет то же самое ;)

A
На сайте с 05.11.2005
Offline
111
#10

Обижаете, mustafa,

из-за того что скрипт прикидываются юзером гугл IP и не банит :)

А вот ya - только так...

Кстати, я LWP использую (куки, авторизация, ssl и т.п.)

mustafa:
azzz, дык надо юзером прикидываться, а не тупым fopen или file_get_contents тащить. CURL или fsockopen вам в помощь :)
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий