PHP не читает страницу с удалённого сервера!!! В чём причина?

71

lehaws

24 декабря 2006, 19:55

821

Заметил, что SEO сервисы по анализу html кода не открывают некоторые сайты, хотя реально эти сайты действуют и браузером открываются, html код читается без проблем... Решил заморочится, написать свой скрипт. Вот что получилось:

fopen естественно ничего не читает.

fsockopen накатал следующий код:

$url = "ПОДОПЫТНЫЙ САЙТ";

$fp = fsockopen ("$url", 80, $errno, $errstr, 30);

if (!$fp) {

echo "$errstr ($errno)<br>\n";

} else {

fputs ($fp, "GET / HTTP/1.0\r\nHost: $url\r\n\r\n");

while (!feof($fp)) {

echo fgets ($fp,128);

}

fclose ($fp);

}

при попытке прочитать подопытный сайт, сервер отвечает:

HTTP/1.1 200 OK Date: Sun, 24 Dec 2006 15:28:31 GMT Server: Apache/1.3.37 (Unix) PHP/5.1.6 mod_auth_passthrough/1.8 mod_log_bytes/1.2 mod_bwlimited/1.4 FrontPage/5.0.2.2635.SR1.2 mod_ssl/2.8.28 OpenSSL/0.9.7e-p1 X-Powered-By: PHP/5.1.6 Set-Cookie: SNS=96e7ad9a82dc4e0d9a0511515956574d; path=/ Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Connection: close Content-Type: text/html

На всех остальных /B]
HTTP/1.1 200 OK Server: nginx/0.3.60 Date: Sun, 24 Dec 2006 15:28:56 GMT Content-Type: text/html Connection: close X-Powered-By: PHP/4.3.10-18
<html> ................. далее идёт код страницы.......

С чем связано такое поведение и есть ли смысл пытаться прочитать такие сайты? Кто меня направит на путь истиный?

73

DENIEL

24 декабря 2006, 20:13

#1

А Вы пробовали на других серверах? "Подопытные сайты" менять пробовали? Или проблема именно с одним?

Для начала попробуйте скрипты проверить с

http://ua2.php.net/manual/ru/function.fsockopen.php

Возможно Вы что-то не верно делаете.

Прежде чем что-то сказать думайте, если не хотите думать - лучше не говорите.

129

Zlo_606ep

24 декабря 2006, 20:14

#2

а если использовать file_get_contents? может у них хитрый скрипт-анти-граббер? может тогда попробовать заголовками сэмулировать браузер.

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Все что нужно знать о DDоS-атаках грамотному менеджеру