Форум Практика оптимизации Любые вопросы от новичков по оптимизации

хм.. странные robots.txt

sunrise
На сайте с 29.10.2003
Offline
195
sunrise
701

Ниже привожу содержание двух robots.txt с разных независимых сайтов.

Зачем некоторые веб-мастера делают подобное?

############################################

<?

header("Content-Type: text/plain; charset=windows-1251");

$addr = $_SERVER['REMOTE_ADDR'];

$name = gethostbyaddr( $addr );

$agent= $_SERVER['HTTP_USER_AGENT'];

$nfo = '';

foreach( $_SERVER as $s=>$v )

{

$nfo .= $s.' = '.$v."\n";

}

#if ( ! preg_match("/papka/", $agent) )

if ( 0 )

{

mail ('111@111.ru', $name . ' robot on '.$SERVER_NAME.'!', "

Robot $agent came from : $addr [ $name ]

$nfo

");

}

############################################

<?php

error_reporting(0);

$body=get("http://link.webhost.ru/web_dir/get_robots_txt.php?version=php&uin=462497189&ip=".$HTTP_SERVER_VARS['REMOTE_ADDR']."&ua=".urlencode($HTTP_SERVER_VARS['HTTP_USER_AGENT']).($_REQUEST['bl']==1?"&debug=1":""));

if($body==''){

fake_404();

}else{

header("Content-Type: text/plain");

echo $body;

}

Function get($destination)

{

$body='';

if($handle=fopen($destination,"r")){

while(!feof($handle)){

$body.=fgets($handle,4096);

}

fclose($handle);

}

return $body;

}

Function fake_404()

{

global $HTTP_SERVER_VARS;

header("HTTP/1.0 404 Not Found");

header("Content-Type: text/html; charset=iso-8859-1");

echo "<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\">

<HTML><HEAD>

<TITLE>404 Not Found</TITLE>

</HEAD><BODY>

<H1>Not Found</H1>

The requested URL ".$HTTP_SERVER_VARS['SCRIPT_NAME']." was not found on this server.<P>

<HR>

".$HTTP_SERVER_VARS['SERVER_SIGNATURE']."</BODY></HTML>

";

}

?>

print "User-Agent: *\n";

print "Disallow: \n";

?>

############################################

human
На сайте с 05.02.2004
Offline
78
human
#1

Первый код - чтоб знать, кто заходил. Правда, почему логи не используются - непонятно.

Второй - явно используется управлялка содержимым роботс.тхт для многих сайтов из одного места.

Зачем - я думаю понятно? :)

С уважением, Кучеров Дмитрий SEO complex — комплексный подход к продвижению (http://seo-complex.ru/) моб. тел.: +7 (495) 506-80-90
sunrise
На сайте с 29.10.2003
Offline
195
sunrise
#2

Как я понимаю, если любой пользователь может увидеть этот код по адресу http://.. .ru/robots.txt, то он не парсится..

А если парсится, то роботы что, понимают PHP?

Второй - явно используется управлялка содержимым роботс.тхт для многих сайтов из одного места. Зачем - я думаю понятно?

не совсем..

human
На сайте с 05.02.2004
Offline
78
human
#3
sunrise:
Как я понимаю, если любой пользователь может увидеть этот код по адресу http://.. .ru/robots.txt, то он не парсится..
А если парсится, то роботы что, понимают PHP?

Нет, просто настройки на сервере глючат. PHP-код, понятно, отображаться не должен.

sunrise:
не совсем..

Когда сайтов много - есть смысл сделать управление содержимым роботс.тхт из одного места и более юзабильным - через веб-интерфейс, например.

K
На сайте с 31.01.2001
Offline
737
Kost
#4
sunrise:
А если парсится, то роботы что, понимают PHP?

PHP парсится сервером и выдается результат. Робот - это HTTP-клиент, он понятия не имеет, что происходит на сервере, он видит тольео результат парсинга.

В данном случае сервер не настроен, как надо.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий