Яндекс накосячил с соблюдением стандарта файла robots.txt

1018

Каширин

27 января 2006, 12:05

#51

k-os:
Недавно столкнулся с этой проблемой, нашёл решение с использованием mod_rewrite:
1. Сделал файл robots.php c таким содержанием:


<?

if (stristr($_SERVER['HTTP_HOST'],'www.имя_сайта.ru'))

{

    print "User-agent: *\r\nDisallow: /";

}

else

{

    print "User-agent: *\r\nDisallow: /admin/";

}

?>

Здесь главным выбрано зеркало без префикса www.

2. Прописал в htaccess такую дерективу:


RewriteRule ^robots.txt robots.php [L]

Теперь сайт с www запрещается для индексации, а без www нет..

Я также использовал динамический robots.txt с мод рерайтом. Но я пошел немного дальше - перепер тип контента на текст, и выдавал 404 ошибку по адресу robots.php.

И все прекрасно работало :)

241

Lupus

28 июля 2006, 17:20

#52

Каширин:
Я также использовал динамический robots.txt с мод рерайтом. Но я пошел немного дальше - перепер тип контента на текст, и выдавал 404 ошибку по адресу robots.php.

Сегодня столкнулся с похожей проблемой. Правда не стал химичить с php, а сделал проще:

RewriteEngine on

RewriteBase /

RewriteCond %{HTTP_HOST} ^www\..*$

RewriteRule ^robots\.txt robots1.txt [L]

There are two types of people in this world: 1. Those who can extrapolate from incomplete data.

Что такое Power BI и зачем это нужно бизнесу

Google: E-E-A-T не является фактором ранжирования

Яндекс накосячил с соблюдением стандарта файла robots.txt