А что тогда спрашиваете здесь, если такие уверенные?
Т.е. вы считаете, что в этой ситуации:
любой робот, отличный от Yandex, дойдёт до Host и прекратит чтение файла robots.txt? И как он вообще дойдёт до неё, если user-agent не его?
Или вы имели в виду такой вариант:
Во втором случае согласен, что робот (не Y) глюканёт и скажет: good bye ...
Тут каждый день дежавю, как под копирку ... День сурка ...
А вы думаете, что PHP - это язык разметки? Исходный код страницы и должен быть в HTML.
Вам нужно править шаблон.
И это не обязательно index.php или header.php, т.к. всё зависит от движка. Если движок самописный, то автор мог его обозвать как угодно (типа shapka.php). В некоторых движках нужно править файлы темы. Короче, нужно искать где прописаны у вас мета-теги.
Кстати, а откуда вторая ссылка взялась?
Я ответил на опрос и ...
Как была главная так и осталась, и ссылок на результат нет ...
Вот самое правильное решение =)
Роботы через кнопку не пройдут ...
rmikel, а слеш то зачем закрывающий ))) это же файл, а не папка ...
EgorDorofeev, без разницы каким путём попадают на страницу ... Важен конечный урл страницы ... Он поменялся?
Я почтовым переводом заказываю, т.к. обменников близко нет.
