Опять про robots.txt

12
dspu
На сайте с 10.05.2006
Offline
268
#11
Prediger:
В общем, как я понял из всего вышенаписанного.
При ситуации, когда на один физический сайт ведёт два имени: сайт.ру и сайт.домен.ру, а пути на сайте все прописаны на домен второго уровня сайт.ру в директиве host я пишу сайт.ру.

host действует только на яндекс

andrej-ilin
На сайте с 28.03.2005
Offline
42
#12

Prediger, нужно начать с изменения ссылок на внутренние страницы сайта. Все абсолютные адреса нужно переписать со старого домена третьего уровня на новый домен второго уровня. Там где это возможно заменить относительные адреса на абсолютные, особенно на главной странице сайта.

Если на старый сайт не стоит достаточное количество ценных ссылок, то просто ставьте редирект.

Со временем его вообще можно будет запретить к индексации.

Если старый сайт достаточно раскручен, то добивайтесь того, чтобы он стал зеркалом вашего основного сайта. В этом случае для каждого поисковика существуют свои нюансы. Как вам уже сказали директиву host поддерживает только Яндекс.

http://robotstxt.org.ru/RobotstxtErrors#h83-8

Кстати, используя modrewrite вы можете выдавать роботам разные robots.txt для разных доменов.

andrej-ilin@yandex.ru
dspu
На сайте с 10.05.2006
Offline
268
#13
andrej-ilin:
Кстати, используя modrewrite вы можете выдавать роботам разные robots.txt для разных доменов.

как бы автоматический бан за это не словить, потом придется долго доказывать что ты не дорвей 🙄

andrej-ilin
На сайте с 28.03.2005
Offline
42
#14
dspu:
как бы автоматический бан за это не словить

За что бан? Разные домены - разные robots.txt. Люди уже давно программные robots.txt пишут, но, конечно, без особой нужды увлекаться этим не стоит.

dspu
На сайте с 10.05.2006
Offline
268
#15
andrej-ilin:
За что бан?

за "выдавать роботам разные"

andrej-ilin
На сайте с 28.03.2005
Offline
42
#16

dspu, если у меня сервер будет при обращении с www отдавать один robots.txt, а без www другой - это криминал? А вы знаете сколько сайтов отдают на запрос robots.txt всякую ерунду? Есть такие cms, которые выдают код главной страницы в том случае, если нет файла robots.txt.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий