Правильность robots.txt

JM
На сайте с 07.07.2004
Offline
7
522

скажите, пожалуйста, если есть два имени одного и того же сайта:

IRLink.ru

IRLink.spb.ru

и хочется указать первое имя как главное, правильно ли я оформил robots.txt? (описание этого файла я читал, но после этого всё же на 100% не остался уверен...)

User-Agent: *

Host: www.irlink.ru

User-Agent: *

Host: irlink.ru

IRLink.2 -- пульт ду, пульт дистанционного управления компьютером (http://irlink.ru)
S
На сайте с 25.12.2003
Offline
173
#1

Определитесь сначала, что будет основным зеркалом: www.irlink.ru или irlink.ru - это разные вещи. Оставьте что-то одно и прочитайте это .

Красивые сниппеты Google ( https://saney.com/tools/google-snippets-generator.html )
JM
На сайте с 07.07.2004
Offline
7
#2

ага, те я должен определиться вплоть до того, c www-префиксом или без должен быть домен?

те если я быверу основным просто IRLink.ru, то из двух моих записей в robots.txt мне надо только его оставить?

(ссылку вашу я читал, но, повтояю, после неё однозначно ясно мне не стало %(

[Удален]
#3

javaMan, ага, надо выбрать с точностью до наличия www. И не забывайте, что директиву Host поддерживают только Яндекс и Апорт. Так что лучше всего вообще сделать сайт доступным только по одному адресу, а с других вариантов написания сделать 301-редирект на него.

JM
На сайте с 07.07.2004
Offline
7
#4
И не забывайте, что директиву Host поддерживают только Яндекс и Апорт. Так что лучше всего вообще сделать сайт доступным только по одному адресу, а с других вариантов написания сделать 301-редирект на него.

а 301-redirect yandex и aport в таком случае поймут как указание на то, какое зеркало главное?

[Удален]
#5

А у них вариантов просто не останется. :)

Правда, если Яндекс уже склеил не так, как вам надо, то на переклейку может потребоваться время.

AM
На сайте с 28.10.2002
Offline
99
#6

Если работает SSI можно написать

<!--#if expr=" \"${HTTP_HOST}\" != \"www.irlink.spb.ru\" " -->

User-Agent: *

Disallow: /

<!--#else -->

User-Agent: *

Disallow: /cgi-bin - ну или что там не нужно делать indexed ;)

<!--#endif -->

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий