Как правильно написать в фале robots.txt

4

vmur

31 мая 2009, 15:29

417

Здравствуйте.

Подскажите,пожалуйста,как правильно написать в файле robots.txt директиву Host относительно главных зеркал (какое у меня главное???):

User-Agent: *

Disallow:

Эта запись-если главное зеркало www.myhost.ru

ИЛИ:

User-Agent: *

Disallow:

Host: domen.myhost.ru (как здесь писать вместо

domen.myhost.ru ???)

Какую запись использовать?

Файлы по FTP заливал в папку public_html.

Спасибо.

370

kimberlit

31 мая 2009, 15:34

#1

Ты нормальным языком скажи какой у тебя домен ... Тогда скажу ...

38

vituson

31 мая 2009, 15:34

#2

Главное зеркало у вас то, на какое доменное имя регистрировали. И, если не ошибаюсь, директиву хост надо для Яндекса использовать.

То есть,

User-agent: Yandex

Disallow: /cgi-bin

если регали домен с www, а если без www, то и не надо www. писать.

Выбор главного зеркала для Изменение User-Agent робота РСЯ Составление файла robots.txt

[Удален]

31 мая 2009, 15:36

#3

vituson:
если регали домен с www, а если без www, то и не надо www. писать

Дело не в том, как регали, а в том, как хотите, чтобы это видел Яшка.