Консультация по robots.txt

S2
На сайте с 11.09.2011
Offline
52
766

Здравствуйте, уважаемые форумчане.

Подскажите, исправен ли файл robots.txt на сайте http://betsikum.ru/

Если нет, то скажите, какие коррективы следует внести и за что они отвечают.

wwwwww
На сайте с 29.04.2011
Offline
195
#1
se27k:
Подскажите, исправен ли файл robots.txt на сайте http://betsikum.ru/

Не волнуйтесь файл robots.txt у Вас исправно открывается по адресу http://betsikum.ru/robots.txt

Директивы

Host: betsikum.ru

я бы перенес в раздел, управляющий поведением Яндекса.

Вы можете самостоятельно проверить правильность работы всех инструкций через http://webmaster.yandex.ru/robots.xml.

Все о директивах здесь http://robotstxt.org.ru

Видишь? Свободная подпись.
R
На сайте с 18.10.2009
Offline
33
#2

А зачем вообще раздел для Яндекса дублирующий директивы для всех? Лишний код.

Drums
На сайте с 13.02.2011
Offline
81
#3

Revit, богатый жизненный опыт показывает, что для Яши все директивы лучше прописывать явно!

Шустрые и стабильные VDS на SSD дисках (http://articleland.ru/get/host.php) за 3.49/мес

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий