Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильный ли robots.txt

F
На сайте с 18.01.2007
Offline
109
fuster
528

Здравствуйте!

Подскажите плз. правильно ли составлен robots.txt, если я хотел запретить к индексации файлы 1.html, 2.html, 3.html?

User-agent: *

Disallow: /1.html

Disallow: /2.html

Disallow: /3.html

И будут ли проиндексированы эти файлы, если на них в инете где-нибудь будет прямая ссылка.

Заранее спасибо.

kolobok74
На сайте с 29.01.2006
Offline
267
kolobok74
#1

Составлен правильно.

Проиндексированы не будут т.к. бот, приходя по любой внешней ссылке сначала смотрит файл robots.txt если страница, на которую он шел, закрыта от индексации в этом файле, она проиндексирована не будет.

богоносец
На сайте с 30.01.2007
Offline
774
богоносец
#2

Все последующие можно проверять http://www.yandex.ru/cgi-bin/test-robots — отвечает почеловечески.

Можно взять чужой http://www.yandex.ru/robots.txt и вписать своё.

___________________

LongTitles — многострочная всплывающая посказка для Mozilla, Firefox и Netscape · мульфильм Буревестник

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий