robots.txt

H
На сайте с 27.12.2003
Offline
8
534

Есть пара вопросов, касательно файла robots.txt:

1. Есть в корневой директории файл sub.shtml и папка news со shtml-страницами, я не хочу, чтобы их индексировали поисковики, правильно будет указать:

User-agent: *

Disallow: /news/

Disallow: /sub.shtml

2. Как называются роботы поисковых систем Яндекс, Рамблер, Апорт, Гугль.

Я не волшебник, я только учусь :)
C
На сайте с 19.09.2001
Offline
120
#1

1. Да

2. Yandex, StackRambler, Aport, Googlebot

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий