Как полностью запретить индексацию сайта через robots.txt

Ленка
На сайте с 11.05.2007
Offline
84
36485

Верно ли так:

User-agent: *

Disallow: /
Marvellous
На сайте с 09.02.2006
Offline
130
#1
...
Й
На сайте с 18.07.2009
Offline
20
#2
Ленка:
Верно ли так:

User-agent: *

Disallow: /

Верно. Дополню.

Если вы хотите запретить индексацию какой-либо одной системой, то можете использовать конструкцию

User-agent: *

Disallow:

User-agent: Rambler

Disallow: /

Разрешает всех, кроме Рамы.

Если же вы хотите, наоборот, оставить только одну ПС, то поменяйте директивы на обратные - запретите всех, а Раму откройте.

Всё очень просто =) Но будьте бдительны и по нескольку раз перепроверяйте файл в будущем - иногда лишний перевод строки приводит к фатальным последствиям.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий