Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Запрет индексации сайта

R
На сайте с 28.07.2009
Offline
85
romanoff
351

Есть файл robots.txt вот такого вида: 

User-agent: *

Disallow: /

Но Яндекс каким-то образом все равно индексирует неподоготовленный сайт. В чем может быть проблема? Может быть закрыть отдельно разделы от индексации? Например, 

User-agent: *

Disallow: /books

Disallow: /users

Disallow: /review

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий