как закрыть от индекса

SB
На сайте с 01.09.2009
Offline
1
348

Вообщем надо сделать так чтобы поисковые-роботы не индэксировали, все страницы и категории в cat:

www.site.ru/cat/

www.site.ru/cat/sub-cat/

www.site.ru/cat/sub-cat2/

www.site.ru/cat/sub-cat2/sub-subcat/

Вопрос: хватает ли для этого просто добавить файл robots.txt и правильный ли синтаксис для вложенности:

User-agent: *

Disallow: /cat/

Gusev
На сайте с 24.07.2009
Offline
12
#1

по идее хватит

Клепаем сайты умеючи (http://wpst.ru/) Халявный хостинг (/ru/forum/395797)
SB
На сайте с 01.09.2009
Offline
1
#2

а на деле они в индекс попадают ? может кто встречался

T.R.O.N
На сайте с 18.05.2004
Offline
314
#3

robots.txt - это набор РЕКОМНДАЦИЙ для роботов, а не жестких правил. Яша, например, их учитывает, и в основной индекс такие страницы не включает, но учитывает ли он их для своих иных целей или нет - точно никто не ответит.

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
SB
На сайте с 01.09.2009
Offline
1
#4

а можно ли в .htaccess прописать чтобы роботу был доступ запрещен ?

MR
На сайте с 24.08.2007
Offline
76
#5

Здесь можно потестировать,что Яндекс проиндексирует при определенном robots.txt.

Вы можете выложить запрет в robots.txt и посмотреть по логам, шарится ли робот на закрытых от индексации страницах.

Но мое имхо, ему на важно, что на них.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий