Вопрос по robots.txt

12
S
На сайте с 11.04.2010
Offline
24
422

Подскажите пожалуйста:

Каким образом в robots.txt написать команду, чтобы поисковики не индексировали сайт по адресам вида:

site.ru/en/

и все внутренние страницы следующие за /en/ тоже вида:

site.ru/en/catalog

site.ru/en/product/id=4534534.html

Вопрос наверное банальный но все-таки...

izbushka
На сайте с 08.06.2007
Offline
110
#1

Вы бы хоть попробовали поискать..

Такая же тема на 5 тем ниже есть..

Disallow: /en/

S
На сайте с 11.04.2010
Offline
24
#2
izbushka:
Вы бы хоть попробовали поискать..
Такая же тема на 5 тем ниже есть..

Disallow: /en/

спасибо, но в таком случае я закрою только:

site.ru/en/

а как закрыть все внутренние страницы следующие за /en/?

site.ru/en/catalog

site.ru/en/product/id=4534534.html

izbushka
На сайте с 08.06.2007
Offline
110
#3

Вы, наверное, не увидели первые два моих предложения, ну да ладно: вот

S
На сайте с 11.04.2010
Offline
24
#4
izbushka:
Вы, наверное, не увидели первые два моих предложения, ну да ладно: вот

то есть в моем случае нужно сделтать так?

Disallow: /en/*

izbushka
На сайте с 08.06.2007
Offline
110
#5

Хм, вроде ж на русском написано:

seolink74:
Звездочку можно не ставить
S
На сайте с 11.04.2010
Offline
24
#6
izbushka:
Хм, вроде ж на русском написано:

скажите пжл, в этом случае будет закрыта от индексации эта папка и подкатегории тоже?

site.ru/en/

site.ru/en/catalog

site.ru/en/product/id=4534534.html

K
На сайте с 31.01.2001
Offline
737
#7

spono, да, звездочка на конце есть всегда, даже если ее не писать.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
S
На сайте с 11.04.2010
Offline
24
#8
Kost:
spono, да, звездочка на конце есть всегда, даже если ее не писать.

все понятно!!!!

а как же быть, если нужно запретить для индексации:

site.ru/en/

а оставить в индексе:

site.ru/en/catalog

site.ru/en/product/id=4534534.html

K
На сайте с 31.01.2001
Offline
737
#9

spono, потрудитесь сначала изучить это.

S
На сайте с 11.04.2010
Offline
24
#10
Kost:
spono, потрудитесь сначала изучить это.

уже изучал, есть вопросы которые уточняю здесь.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий