настройка роботс.тхт

G
На сайте с 22.01.2007
Offline
68
290

на одном домене располагаются несколько регионалых сайтов с единым каталогом:

http://site.ru/catalog/

http://site.ru/msk/catalog/

http://site.ru/spb/catalog/

http://site.ru/eburg/catalog/

http://site.ru/nn/catalog/

... и так далее.

каталог единый для всех регионов. соответственно каждый элемент каталога может иметь множество URLов. Имеет ли смысл запретить индексирование всех каталогов на региональных подсайтах, чтобы УРЛ каждого товара был уникальным?

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Первый оставь, а остальные закрой.

K
На сайте с 31.01.2001
Offline
737
#2

Disallow: /*/catalog/

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
D
На сайте с 29.08.2009
Offline
13
#3

а для WP стоит закрыть от индексации catalog, tag?

G
На сайте с 22.01.2007
Offline
68
#4
Kost:
Disallow: /*/catalog/

спасибо. так и сделал

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий