Robots.txt - запрет индексации дублирующей информации

W
На сайте с 09.06.2008
Offline
6
290

Привет!

Такой вопрос: Есть сайт объявлений, режимпросмотра объявлений: все объявления, только предложения, только спрос.

У каждого из режимов свой URI

- http://siteurl.my/all/trade/auto_moto/cars

- http://siteurl.my/offers/trade/auto_moto

- http://siteurl.my/req/trade/auto_moto

("/auto_moto/cars" - это уже углубление в категории)

+ каждое объявление имеет свую страницу, но тут это почти не при чём.

Имеет ли мне смысл добавить в robots.txt следующие строки:

Disallow: /offers/

Disallow: /req/

Чтобы в индекс поисковиков попадали только страницы /all/*, ведь на них содержатся все объявления и /offers/ и /req/ их всё равно будут дублировать?

Спасибо.

Skaizer
На сайте с 11.08.2007
Offline
104
#1

Имеет, зачем выдавать поисковику одну и туже инфу по несколько раз.

Размножение статей, уник до 100%, от 11$/1000 символов. Статьи индексируются Яндексом. (/ru/forum/439355)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий