robots.txt Закрывать от индексации?

O1
На сайте с 30.03.2012
Offline
0
254

Доброго все дня!

Подскажите пожалуйста такую вещь:

В интернет магазине на главную выведены некоторые товары, при переходе на которые мы попадаем на страницу, которая содержит ссылку вида -

mysite.ru/tovar/televisors/product/camtovar

А если я нажимаю на товар из категории телевизоры, то попадаем на ссылку вида -

mysite.ru/tovar/televisors/frontpage/camtovar

Фаила robots.txt на сайте нет, вот хотел бы узнать, как правильно сделать, просто закрыть от индексации /frontpage/ или как то можно использовать параметр Clean-param?

Написал пока так:

User-agent: Yandex

Disallow: /admin

Disallow: /frontpage

Host: www.mysite.ru

User-agent: Googlebot

Disallow: /admin

Disallow: /frontpage

User-agent: *

Crawl-delay: 2

Disallow: /admin

Disallow: /frontpage

I8
На сайте с 30.03.2012
Offline
39
#1

http://help.yandex.ru/webmaster/?id=996567

Как-то так наверно:

User-agent: Yandex

Host: www.mysite.ru

User-agent: *

Disallow: /admin*

Disallow: /frontpage*

The WishMaster
На сайте с 29.09.2005
Offline
2542
#2

Может, логичнее движок настроить правильно?

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий