punycode и robots.txt

P
На сайте с 18.12.2012
Offline
0
621

Есть кириллический домен к примеру магазин.рф, в магазине можно выбрать свой город, каждый город сделан в виде отдельно установленной cms, при выборе Москвы, у нас получится ссылка - магазин.рф/moscow/

Я хотел закрыть от индексации все не нужные элементы такие как поиск и корзина, ссылки на поиск к примеру выглядит так:

магазин.рф/корзина

магазин.рф/moscow/корзина

Если я перевожу в punycod и пишу

Disallow: /%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0

То страница закрывается только для ссылки - магазин.рф/корзина

Но продолжает индексироваться для других городов.

Придется писать для каждого города по 40 правил, или можно как то написать правила для одного города, которое бы распространялось для всех.

Сейчас я добавил для каждого города:

Disallow: /gorod/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0

Mykhailov
На сайте с 30.11.2011
Offline
63
#1

Звездочку (*) перед корзиной поставьте.

Disallow: /*%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0

А вообще почитайте, например: http://help.yandex.ru/webmaster/?id=996567

В я.вебмастере есть анализатор: http://webmaster.yandex.ru/robots.xml

Продам нервную систему в хорошем состоянии - заводится с пол оборота.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий