Запретить индексацию по маске

E
На сайте с 15.09.2007
Offline
77
650

Добрый день

Подскажите, как можно запретить индексацию дублей страниц, которые генерируются по маске "язык-страна". Пример:

microsoft.com/ru-ru/products

microsoft.com/ru-us/products

microsoft.com/ru-de/products

Оставить только одну версию языковую. Возможно ли это реализовать при помощи robots.txt или в данном случае только подставлять meta-тэги в ненужные страницы? Если так, то какие meta-тэги лучше использовать?

<meta name="robots" content="noindex, nofollow" ng-if="noIndex" />

SJ
На сайте с 09.10.2017
Offline
30
#1

Можно в robots.txt все закрыть.

Не вижу в этом никакой проблемы

Если нужно оставить только эту версию: microsoft.com/ru-ru/products

То в robots.txt добавляй

Disallow: /ru-us/

Disallow: /ru-de/

У тебя эти две языковые версии будут полностью закрыты, если все URL страниц этих языковых версий начинаются так, как у тебя написано в примере.

А вообще в robots.txt можно все что угодно закрыть или открыть.

Его можно очень гибко настроить.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий