Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Технический вопрос закрытия от индексации дублей

H2
На сайте с 07.11.2014
Offline
70
Hoakin2506
287

Здравствуйте! Вопрос в следующем, в силу особенностей CMS, есть такие адреса:

http://site/cat1/item1/

и

http://site/cat1/item1/review

Это дубли, исходя из особенностей вёрстки меню, было решено закрыть от индексации страницы типо

http://site/cat1/item1/

делаю я это так в файле robots.txt:

Disallow: /cat1/item1/

Вся проблема в том, что закрывается от индексации и страница - http://site/cat1/item1/review, которую наоборот было решено оставить и другие вложенные категории после адреса http://site/cat1/item1/.

Не пойму, как закрыть именно эту одну страницу. Подскажите, где копать. Вроде покопался в возможных командах файла роботс, но там ничего не нашёл

H2
На сайте с 07.11.2014
Offline
70
Hoakin2506
#1

Пока я нашёл выход такой, на каждую страницу, пихать мета тег <meta name="robots" content="noindex,nofollow">

Но вопрос, а командами использующимися в файле robots.txt можно такого добиться?

nn165m
На сайте с 05.08.2012
Offline
234
nn165m
#2

все ответы здесь:)

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Хостинг от 115р./мес./самые адекватные саппорты:) ( http://beget.ru/?id=34668 ) Проверка ссылок огонь пушка как помогает:) ( https://checktrust.ru/r/979 )
WebAlt
На сайте с 02.12.2007
Offline
255
WebAlt
#3

Disallow: /cat1/item1/

Allow: /cat1/item1/review/

wwwwww
На сайте с 29.04.2011
Offline
195
wwwwww
#4
Hoakin2506:
http://site/cat1/item1/review, которую наоборот было решено оставить и другие вложенные категории после адреса http://site/cat1/item1/.

Разрешить обзоры и запретить остальное:



Allow: /cat1/item1/review
Disallow: /cat1/item1/
Видишь? Свободная подпись.
H2
На сайте с 07.11.2014
Offline
70
Hoakin2506
#5
WebAlt:
Disallow: /cat1/item1/
Allow: /cat1/item1/review/

Получается, через роботс всё сведётся к тому, что придётся просто в правиле Allow перечислить другие адреса, которые должны индексироваться. Мне показалось, что запилить на нужную страницу мета тег проще по времени

wwwwww
На сайте с 29.04.2011
Offline
195
wwwwww
#6
Hoakin2506:
что придётся просто в правиле Allow перечислить другие адреса,

Есть такая штука, как маска:

* - это любой символ.

Итого, в роботсе можно написать:

Allow: /*/review

Ваш вопрос был "можно ли через рботс сделать".

Если есть техническая возможность управлять метатегами для любой страницы и назначать правила для группы страниц, тогда можно закрывать от индексации непосредственно:

Hoakin2506:
запилить на нужную страницу мета тег

Выше уже дали ссылку на страницу, описывающую практику создания robots.txt. Обратите внимание:

Использование спецсимволов * и $

При указании путей директив Allow-Disallow можно использовать спецсимволы '*' и '$', задавая, таким образом, определенные регулярные выражения. Спецсимвол '*' означает любую (в том числе пустую) последовательность символов
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий