Запрет индексации вложенных страниц

DM
На сайте с 21.10.2011
Offline
51
639

Здравствуйте!

На сайте есть страница "Blog". Туда в кучу валятся все посты в хронологическом порядке. Получается вроде как дубль.

1). Стоит ли её запретить в robots.txt?

2). Если запрещать, то достаточно вписать Disallow: /blog/ ? Дело в том, что страница разделяется на несколько. blog/page/2/ и т.д. Disallow: /blog/ запретит всю ветку или надо все страницы прописывать?

B
На сайте с 14.10.2008
Offline
143
#1
DeviceMaster:
Здравствуйте!
На сайте есть страница "Blog". Туда в кучу валятся все посты в хронологическом порядке. Получается вроде как дубль.
1). Стоит ли её запретить в robots.txt?
2). Если запрещать, то достаточно вписать Disallow: /blog/ ? Дело в том, что страница разделяется на несколько. blog/page/2/ и т.д. Disallow: /blog/ запретит всю ветку или надо все страницы прописывать?

я бы не запрещал эти страницы к индексации через robots.txt а сделал бы все ссылки на них с rel="nofollow" что б на них не уплывал вес.

DM
На сайте с 21.10.2011
Offline
51
#2
brunoid:
я бы не запрещал эти страницы к индексации через robots.txt а сделал бы все ссылки на них с rel="nofollow" что б на них не уплывал вес.

Т.е. если контент со страниц-постов объединен еще на одной странице blog, то это не дубль и закрывать не стоит?

B
На сайте с 14.10.2008
Offline
143
#3
DeviceMaster:
Т.е. если контент со страниц-постов объединен еще на одной странице blog, то это не дубль и закрывать не стоит?

Сложно сказать. Обычно на таких страницах указывают список статей с кратким(неполным) описанием. Такие страницы не стоит закрывать от индексации ибо они являются частью внутренней залинковки сайта и облегчают поисковым роботам нахождение вашего контента. В данном случае атрибут rel="nofollow" подскажет роботу, что эта страница не несет для него никакой смысловой нагрузки и скорее всего именно поэтому она не станет причиной дубля основного контента но по прежнему будет доступна как источник ссылок для индексации.

Eduprofit
На сайте с 03.11.2010
Offline
40
#4
DeviceMaster:
Здравствуйте!
На сайте есть страница "Blog". Туда в кучу валятся все посты в хронологическом порядке. Получается вроде как дубль.
1). Стоит ли её запретить в robots.txt?
2). Если запрещать, то достаточно вписать Disallow: /blog/ ? Дело в том, что страница разделяется на несколько. blog/page/2/ и т.д. Disallow: /blog/ запретит всю ветку или надо все страницы прописывать?

Ни в коем случае)

1) Что у Вас за цмска? Вордпресс - у него по умолчанию настроен rel=canonical, который гуглу дает установку, какой из дублей оригинал, то есть ничего закрывать не надо. К тому же, что будет если Ваши посты не успеют проиндексироваться гуглом и попадут в "блог"? Потерянный навсегда контент, который не выгребет из Гугла трафа никогда.

2) Роботсы советую повесить стандартные для Вашей цмски. В нете поищите "роботсы для вордпресс" например.

---------- Добавлено 12.11.2012 в 13:25 ----------

brunoid:
я бы не запрещал эти страницы к индексации через robots.txt а сделал бы все ссылки на них с rel="nofollow" что б на них не уплывал вес.

При чем тут роботсы к рел=ноуфоллоу??

Проблема дублей в том заключается, что Гугл может поместить в ТОР внезапно не ту страницу, которую Вы хотели + повышается процент соплей, что, как говорят корифеи, негативный фактр при ранжировании Вашего сайта. А рел=ноуфоллоу вообще ума не приложу при чем тут.

Edu-Profit.com (https://www.edu-profit.com/) - ПП под буржуйский студенческий трафик. Платим со старта 60% за новый заказ и 20% за ребиллы!
DM
На сайте с 21.10.2011
Offline
51
#5

Да, ВП. Сейчас robots стандартный для ВП.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий