Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как закрыть от индексации дубли страниц.

12
netactor
На сайте с 28.03.2011
Offline
117
netactor
1703

Здравствуйте, возник вопрос.

Сайт на DLe, статьи, при размещении находятся одновременно по двум адресам:

Вариант 1. http://www......net/2013/03/22/название статьи.html

Вариант 2. http://www......net/категория/название статьи.html

Основное зеркало настроено на Вариант 1. и в основной массе все в индексе. Но остаются старые статьи, до которых не дошли руки.

Собственно сам вопрос: как в robots.txt лучше закрыть Вариант 2 (дубли) от индексации? (какую строку прописать)

Robots.txt сайта:

User-agent: *

Disallow: /cgi-bin/

Disallow: /admin.php

Disallow: /index.php?do=lastcomments

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=search

Disallow: /index.php?do=pm

Disallow: /engine/

Disallow: /index.php?do=register

Disallow: /index.php?do=addnews

Disallow: /autobackup.php

Disallow: /backup/

Disallow: /user/

Disallow: /language/

Disallow: /favorites/

Disallow: /statistics.html

Disallow: /index.php?do=stats

Disallow: /index.php?subaction=newposts

Disallow: /newposts/

Disallow: /*print

Disallow: /*page/

Disallow: /templates/

Disallow: /tags/

Sitemap: http://www.....net/sitemap.xml

Host: www.....net

14 лет в деле, а хостинг все тот же: https://bit.ly/3Ux6fgY - Продаю сайты тут: https://bit.ly/4e9LL4P
M
На сайте с 09.06.2011
Offline
16
macentosh
#1

Disallow: /категория/

помойму так

[Удален]
#2

.........................................

netactor
На сайте с 28.03.2011
Offline
117
netactor
#3

Тогда закроются категории) Не вариант.

macentosh:
Disallow: /категория/
помойму так



---------- Добавлено 04.04.2013 в 18:20 ----------

В чем суть такого поста?

igor3333:
.........................................
[Удален]
#4

то вначале подумал что надо закрыть те статьи у которых дата в УРЛ и сделал вам вариант

Disallow: /2013/ . но потом увидел что этот надо оставить а правильно дали в 1 посте ну и удалил свой пост

Сие является дублями? Все вопросы по robots.txt главная страница
netactor
На сайте с 28.03.2011
Offline
117
netactor
#5

В том то и вариант, что даты все в индексе и нужно убрать варианты с категориями. Просто закрыть категории может повлечь их полную неиндексацию. А этого не хотелось бы.

igor3333:
то вначале подумал что надо закрыть те статьи у которых дата в УРЛ и сделал вам вариант
Disallow: /2013/ . но потом увидел что этот надо оставить а правильно дали в 1 посте ну и удалил свой пост
[Удален]
#6

редирект сделайте

или напишите на jquery например код чтоб убить те ссылки что с категорией

netactor
На сайте с 28.03.2011
Offline
117
netactor
#7

Кстати спасибо. Думаю вариант...

Только подскажите дебилу....как его лучше прописать и где? Ну не заморачивался этим ни разу..

Надеюсь не постранично код ставить?)

igor3333:
редирект сделайте
[Удален]
#8

чесно говоря сам нексилен в редиректах ,типа такого

RewriteRule ^название категории/*.html$ */*/*/*.html$1

netactor
На сайте с 28.03.2011
Offline
117
netactor
#9

ок, будем подумать. Спасибо.

igor3333:
чесно говоря сам нексилен в редиректах ,типа такого
RewriteRule ^название категории/*.html$ */*/*/*.html$1
[Удален]
#10
netactor:
ок, будем подумать. Спасибо.

Пожалуйста!

или лучше если статей неного то каждый УРЛ прописать если невыйдет массово как выше

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий