Вопрос по удалению дублированного контента на сайте.

1

gy7uk1

28 мая 2010, 19:10

431

Уважаемые форумчане!

Возник вопрос в процессе работы. На сайте были заменены динамические урлы на статические с помощью mod_rewrite.

По новым урлам вопросов нет, все работает отлично. Но дело в том, что по динамическим старым урлам те же странички тоже доступны, а это означает, что поисковики проиндексируют новые ссылки и будут продолжать дальше индексировать старые, увидят, что на сайте дублируется контент и накажут. Надо бы как-то предотвратить это.

Были попытки сделать 301 редирект со старых страниц на новые, но что-то не получается, возможно что-то неправильно делаю потому как не очень разбираюсь в этих вопросах. У меня возникла мысль может быть старые странички просто запретить к индексации? Или может быть у вас есть какие-то другие мысли по этому поводу.

Вобщем если у кого-то есть практических опыт решения подобных задач, прошу поделиться дельными советами

[Удален]

28 мая 2010, 19:14

#1

В robots.txt закрывается. Покажите, как у Вас выглядит динамический URL. http://сайт.ру/… а дальше?

33

Agor71

28 мая 2010, 19:31

#2

Всё же лучший вариант — закрыть их индексацию для «пауков» через robots.txt. Лишний контент не попадёт поисковому роботу на глаза, а посетители всё равно смогут ходить по старым адресам.

222

iren K

28 мая 2010, 19:42

#3

gy7uk1:
Или может быть у вас есть какие-то другие мысли по этому поводу.
Вобщем если у кого-то есть практических опыт решения подобных задач, прошу поделиться дельными советами

рекомендую также сделать редирект дублей одной и той же страницы на основной ее адрес

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site.ru

RewriteRule (.*) http://www.site.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/

RewriteRule ^index\.html$ http://www.site.ru/ [R=301,L]

c уважением Iren

G7

1

gy7uk1

29 мая 2010, 13:06

#4

Спасибо всем за советы.

Динамические урлы выглядят так http://www.site.ru/page.php?id=1

Сделаю наверное все-таки запрет в robots.txt, только осталось подумать над тем, как это правильно прописать, если кого не затруднит приведите пример файла robots или какого нибуть правила запретного.

Зареннее спасибо!

33

Agor71

29 мая 2010, 13:19

#5

gy7uk1:
Спасибо всем за советы.
Динамические урлы выглядят так http://www.site.ru/page.php?id=1
Сделаю наверное все-таки запрет в robots.txt, только осталось подумать над тем, как это правильно прописать, если кого не затруднит приведите пример файла robots или какого нибуть правила запретного.
Зареннее спасибо!

Если все старые ненужные страницы имеют такой вид, то в robots надо прописать что-то типа

User-agent: *

Disallow: /page.php?id=*

G7

1

gy7uk1

29 мая 2010, 18:30

#6

Agor71:
Если все старые ненужные страницы имеют такой вид, то в robots надо прописать что-то типа

User-agent: *
Disallow: /page.php?id=*

Спасибо большущее!!!☝

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

Курс биткоина превысил $50 тысяч