robots.txt - склейка страниц

S
На сайте с 22.10.2013
Offline
1
490

На сайте есть некий скрипт, post.php у которого два параметра - id и param.

Яша сегодня проиндексировал сайт, и случайно в него попала страница с param-параметром. Ссылок на этот параметр нету, ни внешних, ни внутренних, доступных для индексирования.

В общем, необходимо сказать яше, что

post.php?id=1&param=0

post.php?id=2&param=5

post.php?id=3&param=20

идентичны

post.php?id=1

post.php?id=2

post.php?id=3

Может кто-нибудь привести пример robots.txt?

RL
На сайте с 19.06.2013
Offline
19
#1

Я бы поправил скрипт генерации страниц post.php и сделал так, чтобы ко всем страницам у которых присутствует &param=0 добавлялся тег

<meta name="robots" content="noindex, follow" /> — будет отлично — проверено на опыте.

А robots.txt — это, в общем-то, рекомендации для поисковиков, а не указания к действию, поэтому я не уверен, что он поможет полностью. Как вариант, можно сделать редирект со страниц с &param=0 на страницы без него, но я не знаю всей вашей специфики и поэтому предлагаю мета-тег как провереный вариант.

V
На сайте с 07.02.2009
Offline
36
#2

Что-то типа того, видимо:

Clean-param: param /post.php

Почитайте вот тут про это.

S
На сайте с 22.10.2013
Offline
1
#3

Спасибо, для меня действительно проще сделать мета-тегом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий