Robots.txt yandex

tureg2012
На сайте с 04.06.2013
Offline
35
509

Доброго времени суток! Помогите разобраться как правильно закрыть каталог по фильтрам и по страничности. Есть ссылка http://site.ru/catalog/Товар?&page=2 ? нужно ее закрыть от индексации и все ссылки такого типа в котором есть (?), но что бы не удалить основной раздел http://site.ru/catalog/Товар.

Причина закрытия заключается в том , сео текст дублируется по фильтрам и по постраничности.

Есть вариант закрыть в роботсе

disallow: /?*

Правильно это будет ????

Спасибо большое за ответ !

P0
На сайте с 14.06.2013
Offline
126
#1

неправильно

Процветай и просвещайся, друг
L
На сайте с 02.11.2010
Offline
81
#2

disallow: /*/*?&page=*

Так наверно правильнее

P0
На сайте с 14.06.2013
Offline
126
#3
tureg2012:
нужно ее закрыть от индексации и все ссылки такого типа в котором есть (?),

disallow: /*?* типа так

но лучше делать по другому. не понятно, что у вас с остальными урлами.

tureg2012
На сайте с 04.06.2013
Offline
35
#4
psyho0000freak:
disallow: /*?* типа так
но лучше делать по другому. не понятно, что у вас с остальными урлами.

Все урлы http://site.ru/catalog/Товар такие , просто когда фильтра разные используем в конце добавляется (?). Пример: http://site.ru/catalog/Товар?&page=2

L
На сайте с 02.11.2010
Offline
81
#5
tureg2012:
Все урлы http://site.ru/catalog/Товар такие , просто когда фильтра разные используем в конце добавляется (?). Пример: http://site.ru/catalog/Товар?&page=2

disallow: /catalog/*?&page=*

http://site.ru/catalog/Товар?&page=2 - попадает под правило, не индексируется

http://site.ru/catalog/Товар - не попадает - индексируется

S
На сайте с 23.01.2006
Offline
160
#6

Правильнее будет наверное так:

http://site.ru/catalog/*?

поскольку не только пагинатор, но и фильтры надо убирать. В конце звездочка не нужна вообще

только это только в Яндексе уберет (и то вопрос) ненужные страницы из индекса. В Гугле - только запретит роботу туда шляться, но в индексе оставит и еще и с дурацким сниппетом :).

Скорее лучше сделать через Clean-param (читаем здесь) + выводить по условию (есть гет-переменные) в коде в секции <head> мета-тег <meta name="robots" content="noindex,follow">

L
На сайте с 02.11.2010
Offline
81
#7
sPoul:

Скорее лучше сделать через Clean-param (читаем здесь) + выводить по условию (есть гет-переменные) в коде в секции <head> мета-тег <meta name="robots" content="noindex,follow">
Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'.

Номер страницы и фильтрация меняет содержимое страницы, так что я бы оставил это под вопросом 0_о

С

disallow: http://site.ru/catalog/*?

соглашусь, так точно правильнее =)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий