Вопрос про Robots.txt

[Удален]
755

Нужно продвинуть станицу сайта по адресу

http://sait.ru/suvenirnoe_oruzhie.htm

Но есть так же страницы-клоны, где дублируется контент продигаемой страницы вида

http://sait.ru/index.php?categoryID=417&sort=Price&direction=DESC

http://sait.ru/index.php?categoryID=417&sort=Price&direction=ASC

Как запретить к индексации страницы с index.php?categoryID=417&sort=Price&direction=ASC

User-agent: *

Disallow: /ndex.php?categoryID*

Host: sait.ru

Toolma4
На сайте с 25.02.2010
Offline
113
#1

Disallow: /index.php?categoryID*

DO
На сайте с 20.01.2010
Offline
55
#2

Disallow: /index.php?categoryID* - звездочка не имеет смысла. в конце и так считается звездочка, т.е. все страницы начинающиеся с этих символов

User-agent: * - в эту секцию нет смысла писать расширенный синтаксис, его далеко не все поддерживают

так что делите ваш роботс на три одинаковых блока - для яндекса, гугла (не поддерживает директиву хост) и *

если уж использовать *, то я бы закрывал скорее сортировку, чем вообще все категории.

итого для яндекса

User-agent: Yandex

Disallow: /*direction=

платно проведу аудит сайта и исправлю все технические проблемы, которые могут мешать продвижению (/ru/forum/594052)
NooM
На сайте с 03.08.2008
Offline
137
#3

А как для закрытия календарей и архиов?

Mills
На сайте с 24.06.2009
Offline
116
#4

тоже самое было.

Я прописал в роботс.тхт:

Disallow: /index.php?*direction=

С этим проблем нет больше.

Еще на сайте вебасиста посмотрите инструкции. Там про этот тип глюков написано. Яша заходит на продвигаемую страницу, потом воспринимает сортировку по цене или имени как ссылку на другую страницу, заходит по ней, хавает эту страницу считая ее новой. А контент то там такой же - только товары на странице в другом порядке. Поэтому и дубль.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий