Вопрос по robots.txt

12
-Mouse-
На сайте с 26.03.2007
Offline
108
782

Есть сайт магазина, на котором используются различные сортировки и изменение кол-во отображаемых товаров на странице. Хочу закрыть эти страницы от индексации.

Url=ы выглядят как:

http://mysite.ru/catalog?manufacturer=6

http://mysite.ru/catalog?manufacturer=3&asset=27

http://mysite.ru/catalog?manufacturer=6&limit=all

http://mysite.ru/catalog?limit=all&asset=27&manufacturer=6

http://mysite.ru/catalog?manufacturer=6&sort=name

Необходимо закрыть страницы от индексации в ПС: Яндекс, Гугл, Рамблер, содержащие слова limit= и (или) sort=.

Покачто robots.txt содержит всего лишь это:

User-agent: *

Disallow: /img/

User-Agent: Yandex
Host: mysite.ru

Подскажите пожалуйста как правильно это сделать.

Заранее спасибо.

kimberlit
На сайте с 13.03.2007
Offline
370
#1

Disallow: *limit=

Disallow: *sort=

Цахес
На сайте с 15.03.2007
Offline
205
#2
-Mouse-:
Необходимо закрыть страницы от индексации в ПС: Яндекс, Гугл, Рамблер
kimberlit:
Disallow: *limit=
Disallow: *sort=

Для других ПС такое тоже покатит?

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
kimberlit
На сайте с 13.03.2007
Offline
370
#3
Цахес:
Для других ПС такое тоже покатит?

Каких других?

Maximalist
На сайте с 17.04.2007
Offline
202
#4
Цахес:
Для других ПС такое тоже покатит?

если ставить User-agent: * - должно ;)

robots.txt — Википедия

- = тут что-то должно быть = -
Цахес
На сайте с 15.03.2007
Offline
205
#5
kimberlit:
Каких других?

Гугл, Рамблер.

В цитате не видно?

Maximalist
На сайте с 17.04.2007
Offline
202
#6
Цахес:
Гугл, Рамблер.
В цитате не видно?

вообще запрещают/разрешают - Disallow/Allow

а им по барабану какая ПС :)

за ПС отвечает User-agent ;)

-Mouse-
На сайте с 26.03.2007
Offline
108
#7

Всем большое спасибо. 🚬

Цахес
На сайте с 15.03.2007
Offline
205
#8

А, kimberlit, для Рамблера такое будет работать?

Цахес добавил 24.02.2009 в 01:52

Maximalist:
вообще запрещают/разрешают - Disallow/Allow
за ПС отвечает User-agent

Вы мне прямо-таки глаза открыли!

Я про использование спецсимвола "*" при указании путей директив Allow-Disallow.

kimberlit
На сайте с 13.03.2007
Offline
370
#9
Цахес:
А, kimberlit, для Рамблера такое будет работать?

Это типа тест? Или любознательность? )))

Можно здесь почитать: http://help.rambler.ru/article.html?id=327&s=221

Цахес
На сайте с 15.03.2007
Offline
205
#10
kimberlit:
Это типа тест? Или любознательность?

Это типа и не тест, и не любознательность. Это вопрос по теме, а не игра "Ответь вопросом на вопрос"!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий