Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите: правильно ли сконфигурирован robots.txt?

B
На сайте с 16.02.2011
Offline
0
bennyhill
287

На сайте есть много страниц с сортировками контента, так вот была задача закрыть от индексации эти сортировки и также присвоить основные зеркала, других ограничений на индексацию нет.

Урлы с сортировками выглядят примерно так:

?sort_it=one&question=up

?sort_it=one&question=down

а также:

?label_id=0&country_id[]=1&sort_it=one&question=up

?label_id=0&country_id[]=1&sort_it=one&question=down

Соответственно сконфигурированный роботс выглядит так:


User-agent: Yandex
Disallow: *sort_it=
Host: site.ru

User-agent: StackRambler
Disallow: *sort_it=

User-agent: Googlebot
Disallow: *sort_it=

User-agent: Mail.Ru
Disallow: *sort_it=
Host: site.ru

User-agent: *
Disallow: *sort_it=

Получается все страницы сортировок будут закрыты от индексации (которые содержат в урле: sort_it), присвоены основные зеркала для Маила и Яндекса, больше ограничений нет. Всё верно? Корректно составлен файл? Какие-то рекомендации может будут дополнительные?

Спасибо.

5
На сайте с 11.02.2006
Offline
40
53andar
#1

Возможно такой записи будет достаточно:

User-agent: *

Disallow: *sort_it=

Host: site.ru

B
На сайте с 16.02.2011
Offline
0
bennyhill
#2
53andar:
Возможно такой записи будет достаточно:

User-agent: *
Disallow: *sort_it=
Host: site.ru

Директиву "Host" не все ведь понимают.

bennyhill добавил 16.02.2011 в 13:00

Ну а сортировка сама корректно закрыта?

bennyhill добавил 16.02.2011 в 14:29

Сдается мне, что для гугла надо / поставить перед закрытием сортировки.

Несколько советов интернет-магазинам по Яндекс Вебмастер добавил в Одесса ждет! Программа конференции

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий