Помогите запретить индексацию раздела на сайте

Zdorova
На сайте с 09.01.2010
Offline
133
393

Добрый день!

На сайте есть страницы вида:

www.site.com/?index=try1&c=250&&user=525

www.site.com/?index=try1&c=100&&user=147

www.site.com/eng/?index=try1&c=50&&user=244

www.site.com/eng/?index=try1&c=750&&user=644

Как сделать так, чтобы поисковики не заходили на подобные страницы, где есть ?index=try1

Прописал в роботс:

User-agent: *

Disallow: /?index=try1

Disallow: /eng/?index=try1

Но смотрю по логам. поисковики как заходили. так и заходят:

217.69.134.167 site.com - [16/Feb/2012:15:21:53 +0400] "GET /eng/?index=try1&c=250&&user=525&tur=34&cc=0&ccc=0 HTTP/1.0" 200 51994 "-" "Mail.Ru/1.0"

wwwwww
На сайте с 29.04.2011
Offline
195
#1

User-agent: *

Disallow: /?index=try1*

Disallow: /eng/?index=try1*

Видишь? Свободная подпись.
Zdorova
На сайте с 09.01.2010
Offline
133
#2

Не помогает, все равно заходят.

Keep moving
На сайте с 20.10.2009
Offline
94
#3

Заходят и индексируют это разные вещи. Дайте время, и страницы выпадут из индекса

gormarket
На сайте с 29.12.2010
Offline
47
#4

Zdorova,

если у Вас в роботс есть другие секции User-agent кроме

User-agent: *

то нужно прописать

Disallow: /?index=try1

Disallow: /eng/?index=try1

в каждой секции User-agent (строчки работают и без * в конце, проверял у Яндекса)

Но более надежно сделать редиректами через .htaccess запрет для доступа ботов, проверяя в RewriteCond значение %{HTTP_USER_AGENT} на соответсвие наиболее активным ботам.

Попробуйте посмотреть в поиске запрет индексации через htaccess

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
Zdorova
На сайте с 09.01.2010
Offline
133
#5
Keep moving:
Заходят и индексируют это разные вещи. Дайте время, и страницы выпадут из индекса

Мне надо, чтобы не заходили в тот раздел. А то создают нагрузку на сайт и хостер жалуется.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий