Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Как загнать в robots.txt страницы с квадратными скобками?

schegloff
На сайте с 25.08.2008
Offline
178
schegloff
1063

На сайте есть много параметров вида site.ru/category/?p1[c1]=d1. Их нужно закрыть от индексации, но при этом оставить в индексе страницы вида site.ru/category/ и site.ru/category/?param=count, т.е. убрать все страницы, в URL которых содержатся квадратные скобки.

Через robots.txt это сделать нельзя, т.к. Яндекс запрещает исользовать в директиве Disallow квадратные скобки. Единственным вариантом видится прописывание на таких страницах 

<meta name="robots" content="noindex, nofollow" />

Есть какие-либо другие варианты решения?

Marinka
На сайте с 21.04.2007
Offline
125
Marinka
#1

Я думаю так можно: закрыть от индексации весь каталог, кроме нужных страниц, при условии, что эти страницы можно перечислить в роботсе

User-agent: Yandex
Allow: /category/?param=count
Allow: /category/$
Allow: /category/page1
Allow: /category/page2
...
Allow: /category/pageX
Disallow: /category/*
SeoHammer (http://www.seohammer.ru/?partnerid=123870) - продвижение сайтов в ТОП. Попробуй нарубить в Kappusta.Ru (http://kappusta.ru/?r=B0CC924593324D4A99EF8016BF16656E)! Поисковый и коммерческий аудиты, цена по договоренности.
schegloff
На сайте с 25.08.2008
Offline
178
schegloff
#2
Marinka:
Я думаю так можно: закрыть от индексации весь каталог, кроме нужных страниц, при условии, что эти страницы можно перечислить в роботсе 

User-agent: Yandex

Allow: /category/?param=count

Allow: /category/$

Allow: /category/page1

Allow: /category/page2

...

Allow: /category/pageX

Disallow: /category/*

Получится больше 1000 страниц, крайне не хочется до такой степени загаживать роботс. К тому же, новые страницы для Allow постоянно появляются, т.е. за файлом придется постоянно следить.

[Удален]
#3

потерто......

schegloff
На сайте с 25.08.2008
Offline
178
schegloff
#4

по-прежнему актуальный вопрос

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий