Как закрыть от индексации диапазон страниц по счетчику (wordpress)

SubAqua
На сайте с 21.10.2005
Offline
199
676

Есть страницы вида

site.com/1/

site.com/2/

site.com/..../

site.com/1000/

Мне надо сделать так чтобы все страницы с номером выше 1000 вообще не индексировались никем.

До 1000 - чтобы индексировались.

Через robots.txt как я понял никак, символ $ не помогает. (если не так поправьте)

Ищу вариант еще через htaccess. Если получится скажем переписать урлы страниц выше /1000/ на типа такого

/noindex/1000/

тогда в роботсе конечно только прописать Disallow на папку /noindex/

Подскажите какие варианты.

gormarket
На сайте с 29.12.2010
Offline
47
#1

Если хотите редиректом изменить адрес страниц с номером больше 1000, то возможно достаточно будет добавить в htaccess пару правил:


RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteRule ^noindex/([0-9]+/)$ $1 [L]

RewriteCond %{ENV:REDIRECT_STATUS} ^$
RewriteCond $1 >1000
RewriteRule ^([0-9]+)/$ http://%{HTTP_HOST}/noindex/$1/ [R=301,L]

но запрет в robots.txt не гарантирует, что страницы не будут индексироваться (гугл например открыто заявляет, что для ссылок найденных в сети, не на данном сайте, он игнорирует robots.txt)

Может еще, как вариант, во втором правиле устанавливать некий cookie (через флаг "CO"), а в первом правиле его проверять ?

Роботы будут в этом случае делать переход с установленным cookie ?

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
M
На сайте с 26.02.2009
Offline
36
#2

Такое лучше всего сделать плагином для WP, либо поправить код только для этого сайта.

Плагин будет выводить в head документа meta тэг robots : no-index только для указанных страниц. Этот мета тэг понимает и Яндекс и гугл.

Возможно стоит более подробно описать задачу и зачем это делается. к примеру в лс.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий