Вопрос по robots.txt

Z
На сайте с 30.01.2008
Offline
126
724

у меня есть страницы, например:

page

mage

gage

движок стал подставлять к ним следующее:

page?1,2

mage?4,3

gage?1,1

как мне запретить к индексации эти страницы???

нужен фильтр, чтобы запретить знак вопроса и все что после него....

подскажите плз, как это прописать в роботсе??

Сапа отдыхает (http://trustlink.ru/registration/104620) Best'овый портал для веб-мастеров (http://iwsm.ru) Ответы по wordpress (http://iwsm.ru/blog/show/bokovoe-soderzhimoe-i-poleznie-elementi-menyu-v-wordpress)
WebAlt
На сайте с 02.12.2007
Offline
251
#1

User-Agent: *

Disallow: /page?*
Только зачем их запрещать?
kimberlit
На сайте с 13.03.2007
Offline
370
#2

Disallow: /*?

Z
На сайте с 30.01.2008
Offline
126
#3
WebAlt:
User-Agent: *

Disallow: /page?*
Только зачем их запрещать?

а можно просто Disallow: ?*

????

а запрещать нужно, т.к. это создает кучу дублированного контента.... а это прямой путь под АГС.

Sanyich
На сайте с 12.03.2009
Offline
86
#4
zsaz:
а можно просто Disallow: ?*
????
а запрещать нужно, т.к. это создает кучу дублированного контента.... а это прямой путь под АГС.

ну ведь дали нормальный ответ. Зачем что то изобретать. Что вы запретите своим

Disallow: ?*
сами подумали? Все вопросительные знаки (по вашей логике?)
КУПЛЮ статьи "навсегда" с ваших сайтов /ru/forum/495499 (/ru/forum/495499). Дорого!
Kirill-ss
На сайте с 20.04.2006
Offline
142
#5
User-agent: *
Disallow: /page?
Disallow: /mage?
Disallow: /gage?

User-agent: Yandex
Disallow: /page?
Disallow: /mage?
Disallow: /gage?
Host: www.site.ru

ну и проверить через webmaster.yandex.ru/addurl.xml - не закрылось ли чего-то лишнего и все ли ненужное закрылось

Z
На сайте с 30.01.2008
Offline
126
#6

ну я так понял это только для старницы page, а для mage И gage надо подобное писать???

а то у меня на сайте таких страниц куча.... вот и думаю, может можно расширить фильтр в диапазоне....

kimberlit
На сайте с 13.03.2007
Offline
370
#7
zsaz:
а то у меня на сайте таких страниц куча.... вот и думаю, может можно расширить фильтр в диапазоне....

Ты пост нумбер три видел?

Z
На сайте с 30.01.2008
Offline
126
#8

спасибо, помогло....

но у меня еще возник вопрос.

как исключить из Disallow: /*?

следующие страницы

node?page=2 и ей подобные

и которые идут сразу от корня, т.е. http://site.ru/?page=1 и т.п.

т.е. чтобы эти страницы индексировались надо.

kimberlit
На сайте с 13.03.2007
Offline
370
#9

zsaz, ты мануал хоть открывал? Читай про Allow и Disallow.

iren K
На сайте с 28.12.2008
Offline
222
#10
zsaz:
спасибо, помогло....
но у меня еще возник вопрос.

как исключить из Disallow: /*?
следующие страницы
node?page=2 и ей подобные
и которые идут сразу от корня, т.е. http://site.ru/?page=1 и т.п.
т.е. чтобы эти страницы индексировались надо.

надо поправить в .htaccess для начала, что бы корректно стр. виделись..

c уважением Iren

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий