Как закрыть дубли страниц навигации в Robots.txt

sp1f0x
На сайте с 04.12.2011
Offline
8
1418

Доброго времени суток. Интересует вопрос: имеются страницы навигации типа Page-2.html Страниц порядка 50 (Page-2 Page-3 и т.д.). Подскажите как в роботсе закрыть все страницы начинающиеся с page одной строкой (вариант прописать 50 строк не актуален)

Заранее спасибо!

serg690
На сайте с 19.10.2008
Offline
102
#1

Disallow: /page

Лучше деньги в руке, чем журавль в небе. ►Miralinks (http://goo.gl/hG48e)
sp1f0x
На сайте с 04.12.2011
Offline
8
#2
serg690:
Disallow: /page

вставляю такую конструкцию пробую удалить через вебмастер, пишет мол не отдает 404 и не запрещено в robots

[Удален]
#3

Пункт 5 Вебмастера

Попробуйте так.


User-agent: Yandex
Disallow: /Page*
вставляю такую конструкцию пробую удалить через вебмастер, пишет мол не отдает 404 и не запрещено в robots

Регистр упустили.

Delarante
На сайте с 13.07.2008
Offline
69
#4
sp1f0x:
вставляю такую конструкцию пробую удалить через вебмастер, пишет мол не отдает 404 и не запрещено в robots

Точный урл тогда давайте, от корня, ибо serg690 все правильно написал, у вас косяк...

site.ru/page-2.html - так выглядит?

sp1f0x
На сайте с 04.12.2011
Offline
8
#5
Liberus:
Пункт 5 Вебмастера

Спасибо огромное помогло!
N7
На сайте с 16.03.2010
Offline
36
#6

Сраз прошу извинения что со своим вопросом в чужой теме но так как вопрос мелкий решил незасорять форум подскажите как такого плана закрыть от индексации страницы

http://названиесайта.ру/index.php?/colors/browse/f0e0c0

http://названиесайта.ру/index.php?/colors/browse/40c0f0

http://названиесайта.ру/index.php?/colors/browse/4067f0

пробывал два варианта всеравно вылазят

Disallow: /index.php?/colors/browse/*

Disallow: /*/colors/browse/*/

Delarante
На сайте с 13.07.2008
Offline
69
#7
Nahal77:

пробывал два варианта всеравно вылазят

Disallow: /index.php?/colors/browse/*

Disallow: /*/colors/browse/*/

Вот так попробуйте:

Disallow: /*/colors/

Только учтите что все страницы в урле которых есть каталог /colors/, в шаге от корня, будут закрыты!

N7
На сайте с 16.03.2010
Offline
36
#8
Delarante:
Вот так попробуйте:

Disallow: /*/colors/

Только учтите что все страницы в урле которых есть каталог /colors/, в шаге от корня, будут закрыты!

спасибо попробую

serg690
На сайте с 19.10.2008
Offline
102
#9
Nahal77:
подскажите как такого плана закрыть от индексации страницы

http://названиесайта.ру/index.php?/colors/browse/f0e0c0

Disallow: */colors

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий