Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Можно ли закрыть такие ссылки в robots.txt?

12
F
На сайте с 21.08.2011
Offline
10
fgqwerty
1488

На сайте 1200 статей, сейчас они доступны по таким ссылкам:

http://сайт.ру/новости/статья.html

http://сайт.ру/новости/категория/статья.html

http://сайт.ру/новости/категория/подкатегория/статья.html

Как нибудь можно закрыть в robots.txt 2 верхние ссылки?

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Неужели никак?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
F
На сайте с 21.08.2011
Offline
10
fgqwerty
#2

Вот так правильно?

Disallow: /новости/*.html

Disallow: /новости/категория/*.html

dizEQ
На сайте с 08.07.2008
Offline
76
dizEQ
#3

неправильно

Утка-робот
На сайте с 08.07.2008
Offline
173
Утка-робот
#4

А поставить редирект?

[Удален]
#5

в вебмастере проверяйте

AA
На сайте с 23.03.2009
Offline
76
And_asb
#6

Может так:

Disallow: /новости/*

Allow: /новости/категория/подкатегория/*.html

Это четко отражено в примере:

User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
S
На сайте с 28.10.2005
Offline
296
semenov
#7

Disallow: /новости/статья.html

Disallow: /новости/категория/статья.html

MACEDONSCIY
На сайте с 18.11.2010
Offline
31
MACEDONSCIY
#8
semenov:
Disallow: /новости/статья.html
Disallow: /новости/категория/статья.html

Только так, а как еще))

На самом деле, я бы не по русски ссылки писал, а кодом типа - %4gh%jcf%6%g....

оптим.рф (http://оптим.рф) - ООО "ОПТИМ" Комплексная оптимизация сайтов it-optim.com (http://it-optim.com) - Комплексный интернет маркетинг
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#9
MACEDONSCIY:
Только так, а как еще))

Ага. 2400 строк в robots - это сказка. Лёгких путей не ищем.

[Удален]
#10

их не закроешь мой друган пробывал бесполезно

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий