robots.txt - запретить индексацию каталога, разрешить подкаталогам

S
На сайте с 18.01.2009
Offline
96
8700

Собственно сабж.

Есть главная категория, например www.sait.ru/articles/ - нужно запретить этот каталог через роботс

А подкатегории sait.ru/articles/cars/, sait.ru/articles/bikes/, sait.ru/articles/motors/ и т.д. - не запрещать.

Подскажите как это сделать правильно :idea:

cheredov
На сайте с 07.04.2011
Offline
125
#1
ssnickerss:
Собственно сабж.

Есть главная категория, например www.sait.ru/articles/ - нужно запретить этот каталог через роботс
А подкатегории sait.ru/articles/cars/, sait.ru/articles/bikes/, sait.ru/articles/motors/ и т.д. - не запрещать.

Подскажите как это сделать правильно ☝

User-agent: *

Disallow: /dir$

Иван Чередов (http://ivan.cheredov.com/about/)
K
На сайте с 31.01.2001
Offline
737
#2

Боюсь, что c пустой cтрокой между User-agent и Disallow может не сработать. Зачем так рисковать?

А без слеша на конце тем более не сработает.

Ну и dir лучше заменить на articles.

cheredov, ведь исходные данные есть в первом посте, почему бы не написать сразу то, что требуется и без ошибок:

User-agent: *

Disallow: /articles/$

Вроде не бином Ньютона.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
cheredov
На сайте с 07.04.2011
Offline
125
#3

User-agent: *

Disallow: /articles$

В точности так.

K
На сайте с 31.01.2001
Offline
737
#4
ssnickerss:
Есть главная категория, например www.sait.ru/articles/
cheredov:
User-agent: *
Disallow: /articles$
В точности так.

Куда спешите? Ведь ошибка же.

cheredov
На сайте с 07.04.2011
Offline
125
#5

User-agent: *

Disallow: /articles/$

Прошу прощения, не стоит вечером отвечать на вопросы...

S
На сайте с 18.01.2009
Offline
96
#6

Kost, благодарю, все получилось :)

A
На сайте с 26.07.2010
Offline
72
#7

Прошу прощения, похожая проблема.

Подскажите, так же могу я сделать, как в вышеприведённом примере?

Сайт ну вот так сделан, теперь поздняк метаться.

http://www.svetgorod.ru

и вот вопрос.

Например есть статья- http://www.svetgorod.ru/enciklopedia/kak-sdelat/929

но она открывается и как http://www.svetgorod.ru/enciklopedia/929

и вообще хоть что подставляйте в средину http://www.svetgorod.ru/enciklopedia/ssspppooo/929

Вот так вот((((

Как прописать в файле роботс, чтобы поисковики хотя бы не видели все эти страницы ненужные? а видели только правилную страницу- http://www.svetgorod.ru/enciklopedia/kak-sdelat/929 ???

Спасибо.

E
На сайте с 17.03.2011
Offline
13
#8

В роботс вроде никак.

Добавьте в страницу в <head> метатет

<link rel="canonical" href="http://www.svetgorod.ru/enciklopedia/kak-sdelat/929" />

Ну и следите, чтобы внешние и внутренние ссылки были на этот адрес.

A
На сайте с 26.07.2010
Offline
72
#9
eugeniak:
В роботс вроде никак.
Добавьте в страницу в <head> метатет
<link rel="canonical" href="http://www.svetgorod.ru/enciklopedia/kak-sdelat/929" />
Ну и следите, чтобы внешние и внутренние ссылки были на этот адрес.

Всмысле- что она главная? эта страница?

Да, я думал так, но статей больше полтыщи(((

Atavisma добавил 27.07.2011 в 11:45

а вот так то нельзя? как в предыдущем примере?

User-agent: *

Disallow: /enciklopedia/$

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий