Форум Сайтостроение Веб-строительство

Robots.txt: хитро закрыть директорию

Сестры Бабурины
На сайте с 29.12.2011
Offline
45
Сестры Бабурины
611

Сайт на Drupal

есть таксономия - taxonomy

к этой таксономии привязаны страницы - node

На сайте товар показан как:

site.ru/taxonomy/none1 ...2...n

(да, не много странно, но именно так и необходимо)

но если поисковик сунется по ссылке site.ru/taxonomy , то увидит там весь список этих страниц, с кусками текстов из них и кнопкой подробнее... Эта директория не нужна ни пользователям ни поисковикам (дубль контента и прочее).

Казалось бы: делаем в роботс

Disallow: /taxonomy

и вопрос решен.

Но таким образом я закрываю доступ к станицам ниже (дельше) этой директории: /taxonomy/none1 ...2...n

Как закрыть доступ к директории "taxonomy", но оставить доступ к нодам ?

Сработает ли:

Disallow: /taxonomy

Allow: /taxonomy/*

?

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#1

Есть вариант по проще

Disallow: /taxonomy$

http://help.yandex.ru/webmaster/?id=996567#996572

Сестры Бабурины
На сайте с 29.12.2011
Offline
45
Сестры Бабурины
#2
siv1987:

Disallow: /taxonomy$

Супер!

ЯндексФак:
User-agent: Yandex
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

если быть точным, то нужно ли в моём случае указывать со слэшем:

Disallow: /taxonomy/$

?

или символу "$" уже не важно Что будет стоять после "taxonomy" ?

Ведь я собираюсь оставить открытой страницу находящуюся в поддиректории - /taxonomy/none1, что немного отличается от яшкиного примера.

Topics API: плюсы и В WebEffector изменился алгоритм Поисковые запросы в Яндекс.Вебмастере
siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#3
Сестры Бабурины:
если быть точным, то нужно ли в моём случае указывать со слэшем:

Если у вас ссылка со слешем указываете со слешем, если без - то без.

$ - означает конец ссылки, т.е. задает конкретную ссылку для запрета.

Сестры Бабурины
На сайте с 29.12.2011
Offline
45
Сестры Бабурины
#4

ок

ну и чтобы закрепить.

указав:

Disallow: /taxonomy/$

я закрываю доступ к site.ru/taxonomy

но при этом останутся открытыми страницы site.ru/taxonomy/1.php , 2.php и тд.

всё верно ?

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#5
указав:

Disallow: /taxonomy/$

я закрываю доступ к site.ru/taxonomy

Блин, указав Disallow: /taxonomy/$ вы закрываете доступ ТОЛЬКО к /taxonomy/

Вроде все предельно ясно.

но при этом останутся открытыми страницы site.ru/taxonomy/1.php , 2.php и тд.

всё верно ?

Да, остальные страницы закрываться не будут.

Сестры Бабурины
На сайте с 29.12.2011
Offline
45
Сестры Бабурины
#6
siv1987:
Блин.....
...Вроде все предельно ясно.

Так то ясно....

но если бы я не уточнил про слеш, то грош цена ответам.

Чего нервничать...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий