Можно ли добавлять в robots.txt url, а не папки из корня

12
M
На сайте с 30.12.2009
Offline
25
561

Введение:

на сайте www.test.com есть раздел живопись. Обратится к нему из браузера можно так www.test.com/givopis (без разширение, т.е. не www.test.com/givopis.html) , т.к. установлен компонент JoomSef, который преобразует ссылки. Вопрос в следующем

можно ли добавить в robots.txt нечто подобное?

User-agent: *

Allow: givopis

[Удален]
#1
M
На сайте с 30.12.2009
Offline
25
#2

И что? Про это я в курсе. Но это не ответ на мой вопрос. Можно ли так сделать, как я спрашивал? Будет ли от этого толки или только вред?

S
На сайте с 28.10.2005
Offline
314
#3


User-agent: *
Allow: /givopis

А вообще неочень понятно что вам надо

M
На сайте с 30.12.2009
Offline
25
#4
А вообще неочень понятно что вам надо

Сайт сделан на CMS Joomla. Есть категории на сайте(kategoriya1, kategoriya2 и т.д. а в них статьи). Используется комонет JoomSef для преобразования ссылко из вида "testsite.ru/index.php?option=com_xmap&sitemap=1" в вид: "testsite.ru/kategoriya2" без расширения .html.

В файл robots.txt добавляется нформация о папках в руте сайта. Запретить, разрешить. А могу ли я в роботс.ткст добавит информацию о юрл, т.е. сделать вот так

User-agent: *

Allow: /kategoriya2

Т.е. вопрос в том, можно ли поисковикам указать конкретный категории на сайте, в которые нужно заглянуть? Т.к. используется комонент преобразования ссылок, то где эти страницы находятся физически? Я так понимаю, что нигде. Поэтому и спрашиваю про узакание категории через преобразованный УРЛ.

[Удален]
#5
maralek:
Введение:
на сайте www.test.com есть раздел живопись. Обратится к нему из браузера можно так www.test.com/givopis (без разширение, т.е. не www.test.com/givopis.html) , т.к. установлен компонент JoomSef, который преобразует ссылки. Вопрос в следующем

можно ли добавить в robots.txt нечто подобное?
User-agent: *
Allow: givopis

Специально для Вас:

User-agent: *
Allow: /givopis
Disallow: /

# запрещает индексировать все, кроме страниц начинающихся с "/givopis"

Данный роботс поймут Яндекс и Google, остальные - не факт.

Если Вы хотели совсем наоборот:

User-agent: *
Disallow: /givopis

# запрещает к индексации всё что начинается с "/givopis"

Данный роботс поймут все поисковые боты, придерживающиеся стандарта

Unabashed
На сайте с 17.11.2006
Offline
70
#6

Директивы Allow не существует! В общем случае - разрешено все, что не запрещено. Disallow - запрет.

[Удален]
#7

Unabashed,

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'.

см. http://help.yandex.ru/webmaster/?id=996567

Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).

см. http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

alexspb
На сайте с 14.11.2005
Offline
187
#8
Unabashed:
Директивы Allow не существует!

уже существует...

но использовать ее лучше для конкретных поисковиков

Unabashed
На сайте с 17.11.2006
Offline
70
#9

lobin2006, alexspb, век живи, век - учись. Спасибо!

maralek, извиняюсь за недостоверную информацию.

S
На сайте с 28.10.2005
Offline
314
#10
maralek:
Т.е. вопрос в том, можно ли поисковикам указать конкретный категории на сайте, в которые нужно заглянуть? Т.к. используется комонент преобразования ссылок, то где эти страницы находятся физически? Я так понимаю, что нигде. Поэтому и спрашиваю про узакание категории через преобразованный УРЛ.

Отталкивайтесь от того как видятся ваши страницы из Интернета

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий