Запрещать адреса со слэшем или без?

P

62

Piotiger

6 июля 2005, 14:05

334

Есть разница как запрещать в robots.txt директории, со слэшем в конце или без? Вот 2 варианта например:

User-Agent: *

Disallow: /one/

и

User-Agent: *

Disallow: /one

Есть разница между ними?

Для справки: адреса построены с помощью mod_rewrite, на всем сайте все ссылки в конце имеют слэш, хотя без слэшей естественно тоже работает.

[Удален]

6 июля 2005, 14:18

#1

Если без слеша страница отдается, то и запрещать надо без слеша. Иначе есть вероятность, что страница будет проиндексирована.

170

Sonja

6 июля 2005, 14:28

#2

В персом случае робот не пойдет дальше /one/

во втором -- /one

Cтраницу /one.html робот не проиндексирует руководствуясь директивой из второго примера.

С уважением, Ольга Лебедева