Такой robots.txt будет работать верно?

Честное слово, мне очень неохота вникать в код на VBScript.

Я имел ввиду, что для проверки при помощи моего скрипта нужно указывать в формочке документ из той директории, которую вы считаете закрытой/открытой для роботов.

Позвольте с вами немного поспорить, уважаемый академик. Правилом хорошего тона считается ставить завершающий слеш при ссылке на директорию в интернете и без завершающего слеша -- в печатных изданиях. Если не проставить слеш при запросе http://www.site.ru/subdirectory, Апач, например, выдаст 301 код и правильную ссылку со слешем. Однако корень сайта является исключением, и не имеет значения - стоит слеш, или нет. Жаль, не могу вспомнить, где это читал :(

P.S. Ну и порт там еще между именем хоста и путем.

А роботы уже и до печатных изданий добрались? :)

Нет! Это только в том случае, если его так настроить. А так subdirectory может быть обныкновенным документом, а вовсе и не директорией.

Возможно.

Логичнее всего смотреть RFC. На досуге посмотрю - скажу.

Слеш ведь не только для роботов ;), это точно было у Нильсена.

Действительно, настроить можно как угодно! Скажу по другому: при отсутствии одноименного файла и настройках по умолчанию :)

Про завершение строки (\n\r) тоже где-то там.

Вобщем ситуация следующая. Пока URL не участвует в запросе к серверу (т.е. это не Request-URL), она может заканчиваться чем угодно.

Если это Request-URL, она обязана заканчиваться "/" (я имею ввиду только случай, когда URL совпадает с доменом). В частности, браузер должен добавить "/", если пользователь набрал только http://blabla.ru

(кстати, совсем не обязан отображать это обстоятельство в строке адреса)

В случае сравнения URL (что и происходит в моём скрипте) пустой absolute path трактуется как "/". Т.е. любой робот должен поступать также. Соответсвенно это была бага. Теперь она пофиксена. Nicon'у спасибо за баг-репорт.

Он и добавляет. То есть идет запрос GET "/"