Форум Практика оптимизации Doorways & Cloaking

Такой robots.txt будет работать верно?

12
N
На сайте с 21.11.2001
Offline
152
Nicon
4201

В IIS был включен обрабочик asp.dll для файлов с расширением txt. таким образом они стали обрабатываться как asp-файлы. Robots.txt был оформлен таким образом:

<%

if Request.ServerVariables("SERVER_NAME")="automarket.dp.ua" then

Response.Write("User-Agent: *")

Response.Write(chr(13))

Response.Write("Disallow: /")

end if

if Request.ServerVariables("SERVER_NAME")="www.automarket.dp.ua" then

Response.Write("User-Agent: *"&chr(13))

Response.Write("Disallow: /css/"&chr(13))

Response.Write("Disallow: /scripts/"&chr(13))

Response.Write("Disallow: /admin/"&chr(13))

Response.Write("Disallow: /bases/"&chr(13))

Response.Write("Disallow: /icon/"&chr(13))

Response.Write("Disallow: /incphotos/"&chr(13))

Response.Write("Disallow: /incphotosbus/"&chr(13))

Response.Write("Disallow: /incphotosmoto/"&chr(13))

Response.Write("Disallow: /incphotosgr/"&chr(13))

Response.Write("Disallow: /reserv/"&chr(13))

Response.Write("Disallow: /arhivphoto/"&chr(13))

Response.Write("Disallow: /global")

end if

if Request.ServerVariables("SERVER_NAME")="avtomarket.dp.ua" then

Response.Write("User-Agent: *"&chr(13))

Response.Write("Disallow: /")

end if

if Request.ServerVariables("SERVER_NAME")="www.avtomarket.dp.ua" then

Response.Write("User-Agent: *"&chr(13))

Response.Write("Disallow: /")

end if

%>

Что скажете?

C
На сайте с 19.09.2001
Offline
120
Cherny
#1

Может и глупость скажу, но:

перевод строки в Unix -- это 0A (&chr(10))

Макинтош -- 0D &chr(13)

Windows -- 0A0D &chr(10)&chr(13)

В сетевых протоколах как и в Windows -- &chr(10)&chr(13)

ИМХО надо добавить &chr(10) в каждую строку, для надежности.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
AiK
На сайте с 27.10.2000
Offline
257
AiK
#2

Да простит меня модератор за саморекламу, но можешь почекать свой robots.txt тут

N
На сайте с 21.11.2001
Offline
152
Nicon
#3
Как писал AiK
Да простит меня модератор за саморекламу, но можешь почекать свой robots.txt тут

Простите профессор, но Ваш ресурс не работает:(

На такой robots.txt:

User-agent: *

Disallow: /

он сообщает allowed 😮

AiK
На сайте с 27.10.2000
Offline
257
AiK
#4
Простите профессор, но Ваш ресурс не работает

Маленькая тонкость: если набрать http://yandex.ru, то он вернёт allowed.

Если же http://yandex.ru/ - то вернёт disallowed. Объяснить почему? :)

LD
На сайте с 12.06.2002
Offline
71
LakeDaemon
#5
Объяснить почему?

Если не затруднит :)

N
На сайте с 21.11.2001
Offline
152
Nicon
#6
Как писал AiK

Маленькая тонкость: если набрать http://yandex.ru, то он вернёт allowed.
Если же http://yandex.ru/ - то вернёт disallowed. Объяснить почему? :)

Конечно, да.

Только причем тут это:)

Ваш ресур на все мои вариации robots.txt выдавал allowed.

А из моего варианта видно - что я пытаюсь запретить на IIS индексацию одного из четырех доменов.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#7
Если не затруднит

С одной стороны, / - корень сайта. Выше его не может быть ничего.

Кстати, правилом хорошего тона считается указание URL с завершающим /. Если его не указать, то либо сервер, либо клиент должны по идее его добавить за пользователя. Мне же было лениво это эмулировать :) Другими словами, любую URL можно разбить на две части: domainName и pathName. PathName _всегда начинается_ с "/".

А с другой стороны, я не уверен, что _каждый_ робот будет считать синонимами блабла.ру и блабла.ру/.

А из моего варианта видно - что я пытаюсь запретить на IIS индексацию одного из четырех доменов.

между "пытаться запрещать" и "запрещать" может быть очень большая разница :). Проверяйте любой _документ_ домена, никаких проблем не будет.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
LD
На сайте с 12.06.2002
Offline
71
LakeDaemon
#8
я пытаюсь запретить на IIS индексацию одного из четырех доменов.

Мне почему-то кажется, что Вы пытаетесь запретить всё, кроме некоторых (не указанных) каталогов в домене www.automarket.dp.ua

Или я опять напился и ничего не понимаю? :)

N
На сайте с 21.11.2001
Offline
152
Nicon
#9
Как писал LakeDaemon

Мне почему-то кажется, что Вы пытаетесь запретить всё, кроме некоторых (не указанных) каталогов в домене www.automarket.dp.ua

Или я опять напился и ничего не понимаю? :)

Все верно:). Все кроме неуказанных папок, и еще три домена. Не буду их писать, дабы не обвинили в спаме, из предидущих топиков и так видно.

N
На сайте с 21.11.2001
Offline
152
Nicon
#10
Как писал AiK
С одной стороны, / - корень сайта. Выше его не может быть ничего.
Кстати, правилом хорошего тона считается указание URL с завершающим /. Если его не указать, то либо сервер, либо клиент должны по идее его добавить за пользователя. Мне же было лениво это эмулировать :) Другими словами, любую URL можно разбить на две части: domainName и pathName. PathName _всегда начинается_ с "/".

А с другой стороны, я не уверен, что _каждый_ робот будет считать синонимами блабла.ру и блабла.ру/.


между "пытаться запрещать" и "запрещать" может быть очень большая разница :). Проверяйте любой _документ_ домена, никаких проблем не будет.

Т.е. Вы считаете, написать так:

<%

if Request.ServerVariables("SERVER_NAME")="automarket.dp.ua/" then...

и тогда я получу нужный мне disalowed?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий