Форум Поисковые системы Прочие поисковики

Рамблер игнорирует robots.txt?

Sadie
На сайте с 11.04.2005
Offline
64
Sadie
710

Есть robots.txt следующего содержания: 


User-Agent: *

Disallow: /cgi-bin/ 

Disallow: /headscript.cgi?ReplyToPost/

Disallow: /headscript.cgi?ShowForumPost/

Disallow: /headscript.cgi?ShowForumRefreshForm/

Disallow: /headscript.cgi?ShowRightFramePost/

Disallow: /headscript.cgi?ShowTopic/

Disallow: /headscript.cgi?ShowPost/

Недавно по сайту бродил робот Рамблера, делал кучу запрещенных запросов, например:

81.19.66.38 - - [15/Sep/2005:12:59:36 +0000] "GET /headscript.cgi?ShowPost/20412000004E3300000001 HTTP/1.0" 200 2896 "-" "StackRambler/2.0 (MSIE incompatible)"

robots.txt c адресов 81.19.66.* никто не запрашивал. По крайней мере с позавчера.

И как это понимать?

Новости без комплексов (http://www.kompleksov.net/) | ЖЖ (http://sad-sadie.livejournal.com/)
P
На сайте с 10.03.2005
Offline
23
pros
#1

А headscript.cgi лежит в корне сайта?

Sadie
На сайте с 11.04.2005
Offline
64
Sadie
#2

pros,

Физически - нет, но на него прописан ScriptAlias, чтобы выглядело именно так, как будто бы он там и лежал.

Т
На сайте с 16.01.2005
Offline
53
Теркин
#3
pros:
А headscript.cgi лежит в корне сайта?

А зачем он?

Вообще что это такое?

Sadie
На сайте с 11.04.2005
Offline
64
Sadie
#4
А зачем он?
Вообще что это такое?

Движок сайта, вообще-то... :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий