Форум Поисковые системы Прочие поисковики

Mail.ru игнорирует robots.txt ?

K
На сайте с 12.07.2006
Offline
295
Kpd
806

Месяц назад прописал в robots.txt

User-agent: Mail.Ru
Crawl-delay: 5

А всё равно качает как хочет

217.69.134.170 - - [31/Aug/2011:15:13:09 +0400] "GET **** HTTP/1.0" 200 39996 "-" "Mail.Ru/1.0"
217.69.134.170 - - [31/Aug/2011:15:13:09 +0400] "GET **** HTTP/1.0" 302 0 "-" "Mail.Ru/1.0"
217.69.134.170 - - [31/Aug/2011:15:13:09 +0400] "GET **** HTTP/1.0" 200 35762 "-" "Mail.Ru/1.0"
217.69.134.170 - - [31/Aug/2011:15:13:09 +0400] "GET **** HTTP/1.0" 200 39672 "-" "Mail.Ru/1.0"
217.69.134.170 - - [31/Aug/2011:15:13:10 +0400] "GET **** HTTP/1.0" 200 28737 "-" "Mail.Ru/1.0"

Он только меня любит, или у всех так?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий