Begun Robot Crawler

Independence
На сайте с 29.10.2005
Offline
428
1025

91.192.149.231 - - [03/Oct/2009:12:25:45 +0400] "GET /cgi-bin/script.cgi HTTP/1.1" 200 1774 "-" "Begun Robot Crawler"

Почему полез дергать .cgi-скрипт, на котором вообще нет никаких тегов "Бегуна" (и рекламных блоков), непонятно. Кроме того, на этом сайте папка /cgi-bin/ вообще полностью закрыта от индексации через robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий