Подскажите кто такой User-agent: IRLbot

clockwork

15 февраля 2008, 15:34

1216

А также User-Agent: larbin_2.6.3?

Hunter77

15 февраля 2008, 18:23

clockwork:
А также User-Agent: larbin_2.6.3?

это вот это http://www.archive.org/web/web.php. архиватор интернета. запрещать его надо. трафа до фига, а толку ноль

IRLbot - это бот исследовательского проекта компании Texas A&M.

Справочник (http://www.cityinform.org/) Новости футбола (http://www.goalbox.ru/)