Что за юзер-агент MSIECrawler ?

MaxB
На сайте с 29.04.2003
Offline
110
1088

Собственно вот в чем вопрос.

Пришел вот такой вот мерзавец: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; MSIECrawler) и начал выдирать все хтмли с данными. Брал только хтмли, ничего более, причем очень быстро.

Пришлось забанить по IP.

Кто знает, что такое MSIECrawler ???

LM
На сайте с 30.11.2001
Offline
71
LiM
#1
С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
MaxB
На сайте с 29.04.2003
Offline
110
#2

Благодарю, теперь ясно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий