как определить ip ботов которые индексируют сайт?

94

baloon

1 сентября 2009, 16:22

1041

Как определить ip ботов которые индексируют сайт?

Хостер сказал по useragent-у, а где этот useragent находится я не знаю.

Подскажите, пожалуйста!

559

MyOST

1 сентября 2009, 16:24

#1

93.158.147.243 - - [01/Sep/2009:20:21:22 +0400] "GET /images/40.jpg HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"

пример из логов (логи достанете у себя на хостинге)

IP 93.158.147.243

юзерагент Yandex/1.01.001 (compatible; Win16; P) - аля яндекс картинки бот

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()

94

baloon

1 сентября 2009, 16:46

#2

MyOST, спасибо!