Помогите разобраться с роботами

Alli
На сайте с 02.03.2006
Offline
12
1108

Только-только опубликовала сайт в нете, статистика показывает заходивших роботов, но что значат ее записи понять не могу, помогите расшифровать!

Unknown robot (identified by 'spider') - ?

Unknown robot (identified by 'robot') - ?

Googlebot - ну это понятно :)

Unknown robot (identified by 'crawl') - ?

Заранее спасибо!

Контент для Вас, пишите сюда
Гроссмейстер
На сайте с 15.01.2005
Offline
104
#1
что значат ее записи понять не могу, помогите расшифровать!

Unknown robot (identified by 'spider', 'robot', 'crawl')
Неизвестный робот (идентифицирован как поисковый бот (все 3 слова синонимы))
Андрей Муравьёв Временно заброшенный блог: «Заметки интернет-маркетолога (http://web-blog.ru/)» «Чтобы задать правильный вопрос, нужно знать большую часть ответа» © Цицерон.
SZ
На сайте с 17.08.2005
Offline
63
#2

Что за статистикой пользуетесь? Очевидно там база роботов категорически маленькая, вот и не распознает он большую часть.

Лучше всего роботов не таким вот отчетом аля "роботы" отлавливать, а через просморт user-agent.

Alli
На сайте с 02.03.2006
Offline
12
#3

to Гроссмейстер

Басоооое пааасибо... ;)

to SergoZD

Пользуюсь Awstats

SZ
На сайте с 17.08.2005
Offline
63
#4

Alli

Посмотрел awstats, так он показывает неизвестных ему роботов, у которых в user-agent встречается какая-то фраза, присущая только роботом. Ну и соответственно это фразу и показывает.

Т.е. вряд ли браузер какой-то будет передавать в своем user-agent слово "robot" =) Ну разве что только если кто-то хочет на клоакинг вас проверить.

Alli
На сайте с 02.03.2006
Offline
12
#5

Спасибо :)

Клоакингом не занимаюсь, так что волноваться мне не с чего.

Просто это для меня новое занятие, вот и возникают вопросы ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий