Что за боты гугля?

W
На сайте с 30.11.2004
Offline
147
1193

В статсах bbclone (счетчик такой) увидел ботов гугля из разных стран. Вот примеры статсов:

Норвегия 2.240.125.212.fastcom.no Google 2.1

212.125.240.2 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

и

Германия pc029.permedia.piro.com Google 2.1

195.135.134.221 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

ну вначале идет страна и ИП, потом агент..

Может просто раньше не видел, но по статсам вроде всегда было раньше страна США (ну и ИП оттуда)

M
На сайте с 14.01.2004
Offline
33
#1

А съели эти боты много?

vint
На сайте с 06.05.2004
Offline
208
#2

Ко мне иногда юзеры с поисковиков заходят с юзер-агентом типа "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" и ходят по сайту явно не как боты.

A
На сайте с 10.01.2005
Offline
106
#3

Ко мне этот 66.249.64.58 + ходит нынче каждый день. Ведет себя не как юзер, но есть странность: иногда циклится на одной странице, берет ее с интервалом в 15 миню раз 5-10. Что за черт?...

Сайты для людей - не выдумка, а быль. Если считать архитекторов и дизайнеров людьми:)Целевая реклама для целевой группы.
A
На сайте с 10.01.2005
Offline
106
#4

Кажется, понятно: добрался до страницы, где по его мнению, почты, и пытается жрать адреса. Как бы его запретить, чтобы настоящий гугль не обидеть?

tester999
На сайте с 21.10.2004
Offline
149
#5

Он как бы и есть настоящий...

crawl-66-249-64-58.googlebot.com (66.249.64.58)

66.249.64.0 - 66.249.95.255

Google Inc.

2400 E. Bayshore Parkway

Mountain View, CA

US

[Удален]
#6

Вообще-то 66.249 это не самозванец, а реальный гугль. Вряд ли он именно с описанной вами целью туда ходит.

A
На сайте с 10.01.2005
Offline
106
#7

:) Отрадно слышать,Но разве у настоящего есть+ перед http?

[Удален]
#8

Есть. Он обычно представляется как

Googlebot/2.1 (+http://www.google.com/bot.html)

или как

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Первый вариант лучше. :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий