Форум Поисковые системы Google

Список ботов гугля

12
F
На сайте с 12.09.2003
Offline
120
Faster
1420

Прошу прощенья, если было.

Нельзя ли где нибудь узреть полный список (IP+Referer)?

thx

скрипты (http://mr-faster.com/category/scripts)
Netsah
На сайте с 21.11.2003
Offline
158
Netsah
#1

http://www.google-dance-tool.com/google_crawler_history.html

Детям - мороженое, женщинам - цветы.
F
На сайте с 12.09.2003
Offline
120
Faster
#2

спасибо

и еще - crawler*.googlebot.com - это и есть реферер?

Netsah
На сайте с 21.11.2003
Offline
158
Netsah
#3

Что имеется ввиду?

F
На сайте с 12.09.2003
Offline
120
Faster
#4

HTTP_REFERER

Netsah
На сайте с 21.11.2003
Offline
158
Netsah
#5

Ну это те, откуда на сайт идут.

[Удален]
#6

Бот Гугля при запросе не выдает заголовок referer, то есть в логах это поле пустое остается.

F
На сайте с 12.09.2003
Offline
120
Faster
#7

Interitus,

вот то что я хотел услышать.

спасибо

samlowry
На сайте с 16.02.2004
Offline
23
samlowry
#8

А отсальные боты как отдают referer? Я про распространенные...

Хочешь переехать в Таиланд? Вот волшебный пендель (http://dot.with.in/)!
[Удален]
#9

Остальные тоже. :)

MT
На сайте с 01.09.2002
Offline
108
M.TULULU
#10

А вот кто знает что это за робот такой:

66.249.65.69 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ходит активно по моим сайтам параллельно с

66.249.64.66 "Googlebot/2.1 (+http://www.google.com/bot.html)"

Кстати, так как он подписывается Mozillой, то странички получает сжатыми gzip. Не будет ли с эти проблем?

Помощь в фильтрации ботов Как заблокировать фейковых google Рост роботности в Метрике
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий