Что-то не пойму чем у меня googlebot занимается..

46

lebur

27 апреля 2005, 06:04

336

я с этим всем только начинаю разбираться, вот залез в логи поглядеть что там твориться и вижу такую картину

66.249.64.13 - - [26/Apr/2005:05:18:53 +0000] "GET /robots.txt HTTP/1.0" 200 23 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

66.249.64.13 - - [26/Apr/2005:07:18:58 +0000] "GET /robots.txt HTTP/1.0" 200 23 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

66.249.64.13 - - [26/Apr/2005:07:18:59 +0000] "GET / HTTP/1.0" 200 235164 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

66.249.64.13 - - [26/Apr/2005:07:18:59 +0000] "GET / HTTP/1.0" 200 49248 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

.................. и.т.д

тоесть потыркает он этот робот.тхт и сваливает, когда же приходят другие боты в логах видно какие они страницы тащат..

Что же он делает? приходит несколько раз в неделю...

M

55

mehanizator

27 апреля 2005, 06:28

#1

"GET / HTTP/1.0" - корневую страницу сайта смотрит.

K

737

Kost

27 апреля 2005, 06:29

#2

А что это у главной страницы размерчик то 235164, то 49248 ?

Рандом?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

L

46

lebur

27 апреля 2005, 06:38

#3

Как писал Kost
А что это у главной страницы размерчик то 235164, то 49248 ?
Рандом?

сайт на пхп, и там както на index.php все завязано...

значит корневую смотрит,а почему дальше не идет? сейчас смотрю msnbot так резво страницы жует :)

M

55

mehanizator

27 апреля 2005, 06:44

#4

Как писал lebur

значит корневую смотрит,а почему дальше не идет?

дык привередливый он на это дело. см. соседний топик :)

сейчас смотрю msnbot так резво страницы жует :)

это еще ничего, скоро придет Ask :)

L

46

lebur

27 апреля 2005, 07:19

#5

Как писал mehanizator
это еще ничего, скоро придет Ask :)

уже пришел :) А от этого ask.com вообще толк есть?

M

55

mehanizator

27 апреля 2005, 08:03

#6

Как писал lebur

уже пришел :) А от этого ask.com вообще толк есть?

я не вижу...

Open AI тестирует память для ChatGPT

Все что нужно знать о DDоS-атаках грамотному менеджеру