Useragent гугльбота

V
На сайте с 17.06.2005
Offline
14
vat
516

Есть сайтик. В начале месяца в индексе было около 4К-5К страниц. На сегодня в индексе 110К страниц. (по site:...)

Из первых сотен страниц 90% имеют титлы обновленные в начале месяца.

Можно предположить, что около 100К страниц были скушаны ботом в этом месяце и выложены в индекс. Но по австатсу:

Googlebot 31318+58

и даже с:

Google AdSense 40905+40

не набирается 100К

получается что либо австатс глючит (ранее такого не замечалось), либо гугльбот ходит под чужим агентом, либо он с кемто договорился о совместном использовании бота.

[Удален]
#1

Скорее всего, цифра, которую бот показывает по site:... - неверная. Проверить никак нельзя, но для сайтов с числом страниц в индексе меньше тысячи бывает, что например site:... на первой странице показывает цифру 500, а если пролистать до конца - окажется всего 150 страниц.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#2
неверная

Я бы сказал - приблизительная. Там и слово такое употребляется about :)

wolf
На сайте с 13.03.2001
Offline
1183
#3

А еще Гугль может считать не только проиндексированные страницы, но и те, о которых он узнал из ссылок на них

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
V
На сайте с 17.06.2005
Offline
14
vat
#4
А еще Гугль может считать не только проиндексированные страницы, но и те, о которых он узнал из ссылок на них

Похоже действительно бот нашел ссылки на внутренние страницы и считает их по site:... При этом активность бота увеличилась - Googlebot 62476+75 - за 2 дня скушал столько же как и за 18 дней с начала месяца.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий