Вопрос про гуглбота

S
На сайте с 11.02.2007
Offline
11
612

На мой домен постоянно ходит гуглбот. Раз в 3-4 дня, тут как тут. Собственно, вопрос. Вот он каждый раз заново мой сайт обходит, все заново индексирует и в кеш свой, гугловский, пишет? Или как-нить постепенно там все это происходит?

Nuzr
На сайте с 15.10.2006
Offline
31
#1
sokolm:
На мой домен постоянно ходит гуглбот. Раз в 3-4 дня, тут как тут. Собственно, вопрос. Вот он каждый раз заново мой сайт обходит, все заново индексирует и в кеш свой, гугловский, пишет? Или как-нить постепенно там все это происходит?

Постепенно ходит, сколько захочет, столько и обойдет страниц за раз.

Нужно делать так, как нужно, а как не нужно, делать не нужно" © Винни-Пух
A
На сайте с 18.01.2007
Offline
17
#2

А как узнать что он ходит по твоему сайту???

S
На сайте с 11.02.2007
Offline
11
#3
amworld:
А как узнать что он ходит по твоему сайту???

1.По статистике. awstats отмечает визиты всех роботов.

2. Если регал свой сайт в гугле, пишет вот тут:

https://www.google.ru/webmasters/tools/siteoverview?hl=ru

Там он вообще много чего интерстного про твой сайт пишет.

A
На сайте с 18.01.2007
Offline
17
#4

sokolm спасибо...А яше как проверить?😕

A1
На сайте с 12.02.2007
Offline
0
#5

а вообще сколько времени надо ждать роботов?

неделю, 2, может месяц?

у меня сайт уже 2 недели, а в логах апача всего 4 строчки гугля, да и то запросы к sitemap и robots.txt (оба файла есть.) И еще один раз обращение к index.php да и то запрос не GET а HEAD.

После этого в тулзах гугля пару дней было сообщение, что Нам удалось получить доступ к главной странице, потом и оно пропало.

В чем дело?

mumur
На сайте с 27.07.2006
Offline
168
#6
amworld:
sokolm спасибо...А яше как проверить?😕

Логи посмотреть - они (роботы Яндекса) там так и отмечаются Yandex 0.0....

S
На сайте с 11.02.2007
Offline
11
#7

Набрать название сайта в гугле. Рядом с зеленым названием домена будет бледнозеленая кнопочка Cached. Жмешь и видишь примерно такое:

This is G o o g l e's cache of http://www.gofuckyourself.com/ as retrieved on 9 Feb 2007 09:25:03 GMT.

Дата - когда был последний раз скэширован сайт.

Вообще гугл посещает все скешированные сайт раз в два месяца примерно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий