Заходы Яндекс-бота

12
C
На сайте с 21.09.2006
Offline
39
995

Заметил что Яндекс-бот за ночь посетил 9 тыс. страниц (сайта в индексе нет с 1 октября). Такое посещение сайтиа ботом это нормально для сайта тиц1600 ? (никогда раньше не обращал внимание на заходы бота).

PS ходит по ссылкам которых на сайте уже давно не отображаютя, но страницы действительны. Заходы на одну и ту же страницу не повторяются.

lastadm
На сайте с 15.01.2006
Offline
169
#1

нормальное поведение бота индексатора (I) ... а в чем проблема то?

По забаненым сайтам индексатор ходит.

Изучаем правила форума ()
C
На сайте с 21.09.2006
Offline
39
#2

Он так раньше не индексировал с такой интенсивностью. Началось примерно через час после закрытия в robots.txt знакомств, частных объявлений и профилей пользователей.

neznaika
На сайте с 28.06.2006
Offline
356
#3
coroner:
Началось примерно через час после закрытия в robots.txt

Ищет чужие ссылки :)

На самом деле роботс это знак яндексу что вы шульмуете :) (шутка конечно).

У вас изменилась структура сайта, так как вы закрыли навернуе большую:) часть контента, вот он и пересчитывает вес страниц.

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
21gramm
На сайте с 17.11.2005
Offline
43
#4

Прошу прощения, а расскажите в двух словах как узнать статистку по заходам ботов. Просто в поиске не нашёл именно про это. Спасибо.

inetessentials
На сайте с 19.05.2005
Offline
480
#5

21gramm: смотри в логах на сайте, там все прописывается

Продвигаем естественно (http://www.inetessentials.ru/) и непринужденно Проект All in Top (http://www.allintop.ru/) - обучение поисковой оптимизации без воды и на реальных примерах
inetessentials
На сайте с 19.05.2005
Offline
480
#6

кстати, раз уж про это заговорили, что такое Yandex.Site/2.6?

тут http://webmaster.yandex.ru/faq.xml?id=502499 я ничего не нашел, собственно как и в поиске

сегодня числится в логах

Каширин
На сайте с 03.01.2004
Offline
1018
#7
21gramm:
Прошу прощения, а расскажите в двух словах как узнать статистку по заходам ботов. Просто в поиске не нашёл именно про это. Спасибо.

access.log

Спросите у хостера - ведутся ли у вас серверные логи. Только они покажут вам полную картину о визитах поисковых роботов.

Nikolaich
На сайте с 18.05.2005
Offline
132
#8

21gramm,

Каширин:
access.log
Спросите у хостера - ведутся ли у вас серверные логи. Только они покажут вам полную картину о визитах поисковых роботов.

А дальше обрабатываете файл каким нить парсером. Например Semonitor'овским...

Бабло побеждает зло.
lastadm
На сайте с 15.01.2006
Offline
169
#9

Странный Вы человек ...

coroner:
никогда раньше не обращал внимание на заходы бота

От куда же вы знаете, что:

coroner:
Он так раньше не индексировал с такой интенсивностью.
C
На сайте с 21.09.2006
Offline
39
#10

Ничего странного.

Просто когда тема поднялась, нашел логи и просмотрел.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий