Как часто ждать Яндекс?

S
На сайте с 25.12.2003
Offline
92
596

Эх... даже не знаю, как поточнее сформулировть. Вопрос такой, как часто Яндекс повторно посещает сайты?

Есть такие данные, полученные от статистики Cnstats. Однако не видно, что увеличивается количество страниц в Яндекс. Подскажите, есть ли возможность разобраться со статистикой ниже, узнать как часто заходит яндексовский робот и какие отличие между Yandex/1.01.001 *.

Робот

последний визит

первый визит

Количество

Yandex Crawler (http://www.yandex.ru/)

Yandex/1.01.001 (compatible; Win16; I) 2004-01-16 10:31:28

2004-01-13 05:21:15

501

Yandex Crawler (http://www.yandex.ru/)

Yandex/1.01.001 (compatible; Win16; M) 2004-01-18 16:38:00

2004-01-12 02:45:00

80

Yandex Crawler (http://www.yandex.ru/)

Yandex/1.01.001 (compatible; Win16; H) 2004-01-16 23:10:41

2004-01-15 18:04:11

6

А
На сайте с 14.11.2003
Offline
150
#1
Как писал skurudo
Вопрос такой, как часто Яндекс повторно посещает сайты?

Как часто? Да у всех по-разному. Чем чаще обновляется информация на сайте и чем он больше раскручен, тем чаще индексирует Yandex'ом.

...Однако не видно, что увеличивается количество страниц в Яндекс.

Потерпите. Они скоро появятся в выдаче.

А про роботы почитайте здесь...

S
На сайте с 25.12.2003
Offline
92
#2

У меня информация обновляется достаточно часто. Каждый день или раз в два дня. Насчет популярности и раскрученности не знаю, ИЦ всего 275. Думаю, что это не так и много.

Спасибо за подсказку темы. Очень полезная оказалась.

И еще два вопроса. Первый - чем и как лучше всего отслеживать посещения яндекса, который индексирует? И второй ниже...

Насколько верен такой robots.txt, может в его отсутствии проблема:

--начало

User-agent: *

Disallow: /cgi-bin

--конец

А
На сайте с 14.11.2003
Offline
150
#3
Как писал skurudo
...чем и как лучше всего отслеживать посещения яндекса, который индексирует?

На сервере должен вестись отдельный файл access.log. А анализировать его можно webalizer'ом, например. Все это для Apache-сервера.

Насколько верен такой robots.txt, может в его отсутствии проблема:

User-agent: *

Disallow: /cgi-bin/

Если нет файла robots.txt, то проблем быть не должно. Главное, чтобы сервер при запросе этого файла роботами возвращал либо код 200 (O.K.), либо 404 (not found).

S
На сайте с 25.12.2003
Offline
92
#4

Других способов отслеживать заходы, видимо, нет? Например, в случае, когда нет доступа к логам, как у меня.

Большое спасибо за помощь.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий