Яндекс.Новости — частота обращения к фиду

P
На сайте с 18.12.2009
Offline
67
1701

Как часто робот Яндекс.Новостей обращается к фиду ваших сайтов? Например, у нас с 25 августа было более 10 000 обращений к фиду, отдано 252.24 Mb. По идее, робот должен обращаться к фиду раз в 10 минут, а он пасется около фида практически всегда.

В поддержке Яндекс.Новостей ответили забавное:

Добрый вечер!
Мы тоже этому очень рады.
grey109
На сайте с 15.06.2005
Offline
160
#1

У меня бот заходит где-то раз в 10-12 минут. В rss-ленте отдаю последние 50 новостей. Размер rss-ленты с 50 новостями - ~100Кб. Получается в час 600Кб, в день - ~15Мб.

P
На сайте с 18.12.2009
Offline
67
#2

А у нас такие «набеги»:

95.108.151.246 - - [25/Aug/2010:00:52:30 +0400] "GET /yandex-feed HTTP/1.0" 200 24033 "-" "Mozilla/5.0 (compatible; YandexNews/3.0; http://www.yandex.ru/bot.html)"
95.108.243.210 - - [25/Aug/2010:00:52:33 +0400] "GET /yandex-feed HTTP/1.0" 200 24034 "-" "Mozilla/5.0 (compatible; YandexNews/3.0; http://www.yandex.ru/bot.html)"
87.250.255.252 - - [25/Aug/2010:00:52:39 +0400] "GET /yandex-feed HTTP/1.0" 200 24034 "-" "Mozilla/5.0 (compatible; YandexNews/3.0; http://www.yandex.ru/bot.html)"
Ingvarr
На сайте с 26.04.2009
Offline
452
#3

pneumotube, и так все время?

P
На сайте с 18.12.2009
Offline
67
#4
Ingvarr:
pneumotube, и так все время?

Ну, ходит он явно чаще, чем раз в 10 минут:

95.108.243.210 - - [01/Sep/2010:00:47:14 +0400]
87.250.255.252 - - [01/Sep/2010:00:47:35 +0400]
93.158.146.241 - - [01/Sep/2010:00:47:35 +0400]
95.108.151.246 - - [01/Sep/2010:00:47:42 +0400]
95.108.243.210 - - [01/Sep/2010:00:52:14 +0400]
93.158.146.241 - - [01/Sep/2010:00:52:36 +0400]
87.250.255.252 - - [01/Sep/2010:00:52:36 +0400]
95.108.151.246 - - [01/Sep/2010:00:52:42 +0400]
95.108.243.209 - - [01/Sep/2010:00:54:54 +0400]

pneumotube добавил 01.09.2010 в 10:32

Пришел ответ из Яндекса:

Наш робот считывает ваши новости не реже, чем раз в 10 минут автоматически, ещё некоторое время требуется ему для "обдумывания" сообщения, помещения его в
соответствующий сюжет и т.п. Всё это вместе может занять минут 40. Наши специалисты работают над сокращением этого времени. В начале недели, пока наша база не очень большая, новости могут индексироваться за более короткое время, менее, чем 40 минут.
P
На сайте с 18.12.2009
Offline
67
#5

В общем, убрали из фида необязательные элементы, начали отдавать новости только за два дня. Размер уменьшился в 4 раза, и на том спасибо.

Mahrock
На сайте с 28.04.2006
Offline
193
#6

Минимум раз в 5 минут. Но обычно гораздо чаще

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий