Боты Яндекса вечером и ночью

SubAqua, Если на странице много текста, то может быть боты просто за один раз не читают всю страницу,а только часть. Теперь пока все не считают, не отстанут:)

На странице немного текста, в пределах 100 кб. вес всей страницы.

Первый момент понятен - время захода ботов. Остается непонятным другое - почему в базу за последние 3 недели не попало как раз то, что так активно запрашивается ботами.

Если это не быстробот,то должно попасть в индекс на следующий апдейт. Должно, но не обязано. Если и в апдейт страницы не будут видны, то следует написать в Яндекс, возможно ваша неиндексация это результат каких-либо санкций.

Хорошо, спасибо за ответы, будем написать в Яндекс. :)

Ночная активизация роботов, как правильно было сказано, связана с разгруженностью каналов и серверов в это время. Илья Сегалович несколько лет назад комментировал этот момент, сказав что их поисковые роботы весьма вежливые в этом плане.

С уважением, Сергей

Странный способ экономии ресурсов

В логах видно по сколько байт со страниц забирают?

Чо за бред? зачем несколько раз скачивать то?

Да нет, не видно. Первый раз слышу чтобы экономил на кб. Откуда Вы это взяли?

100 килобайт всегда страница забиралась.

Ну тогда сделай страницы по метру и увидишь экономию кб