Несоответствие статистики, выдаваемой Яндексом!

А доказательства этого есть?

Имхо, кластеры это все. 🚬

В Яндексе в виде кластера работают несколько машин, обрабатывающих запросы, и у каждой своя база страниц и, наверняка, ссылок. Одна из нескольких метапоисковых машин выдает им пришедшие запросы как задание. Когда минимально установленное количество серверов запроса ответило, метапоисковая машина проверяет затраченное на поиск время. Если оно больше установленного (сколько-то секунд), обработка запроса прекращается по таймауту.

Таким образом, если этот запрос случайно совпал с небольшим пиком загрузки Яндекса, и высока вероятность, что на отправленный запрос не ответят несколько компонент кластера.

Из-за молчания нескольких серверов запроса метапоисковая машина недополучит какое-то количество ссылок.

При первом запросе сервера вернут общее количество известных им ссылок (с определенной погрешностью) и выдадут первые 10-50 в зависимости от Ваших настроек результатов поиска. При переходе на следующую страницу результатов опять будет направлен запрос о количестве ссылок и о выборке следующих 10-50 ссылок, не совпадающих с первыми. Так как придется много проверять на совпадение (чтоб не выдавались повторно уже найденные первым поиском страницы), то окончание поиска из-за таймаута может наступить пораньше - в результате выборочное число ссылок будет меньше. При переходе на следующую страницу - опять меньше, так как проверять придется больше и т.п.