Вот ответ на Ваш вопрос:
Уменьшение количества найденных документов при листании результатов поиска
связано с тем, что мы не показываем страницы, похожие на те, что пользователь
только что видел, то есть избавляем Вас от просмотра дубликатов.
В момент получения запроса анализируются контексты документов, соответствующие
запросу. Если у двух страниц они совпадают, менее релевантный документ
отбрасывается как дубликат.
Соответственно, попарно сравнить контексты у миллионов, даже тысяч документов
— очень тяжелая операция, поэтому динамическое удаление дубликатов делается по
мере листания результатов.
