Как робот устанавливает ревезит???

Странно, что Вы, Александр, называете это гипотезой. Я с год назад такое читал в официальных текстах Яндекса. Сейчас сходу найти не смог, но думаю, если задаться целью, отыскать не сложно...

А не было никем проверено где тот порог, который приведет к тому что она будет считаться новой?

🚬

А кто-ж его скажет то :?)....

Если у Яндекса уже более года есть технология распознавания "нечетких дублей":

+%E4%F3%E1%EB%2A

то мне кажется что похожий механизм они могли бы применять и для оценки "новизны" страницы.

Буду благодарен за ссылку. Я слежу за пресс-релизами и интервью сотрудников Яндекса, и таких высказываний не встречал.

С уважением,

Александр Садовский.

Было. Озвучивалось Ильёй лично. И, если мне память не изменяет, аккурат на прошлогодней конференции.

Нашел непрямое упоминание про существование системы сравнения "похожести" документов на предмет принятия решения о переиндексации оных.

Сборник докладов Первой Международной конференции "Продвижение сайта в поисковых машинах", доклад Ильи Сегаловича "Как поисковые системы помогают запросам встречаться с документами?", стр. 44, раздел "Отбрасывание повторов", 4-й и 5-й абзацы:

"Простейшая проверка на повтор содержимого состоит в вычислении контрольной суммы от всех слов текста и тестом базы данных на ее присутствие...
Отдельно стоит проблема учета "слегка измененных" документов (обычно это делается по набору характерных слов или контрольных сумм)..."

Прямого упомянания еще не нашел - поиск продолжается...