Почему современный поиск - это ИИ технологии.

Может немного не так?)) 
В функциональной основе лежат: Математическая модель как база,  в сочетании с другими факторами: языковых моделей и искусственного интеллекта

Я бы свою цитату дополнил так - в функциональной основе лежат математические модели и методы, часть из которых эволюционировали от самых простых принципов контекстного совпадения и бинарного поиска, до более сложных языковых моделей и искусственного интеллекта + дополняемые элементы контрольных данных асессорной оценки (это тоже важно добавить). 

По сути это сложный комбайн, поэтому просто сказать, что в основе алгоритмов лежит ИИ - будет фактически неточным, ну а хронологически абсолютно неправильным и в соседней теме уже разбирали почему :) 

У меня сейчас ощущение, что Gemini умеет в bm25 лучше чем google.

Как раз нет. Поиск в ИИ это сочетание классического bm25 и векторного поиска. Чисто векторный  может увести далеко не туда, классический алгоритм не даст это сделать.

Обычный поиск поиск все еще хуже справляется с отсевом мусора, я говорю про Гугл, для которого ключевики все еще имеют значение и заспамленность выдачи сайтами оптимизировнными под сео имеет место быть. Векторный поиск позволяет отсекать. Поэтому Гемини просто выкинить из результатов очередной рерайт.

Я говорю про идеальную картину. По факту идет постепенное сближение алгоритмов. 

Ребята , в основе вообще было все просто, это алгоритм Кнут-Моррис-Пратт. Идея его очень проста, берется запрос и конектися к документу, далее он получает жадным способом наибольший суффикс, а прикрутить к нему нейронку, даже школьник сможет

что за бред сивой кобылы? КМП -  алгоритм поиска подстроки в строке. Он не ищет в целом документе. Это не жадный алгоритм. Более того - это детермитированный алгоритм, нейросеть - это векторный, эмбеддинг поиск - совсем другие принципы.  Разные случаи применения.