Сегодня на YaC 2020 Яндекс рассказал о внедрении трансформера — новой нейросетевой архитектуры для ранжирования веб-страниц. Благодаря ей поиск Яндекса научился гораздо лучше оценивать смысловую связь между запросами пользователей и содержанием документов в интернете — настолько лучше, что по мнению специалистов Яндекса, это наиболее значимое событие для поиска за последние 10 лет (со времен запуска Матрикснета).
По их словам, Палех и Королёв вместе повлияли на поиск меньше, чем новая модель на трансформерах. Более того, в поиске рассчитываются тысячи факторов, но если выключить их все и оставить только новую модель, то качество ранжирования по основной офлайн-метрике упадёт лишь на 4-5%.
Новая технология анализа текстов называется YATI. В ней задействованы нейронные сети нового поколения — трансформеры. Это общее название популярной нейросетевой архитектуры, которая лежит в основе современных подходов к анализу текста. Яндекс разработал собственную реализацию трансформеров, поэтому YATI расшифровывается как Yet Another Transformer with Improvements — «Ещё один трансформер с улучшениями».
«Хотя архитектура нейросетей-трансформеров известна уже достаточно давно, а их использование для задач NLP приобрело огромную популярность после появления BERT в 2018 году, внедрение трансформера в современную поисковую систему невозможно без инженерной изобретательности и большого числа оригинальных технологических улучшений в обучении и рантайме. Поэтому мы назвали нашу технологию YATI — Yet Another Transformer (with Improvements), что, как нам кажется, хорошо отражает её суть. Это действительно «ещё один трансформер», архитектурно похожий на другие модели, но уникальный тем, что благодаря совокупности улучшений он способен работать и приносить пользу в поиске — самом сложном сервисе Яндекса», - сообщили в компании.
В Поиске YATI сопоставляет смысл запросов и веб-документов. Она умеет работать не только с короткими, такими как запросы или заголовки статей, но и с длинными текстами. У нее есть «механизм внимания», который позволяет выделять в тексте самые значимые фрагменты. Наконец, она обращает внимание на порядок слов и учитывает контекст — то, как слова влияют друг на друга, ведь во многих случаях порядок слов определяет смысл всей фразы (например, при поиске билетов из одной точки в другую).
Подробнее о трансформерах в поиске и о том, как Яндекс применил тяжёлые нейросети для поиска по смыслу, можно прочитать здесь.
Ранее стало известно, что Яндекс запустил новый сервис для предпринимателей Яндекс.Бизнес, начал тестирование доставки по требованию в приложении Яндекс Go, и реализовал возможность заказа еды в машину в Яндекс.Заправках, Яндекс.Навигаторе и Яндекс.Картах.
