Яндекс представил диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создает изображения и анимацию в ответ на текстовые запросы пользователей. Она понимает российский культурный код — знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу.
Нейросеть уже интегрирована в приложение Шедеврум и помогает иллюстрировать рекламные объявления в Яндекс Бизнесе, а вскоре появится в Клавиатуре и других сервисах компании.
YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. По сравнению с предыдущим поколением диффузионной модели, которая использовалась в Шедевруме, YandexART создает более реалистичную и детализированную графику. По итогам внутренней оценки асессоров Яндекса ее результаты лучше в 60% случаев.
Для улучшения качества работы нейросети разработчики увеличили размер обучающего набора данных в 1,5 раза — до 330 миллионов картинок с текстовым описанием. Для обучения YandexART используются самые эстетичные картинки — они отбираются при помощи трех режимов фильтрации. Новый алгоритм распознавания текстов помогает нейросети лучше понимать пожелания пользователей. Кроме того, нейросеть качественнее прорабатывает особенности лиц, глаз и рук, что позволяет ей делать фотореалистичные портреты.
Напомним, Яндекс начал использовать в рекламе иллюстрации, созданные той же нейросетью, которая работает в приложении Шедеврум, в июне 2023 года. Если у рекламодателя нет подходящей картинки для объявления, она автоматически выбирается из пула иллюстраций, сгенерированных нейросетью. В итоге эффективность рекламы увеличивается.
