Пользователям Яндекс Браузера теперь доступен многоголосый перевод видео — голосов стало двенадцать, шесть мужских и шесть женских. Благодаря улучшенным алгоритмам воспринимать видео с большим количеством спикеров стало намного легче.
В Яндексе рассказали, как нейросеть распознает разных спикеров на видео. Сначала она переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений. Затем уже другая нейросеть анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Так и становится ясно, кто из спикеров что произнес.
Дмитрий Тимко, руководитель приложения Яндекс и Яндекс Браузера:
«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках – это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно – поэтому мы и сделали десять новых голосов».
Напомним, Яндекс представил технологию закадрового перевода видео для роликов на английском языке в сентябре 2021 года. Затем добавил французский, немецкий, испанский и итальянский языки. В планах — новые пары языков, например, китайский.
Нейросети продолжают помогать стирать границы в интернете: в Яндекс Браузере также появились интерактивные субтитры с подсветкой по словам, которые можно включить как на языке оригинала, так и на русском. Помимо этого, Яндекс добавил в свой браузер уникальную технологию автоматического закадрового перевода прямых трансляций на YouTube — сейчас она находится в режиме открытого тестирования.
