Яндекс начал предлагать автоматически перевести англоязычные видеоролики. Научно-популярные передачи, кулинарные шоу, лекции Илона Маска и Ричарда Фейнмана, стендапы и видеоблоги – все это теперь можно посмотреть в русской озвучке. Перевод получается закадровым – оригинальная дорожка приглушается и на нее накладывается новая. Используются два голоса: для мужских голосов – мужской, для женских – женский; это голос Алисы.
Перевод происходит в несколько этапов. Сначала Яндекс распознает речь, превращает ее в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети. Подробности можно узнать на «Хабре».
Чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода занимает несколько минут. Когда все будет готово, пользователь получит уведомление.
Роман Иванов, руководитель Яндекс.Браузера:
«Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. Полностью стереть языковые границы в интернете – одна из наших главных задач. Мы приступили к ее решению еще в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие».
Сейчас можно перевести практически любое видео на английском языке на YouTube, Vimeo и еще нескольких популярных платформах. Перевод доступен в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.
Напомним, Яндекс впервые показал прототип переводчика видео в Яндекс.Браузере в июле 2021 года. Прототип работал с ограниченным числом роликов, но даже в таком виде вызвал большой интерес у пользователей.
