Яндекс добавил в свой браузер уникальную технологию автоматического закадрового перевода прямых трансляций на YouTube. Анонсы долгожданных новинок IT-индустрии, интервью со знаменитостями и вдохновляющие онлайн-трансляции космических запусков теперь будут доступны на русском языке в режиме реального времени.
Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров. Пока технология работает в режиме открытого бета-тестирования — для перевода трансляций на YouTube-каналах из плейлиста.
Дмитрий Тимко, руководитель приложения Яндекс и Яндекс Браузера:
«Мы продолжаем совершенствовать технологии, которые помогают стирать языковые границы в интернете. Например, за 10 месяцев с момента появления в Яндекс Браузере закадрового перевода, пользователи посмотрели 81 млн видеороликов, используя эту технологию. Потом мы взялись за субтитры, а теперь пришло и время перевода лайвов. Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие».
Закадровый перевод потокового видео — невероятно сложная инженерная задача. С одной стороны, для качественного перевода иностранной речи очень важен контекст, так как в разных ситуациях одно и то же слово может иметь разные значения — для этого желательно «отдать» нейросети как можно больше текста за один раз. Однако при работе с потоковым сценарием важна минимальная задержка, а это значит, что переводить нужно моментально — ждать, пока спикер закончит формулировать развернутую мысль, просто нет времени. Нейросети выступают в роли синхронного переводчика, который начинает переводить предложение еще до того, как его закончили произносить.
Узнать подробнее, как работает технология, можно в блоге Яндекса на Хабре.
