Издание РБК проверило, как работает сервис "Яндекса" на нескольких известных киноцитатах. Иногда результат странный.
Перевод происходит в несколько этапов. Оригинальная дорожка приглушается и на нее накладывается новая. Услуга доступна в браузере и мобильном приложении, сообщает РБК.
Для перевода используются два голоса: для мужских голосов — мужской, для женских — женский (голосовой помощник Алиса).
Перевод доступен в "Яндекс.Браузере" для операционных систем Windows, macOS, Linux и Android, а также в приложении «Яндекс» Android и iOS.
Перевод происходит в несколько этапов. Сначала "Яндекс" распознает речь, превращает ее в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети.
Чтобы посмотреть видео в русской озвучке, пользователю необходимо нажать на кнопку в плеере и подождать какое-то время. Процесс перевода занимает несколько минут, после чего юзеру придет уведомление.
Схожие технологии разрабатывают несколько зарубежных стартапов. Так, в конце июня сервис видеозвонков Zoom купил немецкий стартап Kites, который создает субтитры на других языках в режиме реального времени. Как заявили в Kites, технология, основанная на искусственном интеллекте, позволяет отображать стенограмму до того, как говорящий завершит предложение.
Видео: РБК
Фото: Владислав Шатило / РБК