Сбер представил технологию быстрой синхронизации губ аватара с речью человека

Не так давно Лаборатория виртуальной реальности Сбера показала альфа-версию своего нового сервиса Digital Avatars. Он интересен тем, что может по звуковому файлу, в котором есть запись речи человека создать синхронную лицевую анимацию трехмерного аватара.

На данный момент функционал Digital Avatars создает лицевую анимацию для аватаров, совместимых с ARKit FACS-блендшейпами. Руководитель проекта прокомментировал процесс работы сервиса для Голографики: ”В целом, всё просто. Вы записываете или генерируете звук с помощью любых сервисов. Потом загружаете дорожку в .wav на digitalavatars.ru и через 15 секунд получаете файл, который можно загружать в 3D-редакторы, и губы аватара синхронизируются со звуковой дорожкой.”

Пример анимации, сделанный сервисом по словам Козлова за 10 секунд:

Зарегистрировавшись на альфа-тест, желающий принять участие получит доступ к плагину и возможность импортировать анимации в Unreal Engine, Unity3d, Maya и Blender, а также возможность выбирать эмоции персонажа и видео при установке и импорте анимации. В комплекте с плагинами прилагается пример 3D-аватара с лицевым скелетом.

На данный момент команда проекта интересуется потребностями разработчиков в различных вариантах применения плагина: играх, CG-рендерах виртуальных инфлюенсеров, а также образовательных решениях виртуальной реальности, предлагая делиться результатами и задавать вопросы в Telegram-канале DigitalAvatarsBot. Целью тестирования ставится изучение потребностей пользователей для последующей доработки продукта.

Комментарии

You must log in to post a comment