Как использовать HoloLens для захвата движений в реальном времени

Технологии захвата движения (motion capture, или MoCap) уже давно используются в кино и игровой индустрии. В основном для этих целей используется маркерная система: актер надевает костюм с несколькими маркерами, движения которых фиксируют специальные камеры. На основе этих данных создается трехмерная модель, которую можно превратить в любое существо: от дракона в «Игре престолов» до хоббита Горлума из «Властелина колец». Однако новый проект от MoCap-специалиста Джаспера Брекельманса показывает, как можно делать то же самое, но в режиме реального времени, используя очки HoloLens.

Экспериментируя с HoloLens, Джаспер Брекельманс (Jasper Brekelmans) нашел способ, который позволит режиссерам и исполнителям увидеть, как цифровое изображение накладывается на настоящее в режиме реального времени.

На данный момент Брекельманс работает с организацией, называющей себя The WholoDance project, деятельность которой посвящена исследованию искусства танца с применением цифровых технологий захвата движения. Сотрудничая с Motek Entertainment, которая оказывает команде аппаратную и консультационную поддержку, Брекельманс создал способ беспроводной передачи данных с камер OptiTrack, которые следят за маркерами на костюме танцора, непосредственно в HoloLens.

Основываясь на полученной информации, AR-очки преобразуют эти данные в движения виртуальной модели, которую в дополненной реальности можно разместить «поверх» человека в режиме реального времени. Для этих целей Брекельманс использовал один из продуктов компании Autodesk — решение для создания анимации в режиме реального времени MotionBuilder, которым в свое время пользовалась команда Джеймса Кемерона для создания героев картины «Аватар».

«Первое, что мы заметили, когда дали HoloLens танцорам, это то, что они были словно загипнотизированы, — рассказывает Брекельманс. — Сразу после этого они тут же начали анализировать их собственное выступление, поступая так же, как профессиональные атлеты. Разглядывая со всех сторон полноразмерную 3D-модель, становятся более понятными нюансы, связанные с движением бедер или ног, нежели про просмотре того же самого на обычном 2D-экране«.

Для управления и наблюдения за своим «аватаром» в дополненной реальности танцоры использовали контроллер консоли Xbox, который позволил обеспечить доступ к широкому перечню настроек и опций, нежели обычные голосовые команды и жесты, применяемые при работе с HoloLens.

1

«Несмотря на то, что очки HoloLens предназначены для создания голограмм, находящихся на удалении от пользователя, мы также экспериментировали с ними, когда они были надеты на голову танцора во время отслеживания движений, — уточнил исследователь. — Это позволило танцору видеть графическое изображение, накладываемое поверх его собственных рук и ног. Технология не слишком хорошо подходит для этих целей (пока что), однако она дала нам возможность поэкспериментировать и подумать над новыми идеями на будущее«.