Технологии iPhone X можно использовать для быстрого и простого захвата мимики лица

Может ли iPhone X стать быстрой, дешевой и простой системой захвата лица? Кори Страссбургер (Cory Strassburger) из Kite & Lightning получил свой новенький iPhone X от Apple около месяца назад и сразу начал тестировать программное обеспечение, работающее с камерой TrueDepth и ARKit. Разработчик задался вопросом: можно ли устройство использовать для игр и для кинематографического контента?

Студия Kite & Lightning была ранним новатором с наборами инструментов Oculus VR и создала потрясающие впечатления, такие как Senza Peso, которые использовали некоторые захватывающие человеческие эмоции, которые были зафиксированы новыми технологиями. Теперь студия работает над игрой Bebylon Battle Royale. Как мы рассказывали ранее, сюжет игры вращается вокруг «детишек» персонажей, которые перестали стареть и заменяют себя огромными роботами. Компания стремится оживить этих аватаров-роботов, чтобы они выглядели максимально анимированными и реалистичными. И может ли в этом помочь система захвата лица iPhone X?

Страссбургер заявил:

«Думаю, мой основной вывод на данный момент заключается в том, что полученные данные захвата изображения, поступающие с iPhone X, являются достаточно тонкими, стабильными и не слишком сглаженными. На самом деле он улавливает очень тонкие движения, даже небольшие подергивания, причём делает это достаточно чисто (без шума). Такую систему вполне можно использовать прямо из телефона, в зависимости от ваших стандартов, конечно».

Он считает, что система iPhone X представляет собой жизнеспособный метод относительно недорогого захвата лица. Кроме того, важно то, что система мобильна, она упростит настройку и расшаривание контента.

В своё время, как мы знаем, Apple приобрела компанию Faceshift, которая, похоже, обладала на тот момент большей частью этой функциональности. Несмотря на то, что, Страссбургер отмечает, решение Faceshift имеет другие интересные функции, существующая система позволяет добиться приемлемой выразительности, используя то, что Apple выпустила с iPhone X. Эта технология может оказаться очень полезной для виртуальной реальности.

Процесс захвата

Вот процесс захвата лица iPhone X и использования его для анимации выражений персонажа в приложении Maya, который описывает Страссбургер:

  • Используя Apple ARKit и Unity, он импортировал незавершенный персонаж из игры Bebylon и привязал его фигуру к выражению лица к данным захвата лица, которые выводит ARKit. Это позволило ему управлять анимацией лица ребенка на основе его собственных выражений.
  • Ему нужно было записать данные этого выражения, чтобы импортировать его в Maya. Он добавил функцию записи, чтобы передать данные выражения лица в текстовый файл. Это сохраняется локально на самом iPhone. Каждый запуск и остановка приложения становятся отдельным текстовым файлом и могут быть названы/переименованы в приложение для захвата.
  • После он скопировал текстовые файлы с iPhone X на рабочий стол через USB.
  • Захваченные данные необходимо переформатировать для импорта в Maya, поэтому он написал для этого простое настольное приложение. Оно принимает выбранный текстовый файл или файлы и преобразует их в файлы Maya .anim.
  • После он импортировал файл .anim в Maya. И вот – готово. Ваш персонаж имитирует то, что вы видели на iPhone во время захвата изображения вашего лица.

По словам Страссбургера, он заметил, что в данных отобразилось несколько незначительных сбоев, и он считает, что его код, вероятно, был неидеальным. Кроме того, хотя захват происходит со скоростью 60 fps, в настоящее время процесс захвата обрабатывается в 30 fps, поэтому вы можете заметить потерю качества изображения.

«Настоящая красота этой системы в том, что это невероятно быстро и легко делать (прямо на вашем телефоне), а затем импортировать это в Maya или прямо в игровой движок.

В любой момент, практически без всякой реальной трудной обработки. Данные кажутся достаточно чистыми и получаются прямо из телефона».

Следующие шаги

Страссбургер надеется прикрепить iPhone X к шлему, а затем использовать костюм Xsens для одновременного движения тела и лица. Тогда анимированные персонажи его игры будут выглядеть практическими живыми.

По такому же принципу систему нового устройства могут начать использовать и другие разработчики, что будет невероятно полезным для развития мобильной виртуальной реальности.