Google научится воспроизводить лицо пользователя во время использования VR

Как вы знаете, мы большие фанаты виртуальной реальности. И нам хочется делиться этим с другими, приобщать к виртуальной реальности тех, кто пока с ней незнаком. Но порой трудно объяснить, что именно испытывает пользователь в шлеме виртуальной реальности, ведь мы не видим его лица под шлемом. Google собирается решить эту проблему. 

Чтобы быть в курсе всех новостей о VR, подписывайтесь на наш Telegram!

Стартапы вроде Owlchemy Labs или LIV пытаются сделать этот процесс захвата погружения в виртуальную и дополненную реальность проще, довести всё это до максимально качественного изображения. Однако пока всё это не так уж просто реализовать и на этом пути есть не одна трудность, которую предстоит решить.

Также для того, чтобы показывать людям, как пользователь чувствует себя в виртуальной реальности, нужно демонстрировать самого пользователя. А какой в этом толк, если самая выразительная и эмоциональная часть его тела – лицо – обычно скрыта устройством для виртуальной реальности? Вы вряд ли способны себе представить выражения лиц пользователей в то время, как они взаимодействуют с виртуальным миром.

И вот этой проблемой решили заняться сами разработчики из Google. Компания решила придумать способ, который позволит изучить эмоции и выражения лиц во время погружения в виртуальную реальность. Технология захвата пользовательского опыта будет выведена на новый уровень, считают в Google.

Для этого разработчики собираются использовать несколько технологий, включая модифицированный шлем виртуальной реальности HTC Vive и систему отслеживания взгляда SMI. С помощью этих систем Google будет воспроизводить выражение лица пользователя в то время, как устройства блокируют его для взгляда постороннего.

Этим занимаются совместно разработчики из Research, Daydream Labs и команды YouTube.

Основная идея заключается в том, чтобы использовать трёхмерную модель лица пользователя с целью «достраивать» невидимую, скрытую часть лица. Эта модель будет синтезировать лицо в видео, создавать выражения и гримасы, которые скрывает шлем виртуальной реальности. В первую очередь, мы будем фиксировать персональную трёхмерную модель лица пользователя, которая затем будет синтезироваться. Синтез будет происходить при использовании цвета и глубины, специальной камеры и монитора, отслеживающим маркером будет перемещение и движение взгляда. Всего этого достаточно будет для того, чтобы меньше чем за минуту получить трёхмерную модель пользователя, получить целую базу данных его выражений лиц.

Этот опыт, считают в Google, будет полезен для развития коммуникации, общения, видеоконференций и онлайн-встреч, игр в виртуальной реальности в режиме мультиплеера, демонстрацией своего игрового опыта друзьям и близким, блогерства.