«Криминальное чтиво» может оказаться прямо у вас в комнате

Вы когда-нибудь хотели танцевать вместе с Джоном Траволтой и Умой Турман в той самой сцене из культового фильма «Криминальное чтиво» Квентина Тарантино? Новое приложение дополненной реальности Volume может в один прекрасный день реализовать это ваше желание с лёгкостью.

Volume – это новый пользовательский опыт. Он был создан разработчиками О Флейшером (Or Fleisher) и Ширином Анленом (Shirin Anlen). Программа способна распознавать 2D изображения в фильмах и проектировать их в 3D пространстве. Например, в случае с фильмом «Криминальное чтиво» он может «отрезать» задний фон сцены вокруг актеров и проектировать только ту часть изображения, на которой персонажи танцуют. И изображение можно проецировать так, чтобы они танцевали прямо в гостиной пользователя. Взгляните ниже на видео, это интересно.

В целом, мы всё же хотели бы отметить, что проект находится на ранней стадии разработки. Конечно, процесс несколько глючит. Но представьте, как это могло бы выглядеть, если бы вы смогли с точностью перенести Дарта Вейдера, Голлума или Индиану Джонса прямо в вашу гостиную.

О Флейшер пояснил:

«Наш эксперимент с фильмом «Криминальное чтиво» позволяет пользователям входить в выбранную ими сцену фильма в дополненной реальности, используя инфраструктуру ARKit от Apple на iPad. Этот эксперимент является одним из немногих, которые мы проводим в настоящий момент. Это иллюстрирует способность реконструировать 3D сцены из 2D изображений. Возможности реконструировать архивные и статические кадры в 3D среде являются одной из основных мотивов развития инструмента, используемого для создания этих экспериментов, под названием Volume».

Система будет обучаться и становиться умнее

Система использует машинное обучение для прогнозирования глубины из одного только изображения. Она использует сверхточную нейронную сеть для фильтрации изображения с соответствующей глубиной.

Прямо сейчас Volume разрабатывается как веб-приложение. Позже оно будет поддерживать платформы виртуальной и дополненной реальности.

«Вся наша инфраструктура машинного обучения основана на инструменте искусственного интеллекта Tensorflow от Google. Мы применяем посторонние соображения в сложной и разветвлённой области машинного обучения. Наш подход больше обусловлен кинематографическим и визуальным рассказом, чем математической логикой восстановления трёхмерных миров. Мы считаем, что этот подход принесет пользу этому инструменту и приведет к новому творческому способу понимания проблем».