Фильмы будущего будут выполнены в дополненной реальности

Когда речь заходит о повествовании с погружением, люди думают о голограммах, взаимодействии с интерактивными постерами, изображениями, QR кодами и конечно о виртуальной реальности (VR). Дополненная реальности (AR) больше связана с социальным взаимодействием, обучением и симуляциями. Тоже самое можно сказать и о смешанной реальности (MR), например, Microsoft Hololens и характерного для него контента. Пока ещё AR не ассоциируется с мультипликацией, анимацией и съёмкой кино, но появляется всё больше новых концепций, чтобы изменить это. Так, увидев прототип AR фильма, куратор номинации AR Awards на кинофестевале Raindance Мрариа Ракушанова была искренне запечатлена и захотела продемонстрировать его всем присутствующим. Мы поговорим с Дунканом Уокером, основателем Trashgames о его коротком AR-фильме NEST и о том, как он его создал.

Дункан Уокер изучал кинопроизводство, анимацию и визуальные эффекты, а также закончил обучение по специализации программирование, анимация и видеоигры. В новой эре VR и AR все стало взаимосвязано. Творческие миры кинопроизводства и видеоигр становятся одни целым, чтобы привнести новые возможности для взаимодействия со зрителями. Традиционное кинопроизводство, которому требуются персонажи, созданные посредством VFX и CGI (при помощи компьютерной генерации), нуждается в том, чтобы актеры исполняли свои роли в костюмах для захвата движений на фоне зеленых экранов. После чего записанный видеоряд подвергается долгой компьютерной обработке, занимающей месяцы или даже годы, чтобы выпустить окончательный продукт. Метод Уокера позволяет упростить этот процесс с применением AR технологий. Вы сможете снимать цифрового персонажа в реальных местах и управлять его действиями, словно отдавая указания реальному актеру на съёмочной площадке.

Дункан Уокер рассказывает о замене реальных актеров CGI персонажами в реальном времени

Уокер рассказывает, как он отсканировал профессионального танцора Аои Накамуру в 3D формате с помощью фотограмметрии и наложил её лицо на одну из созданных им анимированных виртуальных моделей. Затем он загрузил получившуюся модель, вместе с рядом других, в свой iPhone через ARKit. После чего заснял их в реально существующих местах в реальном времени путем наложения. NEST был создан при помощи объединения сцен, снятых в реальных локациях и виртуальных сцен. В реальных местах Уокер управлял CGI персонажами через панель управления на своем телефоне. Он мог заставить их следовать за ним, смотреть на него или идти в определенном направлении. Виртуальные сцены с другой стороны были заранее смоделированы, но позволяли Уокеру снимать кадры под любым углом и столько раз, сколько ему было нужно.

Дункан объясняет:

«Создание фильма в наши дни очень похоже на создание компьютерной игры. Это 3D-модели, анимация и не так уж много действий в реальном мире. С тем, как это делаю я, это практически не отличается от создания игры. По сути, я делаю игру, создавая игровых персонажей, а потом превращаю её в фильм.»

В настоящее время цифровые персонажи умеют выполнять действия, но не могут эмоционировать — так что мы ещё не достигли эффекта «Зловещей долины». Однако с развитием машинного обучения и искусственного интеллекта, Уокер уверен, что мы не так далеко от CGI персонажей, которые смогут реагировать на голос и взаимодействовать с объектами на съёмочной сцене. Он считает, что в будущем цифровой персонаж сможет взаимодействовать с реальным актером на съёмочной площадке. Подобно тому, как автономные автомобили могут сканировать окружение и принимать решения на основе полученных данных. Уокер объясняет, что персонаж знает и может столько, сколько позволяет ему ваш телефон, что довольно много в наши дни. Он надеется, что программное обеспечение для анализа изображений на iPhone позволит осуществлять обработку изображений в реальном времени, что сделает конечный продукт значительно лучше, а производство еще более быстрым.

AR-фильмы начинают наступать

Сейчас итоговую анимацию загружают на традиционные 2D платформы, такие как YouTube, показывают в кино или на телевидении. Это все равно остается 2D-фильмом, но Уокер предполагает, что в дальнейшем пользователи смогут загружать специальное приложение на свои телефоны и смотреть фильм или некую анимацию прям там, где они находятся. Профессиональные создатели фильмов могут заметить нечто странное, просматривая NEST, увидев моменты, которые они реализовали бы иначе и другим способом, но для людей неопытных будет невероятным, что фильм, который они видят был снят при помощи телефона на реальных улицах Лондона.

Уокер надеется продолжить снимать фильмы при помощи AR технологии и потенциально создать инструментарий, который позволит кинематографистам снимать свои собственные AR фильмы. Посмотреть работы Дункана можно на его веб-сайте. Потенциально инструментарий для создания фильмов от Уокера, если он сможет получить финансирование, а затем выпустит свой продукт для сообщества, позволит среднему пользователю телефона создавать свои собственные видео-фильмы с CGI персонажами. NEST является одним из первых примеров потенциала для будущего создания видео и 3D контента с использованием новых технологий.