Наш конёк — дополненная реальность онлайн. Интервью с AR Shift

Наше сегодняшнее интервью посвящено компании AR Shift. Её основатели – Янош Амстуц (Janosch Amstutz) и Павел Абдурахимов – рассказали нам о двух основных проектах компании – системе объемного захвата для трансляции в VR и AR через интернет, и «умной» системе отслеживания движений.

Дима: Привет, Янош. Для начала представься, пожалуйста, для наших читателей.

8

Янош Амстуц

Янош: Привет, Дима. Меня зовут Янош, я из Швейцарии, жил там восемь лет, а до этого в Австралии. Я из commodities industry. Я решил, что в 35 я не хочу быть в commodities, хочу сделать что-то еще, вот почему я здесь. Два года назад на выставке Augmented World Expo 2014 я встретил Павла, и 18 месяцев назад мы основали AR Shift.

Дима: К тому моменту ты уже интересовался AR?

Янош: Да, мы общались до этого и мы встречались в США в Кремниевой долине. Если ты хочешь основать технологическую компанию, то это лучшее место, чтобы встретиться и обменяться идеями, что и случилось в июне 2014.

Мы поехали на выставку, как и многие, в рамках исследовательского проекта, потому что на тот момент эта выставка была и остается до сих пор самым большим собранием компаний, которые интересовались дополненной реальностью.

Поэтому мы поехали посмотреть, что делают остальные компании. И, в основном, то, что мы увидели, было разочаровывающим. Так что мы были уверены — это пространство, связанное с дополненное реальностью — это хорошее пространство, чтобы им заняться, потому что остается много свободного места для хороших технологий.

Дима: Вы можете рассказать, чем вы были вдохновлены, как родилась эта технология?

9

Павел Абдурахимов

Павел: Я на это отвечу. Я русский, из Москвы. Около шести лет назад мой отец сказал мне исследовать рынок будущего, в который есть смысл инвестировать. Я пришел к идее нейроинтерфейсов. Я обнаружил, что технологии нейроинтерфейсов наиболее обещающие для инвестирования в будущем.

И я подумал, что когда нейроинтерфесы будут интегрированы в наш мозг, то мы будем воспринимать реальность с помощью компьютерных систем. Мы захотим интегрировать визуальную информацию в наше зрение. И это будет работать так же, как дополненная реальность в наши дни. Не важно, если ты видишь контент в AR-очках или ты получаешь её прямо в мозг – ты увидишь одно и то же.

Была идея начать работать с дополненной реальностью, так что когда через 10 или 20 лет, когда появятся технологии нейроинтерфейсов, мы будем готовы принять в этом участие. Поэтому я начал работать в этом направлении, через три года встретил Яноша, и вот мы здесь.

Дима: Чем ты занимался эти три года?

Павел: Я начал работать интерном в компании, занимающейся разработками для мобильных устройств. Они начали заниматься дополненной реальностью еще в 2012 году. Но потом они, правда, прекратили это делать. Затем я устроился в компанию Polonium Arts, где сделал свой первый успешный проект для «Росатом». Потом я ушел в одну из самых больших студий в России, занимающуюся дополненной реальностью – Play Display. Затем мы с Яношем основали AR Shift, где к нам присоединился наш технический директор.

Дима: Расскажите подробнее про эту технологию. Что вы от нее ожидаете, что она будут делать в будущем?

Янош: Её главная задача – объемный захват человека с неограниченным углом обзора (FOV), и это фундаментально изменит образ того, как люди смотрят передачи в прямом эфире. Они будут обеспечивать более полный эффект погружения. Например, ты будешь смотреть матч по боксу не просто на плоском ТВ, а бокс будет в твоей гостиной, ты можешь обойти вокруг боксеров и увидеть другую сторону ринга.

С точки зрения использования, сейчас каждый проект, который записывается, может быть транслирован в дополненную реальность – это онлайн-обучение, где учители могут быть онлайн для общения с учениками по всему миру, новости, спорт, образование и медицинские процедуры.

Также очень здорово то, что сейчас началась большая шумиха вокруг 360-видео.

360-видео – это взгляд от первого лица на мир, и что особенно радует, это комбинирование наших технологий с таким видео. Возвращаясь к примеру с боксом, если ты смотришь матч, ты можешь ходить по рингу, ты можешь уклоняться от ударов, и в то же время 360-видео позволит тебе оглянуться и увидеть всех зрителей на стадионе. Это основная цель нашего проекта.

7

У нас есть программное обеспечение Joint Tracking System – система отслеживания движений человека. Мы можем отслеживать движения всех суставов человека с использованием камер и применять эти данные, чтобы, например, создавать аватары. В общем, у нас много дополнительных проектов, которые преследуют основную цель – объемная система захвата. Это очень интересная ниша.

Дима: Насколько велика ваша компания? Сколько вы уже потратили денег, если это не секрет, и сколько времени у вас ушло на создание прототипа?

Янош: Наша команда состоит из шести человек, и еще мы хотим нанять троих до конца года. Насчет денег – по сравнению с остальными проектами, например, Microsoft Holoportation, мы потратили немного. Мы ищем финансирование, у нас уже есть стабильно функционирующий прототип. Самый главный момент в работе с этими технологиями – это время. Быть первыми, кто сделает релиз – это всё.

Скоро мы летим в Лондон, где я продемонстрирую наши разработки людям из большого европейского бизнеса. Не могу сказать, кому именно.

Дима: Что насчет времени, сколько заняло создание прототипа?

Янош: Около девяти месяцев. Система трекинга уже готова и функционирует, так что на рынке наш продукт появится в этом декабре.

Позже мы выпустим продукт для записи и трансляции 3D видео. Вообще есть большая разница между записанным 3D видео и 3D видео в режиме реального времени. Смешанная реальность – это записанное видео, с ним намного проще работать в плане вычислений. Мы выпустим этот продукт на рынок через шесть месяцев.

Дима: Интересно. То есть через шесть месяцев вы сможете предоставить технологию уже для потребителей?

Янош: Совершенно верно. Это будет технология для создания объемных записей с постобработкой.

11

Дима: Этой технологии понадобится какое-то пользовательское устройство, так? Это самая главная проблема всех технологий: у потребителей нет устройства.

Янош: И да, и нет. Проблема технологий требует от потребителей менять их аппаратное обеспечение, что в большинстве случаев будет дорого. Но не в нашем случае. Мы используем камеры Microsoft Kinect v2 за 130 долларов (в будущем добавим поддержку других устройств).

Дима: Если говорить о вашем будущем продукте, что это будет? Видео?

Янош: Наш будущий продукт – это софт для создания объемного захвата и трансляций. Мы не хотим создавать наш собственный контент, мы занимаемся только программным обеспечением и поддержкой. Например, когда Sony представила свой видеомагнитофон, они сами ничего не снимали. Они представили его бизнесу, потребителям и сказали: вот вам инструмент, творите. Так и мы – мы предлагаем инструмент.

Дима: Сколько продуктов вы сможете продать или распространить? Потому что в мире только 2% людей, которые даже не владеют, а просто пробовали VR.

Янош: 2% – это много. Если ты первый в мире, кто занимается системой объемного захвата, то это много.

Павел: И мы не требуем от наших потребителей, чтобы они покупали какое-то новое устройство. Ты можешь посмотреть это на обычном телевизоре. В основном это сделано для смартфонов и ПК, так что тебе ничего и не понадобится. Если ты производитель контента, то покупка нескольких Kinect и ноутбуков не станет чем-то таким, что ты не сможешь позволить. Некоторые покупают камеры за десятки тысяч долларов для создания контента. Наша система гораздо более дешевая по сравнению с такими камерами.

Янош: Создатели контента всё время ищут новые способы для его продажи. Например, много лет спорт был бесплатным: футбол, бокс, хоккей и так далее. Те, кто занимаются трансляциями, были очень воодушевлены тем, что люди за это будут платить. Это очень сложно, учитывая, что всё это было бесплатно долгие годы. Так что делая интерактивный канал, где можно менять вид с камеры, где можно смотреть статистику игроков, этого будет достаточно, чтобы потребители платили.

aida-arshift-tracking-800x450

Дима: Что создатели контента говорят об этой технологии, какое их мнение?

Янош: Когда это появится на рынке, то это будет очень круто.

Дима: Значит, с одной стороны, тебе нужно, чтобы создатели контента создавали хороший контент для потребителей, а с другой – тебе нужна большая потребительская база.

Янош: Мы разговаривали с тремя разными транслирующими компаниями с большими клиентскими базами, и у которых уже есть контент.

Дима: Что у вас уже есть на данный момент?

Янош: Скоро состоится наша презентация в Лондоне, где будут очень интересные люди, в том числе бизнес-ангелы. У нас есть презентация, у нас есть готовое программное обеспечение для трекинга движений человека. И у нас есть продолжительная и трудная работа нашей команды по созданию этой технологии системы объемного захвата.

Дима: Расскажи, пожалуйста, про конкурентов.

Янош: Их не так много, если честно. Есть много компаний, которые двигаются в том же направлении, но основные технологии в корне отличаются. Например, есть компания 8i, которая использует большое количество очень дорогих камер Red. И они даже не могут работать в прямом эфире. При этом их камеры будут закрывать зрителям весь вид на том же боксерском ринге, в отличие от наших камер.

Так что нашим единственным по-настоящему интересным конкурентом является Microsoft. Они сделали исследовательский проект, где они смогут делать трансляции в реальном времени с постобработкой.

Павел: это называется Holoportation. Они показали это по интернету, хотя пока что нет никаких доказательств. Это выглядело потрясающе, но они использовали очень сложную систему кастомных камер.

3

Янош: Их команда состоит из 18-20 человек, которые работают над этим два года. Они показали их технологию в марте. И то, что они показали в марте, это примерно то, что у нас есть сейчас. У нас была команда из трех человек, так что с точки зрения наших способностей я думаю, что мы справляемся хорошо.

Может быть Microsoft придет к цели первой. Главное то, что Microsoft может придержать свою технологию, чтобы продвинуть продажи их оборудования. Мы думаем, что Microsoft придержит эти технологии из-за HoloLens, потому что они потратили на эти очки много денег.

Павел: И мы думаем, что Microsoft определенно будет позиционировать эту систему для работы только с HoloLens.

Янош: Мы думаем, что наш продукт также будет конкурировать с продуктом Microsoft, который использует специальные кастомные камеры, которых нет на рынке. Наше «железо» в восемь раз дешевле, так что наш барьер для рынка намного ниже.

Павел: Да, к тому же мы более гибкие. Мы можем работать с любой техникой, с любыми компаниями.

Дима: Что вы думаете о NextVR?

Янош: Я думаю, что это фантастика. Причина, почему я так думаю, не потому, что они наши конкуренты. Они создали отличный новый способ для съемок разных мероприятий, а наша технология дополняет их технологию. Как я говорил в самом начале, если бы NextVR использовала наши технологии, то зритель мог бы прогуляться по рингу или постоять под баскетбольной корзиной.

Дима: Чтобы постоять под корзиной, нужна система, которая будет захватывать само поле. Я думаю, что это будет очень дорого для потребителей. Какая будет цена вашего решения?

Янош: Это будет зависеть от тех, кто будет транслировать. А в целом, мы можем сделать наше решение очень дешевым, используя самые обычные камеры.

Дима: Вы будете продавать это в виде набора устройств? Или вы не хотите продавать аппаратное обеспечение?

Янош: Да, мы не хотим. Мы можем продавать наборы, но я не думаю, что это необходимо.

Павел: Думаю, это будет зависеть от требований. Если клиент захочет, чтобы мы сделали пакет plug-and-play, то почему бы и нет. Но клиент может использовать свои устройства.

2

Дима: Кто ваш клиент? Это какой-то человек, который сидит у себя дома?

Янош: Наш клиент – это создатель контента. Например, такой, как HBO.

Дима: То есть мы говорим о том, что создатель контента будет обеспечивать потребителя контентом через телевизор, так? Я просто пытаюсь понять: это же 2D, здесь нет 360-видео.

Павел: Мы планируем внедрить поддержку наших технологий в такие устройства, как Chromecast или Apple TV. Мы еще не пришли к этому, но обязательно придем. У Apple TV есть пульт с тачпадом, и ты можешь контролировать 3D сцену при помощи пульта.

Дима: Я понимаю, но если я хочу погрузиться в виртуальную реальность, а у меня только 2D телевизор? Вот смотрите: как клиент, что я увижу? У меня есть телевизор, и создатель контента, услугами которого я пользуюсь, работает с вашими технологиями. Как это будет выглядеть в итоге? Как я буду это контролировать?

Янош: Это не работает с обычными телевизорами. Ты просто ходишь по своей комнате, как по рингу, используя очки виртуальной или дополненной реальности, смартфон или планшет. И если у тебя есть такая возможность, ты можешь обойти вокруг боксеров и посмотреть, что там, с другой стороны. Но, конечно, самым лучшим способом было бы использовать очки дополненной реальности, хотя на данный момент таких устройств пока что нет.

Однако, как я уже сказал, нам надо шесть месяцев для доработки решения для записанного видео, и двенадцать – для трансляций в режиме реального времени. Так что за это время те ребята смогут произвести аппаратные решения.

Дима: Как наши читатели могут попробовать наши технологии?

Янош: Пока что никак. Если, конечно, они не решат проинвестировать нас =) У нас пока что нет законченного продукта.

6

Дима: Хорошо, я понял. И в завершении интервью хочу задать пару простых вопросов. Что воодушевляет вас каждый день работать над вашим проектом?

Павел: Как я уже говорил, человечество меняется, и эти технологии заменят большинство аспектов нашей жизни, связанных с визуализацией. Через 20-30 лет мы будем жить в мире дополненной реальности.

Янош: Есть много людей, которые не хотят прихода дополненной реальности. Я думаю, что они просто не понимают, что дополненная реальность может дать миру. Это не просто просмотр спортивного мероприятия с разных углов, не просто 3D-модели. Дополненная реальность даст то, что раньше нам было недоступно.

Павел: Я бы хотел добавить, что интернет вещей тоже прогрессирует очень быстро, и дополненная реальность – это лучший способ для взаимодействия с такими устройствами. Например, когда ты идешь по улице, ты можешь увидеть разную информацию по мере того, как ты подходишь к этим вещам. И ты можешь взаимодействовать с ними голосовыми командами или жестами – ты сможешь открыть двери, или получить информацию о температуре, когда ты в отеле, и так далее.

Дима: Янош, Павел, большое спасибо за интервью. Мы обязательно напишем про ваш новый продукт, который выйдет в декабре, и будем следить за вашими дальнейшими разработками. Счастливо!

5