Что такое виртуальная реальность?

Текущий 2016 год многие из тех, кто имеет отношение к компьютерному миру, называют годом виртуальной реальности. И надо сказать, что у них есть полное право так говорить: стремительное развитие современных технологий позволило виртуальной реальности проникнуть во многие отрасли человеческой деятельности: от компьютерных игр до космоса, от образования до использования в военных целях.

Однако несмотря на обилие информации, многое до сих пор остается непонятным. Что же такое современная виртуальная реальность? Что представляет собой дополненная реальность и отличаются ли они друг от друга, или это синонимы? Что такое Oculus Rift и HTC Vive, почему они так дорого стоят и чем отличаются от шлемов Samsung Gear VR и Fibrum? Правда ли, что в виртуальной реальности нельзя провести больше пяти минут, потому что потом начинает кружиться голова?

Одним словом, мы решили положить конец этой информационной неразберихе и предложить вам цикл материалов. В них мы будем последовательно и без заумных слов изучать виртуальную и другие цифровые реальности и всё, что с ними связано.

С чего всё начиналось. Стереоэффект.

Мы не будем приводить скучные энциклопедические сведения и напоминать, в каком именно году некий профессор американского университета изобрел микросхему, которая за 30, а то и 50 лет исследований и доработок превратилась в современный шлем виртуальной реальности. Отметим лишь, что история виртуальной реальности началась давно и богата разными открытиями и интересными прототипами.

351fb0459e7ee7ab5d59e99ec98901b6

1968 год. Система «Дамоклов меч»

Мы обязательно вернемся к этому в следующих материалах, но пока что для нас важны ключевые особенности, которые позволили цифровому, искусственному, виртуальному миру стать не просто картинкой на экране, а именно «реальностью». Первая особенность – это визуальный, то есть зрительный стереоэффект, который используется для создания стереоизображения.

Суть его заключается в том, что наши глаза, правый и левый, видят каждый свою картинку. Они немного отличаются друг от друга, поэтому в целом создается впечатление того, что перед нами объемное изображение. Стереоэффект хорошо знаком каждому, кто хоть раз бывал в современном кинотеатре на просмотре 3D-картины. Поэтому первое, что мы увидим, надев на голову шлем виртуальной реальности – две картинки, каждая для своего глаза.

maxresdefault

Телевизор повторяет те изображения, которые мы видим в очках. Видно, что изображения немного отличаются друг от друга.

Для большей реалистичности изображение на экране должно охватывать всё поле нашего зрения, поэтому все шлемы снабжаются линзами. С их помощью даже дисплей небольшого смартфона увеличивается до размеров огромного экрана. При этом создается впечатление, что он находится перед нами на расстоянии нескольких метров – настоящий домашний кинотеатр.

Однако стереоэффект – не единственное обязательное условие для погружения в виртуальную реальность. Не менее важна такая составляющая, как эффект присутствия.

Эффект присутствия

Что такое эффект присутствия, можно догадаться из самого названия этого термина. Он означает, что мы ощущаем себя там, мы присутствуем в виртуальной реальности и можем на неё воздействовать. Мы можем повернуть голову и осмотреться, можем шагнуть в своей комнате – и этот шаг будет сделан там.

LeapMotion

Отслеживание движений кистей и пальцев рук при помощи устройства The Leap

Этот эффект достигается за счет применения сложной системы отслеживания движений и пока что остается уделом дорогих шлемов виртуальной реальности. Но в целом суть работы этой системы довольно проста, что мы и продемонстрируем на примере шлема HTC Vive.

И шлем, и контроллеры HTC Vive оснащены большим количеством фотодиодов – крохотных приборов, которые могут преобразовывать энергию света в электрическую энергию. С работой фотодиодов мы сталкиваемся ежедневно, хотя даже не задумываемся об этом. Простейший пример – датчик освещения в смартфоне. Фотодиод «чувствует», сколько света на него падает, и должным образом регулирует яркость подсветки экрана.

awZXErmsaWwfaXBC

Шлем HTC Vive в полуразобранном состоянии. Небольшие черные прямоугольники — фотодиоды.

По схожему принципу определяется и местоположение шлема в пространстве. В комплекте со шлемом поставляются две базовые станции. Через небольшие промежутки времени каждая станция испускает два лазерных луча – по горизонтали и вертикали. Лучи пронизывают комнату и находят фотодиоды на шлеме и контроллерах. Фотодиоды срабатывают, происходит мгновенный обмен информацией и путем сложных, но быстрых вычислений устанавливается точное, вплоть до сантиметра, положение и шлема, и контроллеров.

А для лучшего понимания этого процесса предлагаем вам посмотреть короткое видео, созданное одним из фанатов шлема HTC Vive.

Пространственное позиционирование шлема и контроллеров дает нам возможность не только смотреть по сторонам, но и ходить, приседать, наклоняться в виртуальной реальности – при этом мы будем видеть всё так, как будто мы действительно там присутствуем.

К сожалению, недорогие шлемы, использующие смартфоны – Samsung Gear VR, Fibrum и другие – не оснащаются этой возможностью. В них мы можем только осматриваться по сторонам, а для перемещения нашего виртуального «я» вперед-назад используется клавиатура, джойстик и другие устройства.

Виртуальная и дополненная реальности

До сих пор мы в основном упоминали только виртуальную реальность и не говорили о дополненной (англ. augmented reality – AR). Это не синонимы, а совершенно разные технологии. Так, виртуальная реальность является целым искусственным миром, который полностью охватывает наше зрение при помощи экранов шлема. Дополненная реальность является взаимодействием компьютерных эффектов, которые накладываются на настоящую картинку, получаемую при помощи камер.

maxresdefault (1)

Пример дополненной реальности. При наведении камеры на рисунок с определенным маркером на экране устройства возникает трехмерное изображение.

Опять же, самым простым способом знакомства с дополненной реальностью являются наши смартфоны. Многие слышали о приложениях типа «Маскарад» (MSQRD), позволяющих при помощи фронтальной камеры менять лица тех, кто попал в область её зрения, либо накладывать на лицо пользователя разные эффекты. Это тоже дополненная реальность, правда, в очень упрощенном варианте.

msqrd

Дополненная реальность на примере приложения MSQRD

Представьте: вы приходите в магазин, наводите камеру смартфона на любой товар и получаете о нем самую разнообразную информацию, начиная от даты изготовления и заканчивая инструкцией по эксплуатации или отзывами других покупателей. Или будучи в музее, смартфон или планшет предоставит все сведения об интересующем вас предмете искусства.

Однако есть и более серьезные сценарии использования дополненной реальности – в медицине или военной технике, например, в виде отражения важной информации на стекле шлема летчика истребителя, позволяющей сэкономить драгоценные секунды во время воздушного боя.

Iron_Man_Mark_VII_HUD_design_By_Jayse_Hansen_1400

Дополненная реальность в шлеме пилота. Кадр из фильма «Железный человек».

Создание систем дополненной реальности является значительно более сложным и дорогостоящим по сравнению с виртуальной реальностью. На данный момент в продаже нет ни одного полноценного потребительского устройства, несмотря на множество прототипов. Лишь недавно корпорация Microsoft начала поставки очков дополненной реальности HoloLens, однако они стоят $3000 и предназначены только для разработчиков программного обеспечения.

Тем не менее, потенциал дополненной реальности огромен, и многие компании вкладывают значительные суммы в развитие этих технологий. Желая попасть в виртуальную реальность, вы оказываетесь привязаны к компьютеру и не можете выйти из комнаты. А дополненная реальность предлагает куда большую свободу. Каждый продукт в магазине, каждая книга или журнал, знак на дороге, доска настольной игры — буквально всё можно оснастить специальными метками, при виде которой AR-очки или наш вечный спутник смартфон могут предоставить любую информацию.

Дополненная реальность на примере очков компании Leap Magic. Специалисты компании утверждают, что при создании этого видео спецэффекты не использовались.

С другой стороны, виртуальная реальность имеет свои плюсы. Создание виртуального пространства и его объектов не ограничено ничем, кроме, разве что, фантазии разработчика и времени, которое он готов уделить своему проекту. Игры, видео, обучающие программы, виртуальные туры по любому месту мира – всё, что можно изобразить на экране компьютера, можно перенести в виртуальную реальность. А знаете ли вы, сколько стоит создать полноценный макет для обучения летчика того же истребителя или машиниста скоростного поезда? Мы тоже не знаем, но уверены, что очень дорого. А шлем Oculus Rift способен снизить эти затраты в десятки, сотни раз.

Шлемы виртуальной реальности

Наверняка вы не раз слышали о шлемах и гарнитурах виртуальной реальности, да и мы неоднократно использовали эти названия в данном материале. Теперь пришло время познакомиться с ними чуть ближе и узнать, почему одни шлемы стоят так дорого, вторым достаточно лишь смартфона, и какова между ними разница. Чуть позже мы предоставим более обстоятельный материал, где приведем характеристики каждого шлема и подробно расскажем о всех особенностях, а пока что – знакомство.

Для начала напомним вам самые громкие названия, которые вы могли услышать от друзей, в рекламе на ТВ или прочесть в заголовках новостей. Это Oculus Rift [окулус рифт], HTC Vive [эйч-ти-си вайв], PlayStation VR [плейстейшн ви-ар] компании Sony, Samsung Gear VR [джеар ви-ар], Google Cardboard [гугл кардбоард].

Разумеется, мы перечислили далеко не все названия шлемов и можем продолжать еще долго: Fove, StarVR, OSVR, AntVR Kit и так далее. Однако того, что было названо выше, вполне достаточно для понимания общей картины на рынке так называемых VR-устройств (англ. virtual reality – VR).

Для начала уточним, что мы будем использовать два определения: шлем и гарнитура. Также шлем иногда называют HMD-устройством, что является аббревиатурой от Head Mounted Display – дисплей, закрепленный на голове. Как вы уже догадались, к шлемам мы относим те устройства, которые оснащены собственным экраном, одним или двумя. Это Oculus Rift, HTC Vive и PlayStation VR.

Oculus-Rift-3

Это шлем Oculus Rift с интегрированными наушниками

По сути, эти шлемы являются лишь своеобразным монитором, который висит прямо у нас перед глазами. Это корпус, содержащий линзы, дисплеи и набор датчиков для определения положения в пространстве. За всю обработку изображения отвечает персональный компьютер или ноутбук, к которому шлем подключается при помощи нескольких длинных проводов: питание, управление, передача аудио и видео сигнала. Такие шлемы стоят дорого, ведь на их разработку, совершенствование, дизайн было потрачено немало времени, труда и средств.

VR_Web_Product_HMD

А это — HTC Vive. Встроенных наушников здесь нет, зато есть камера.

Разумеется, кое-какие энтузиасты из спортивного интереса и нежелания тратить большую сумму на покупку шлема смогли собрать аналог Oculus Rift. В итоге они получили не такой дорогой, а в некоторых моментах более совершенный вариант, нежели оригинал. Однако одна деталь им оказалась не под силу – воссоздание системы слежения за шлемом. В этом нет ничего удивительного: подобными системами, включая специальное и сложное программное обеспечение, занимаются команды профессионалов, которым доступны любые современные инструменты, а главное – средства, выделяемые крупными компаниями.

Словом, именно по этой причине шлемы виртуальной реальности стоят так дорого. С другой стороны, и предлагают они немало. Возможность перемещаться в виртуальном пространстве, взаимодействовать с ним, практически не чувствуя границ между миром реальным и цифровым, действительно является уникальным опытом как для обычных потребителей, желающих приятно и интересно развлечься, так и для тех, кто использует виртуальную реальность в работе.

Теперь поговорим о гарнитурах. Так мы называем те устройства, где главным компонентом является смартфон. В качестве примера приведем наиболее известные из них: Samsung Gear VR, Fibrum и Google Cardboard. Также часто их называют очками виртуальной реальности.

1434546702_gear-vr-galaxy-s6-s6-edge-samsung-virtual-reality-2

Гарнитура Samsung Gear VR. Смартфон устанавливается на место крышки с логотипом.

Гарнитура, как и шлем, является корпусом. Однако у неё нет ни своего экрана, ни датчиков – ничего. Только корпус, линзы и удерживающие ремни. Как вы уже понимаете, в данном случае и дисплеем, и компьютером, отвечающим за обработку изображения, является смартфон.

Принцип гарнитуры прост. В неё вставляется смартфон с запущенным приложением, к смартфону подключаются наушники и беспроводной пульт управления – джойстик, геймпад, мышь и так далее. Линзы увеличивают экран смартфона и нам кажется, что перед нами находится огромный телевизор. Мы можем вращать головой и осматриваться вокруг. Для этого смартфон должен быть оснащен гироскопом – механизмом для определения изменения ориентации устройства в пространстве. Однако для движения вперед-назад используются отдельные контроллеры.

Гарнитура – наиболее доступный способ побывать в виртуальной реальности. Разумеется, ощущения от её использования будут не такими яркими, однако и разница между затратами на приобретение шлема или гарнитуры очень и очень существенна. В конце концов, для гарнитуры подойдет любой более-менее производительный смартфон, который сейчас есть у многих, тогда как для шлема, и без того недешевого, необходим мощный игровой компьютер. Видео от Samsung, которое мы приводим ниже, дает понять, на что способна такая гарнитура.

Что касается стоимости, то на данный момент Samsung Gear VR можно приобрести за 8 тысяч рублей, а Fibrum – за 3 тысячи рублей. Первая гарнитура является более совершенной и предлагает доступ к магазину приложений партнера компании Samsung — Oculus. Однако она поддерживает только флагманские смартфоны Samsung начиная с модели Galaxy S6. Гарнитура от Fibrum всеядна – сюда можно установить любой смартфон с диагональю экрана от 4 до 6 дюймов и под управлением любой операционной системы.

Кроме того, есть еще и Google Cardboard. Если быть точным, то Cardboard — это не само устройство, а название проекта, эксперимента, созданного специалистами компании Google в свободное от работы время. В его рамках они решили доказать, что для создания гарнитуры хватит обыкновенного картона, сложенного особым образом и дополненного линзами и ремнями для удерживания на голове. Линзы и ремни можно купить отдельно во многих интернет-магазинах, а корпус гарнитуры самостоятельно вырезать из картона, согласно шаблонам, которых в интернете полным-полно.

Google-Cardboard

Самый простой способ оказаться в виртуальной реальности.

Шуточный эксперимент неожиданно превратился в серьезное направление, поддерживаемое многими компаниями, в том числе и самой Google. Это касается и приложений: магазины Google Play и App Store буквально завалены всевозможнейшими предложениями: игры, аттракционы, программы для просмотра видео, путешествия по культовым мировым местам, различные демонстрации и так далее. Многие приложения бесплатны, однако качество большинства из них оставляет желать лучшего.

Можно ли избежать укачивания в виртуальной реальности?

Бытует мнение, что даже после краткого пребывания в виртуальной реальности человек может почувствовать себя плохо: начнется головокружение, тошнота, головная боль, сильно устанут глаза.

Это действительно так, однако всё это осталось в прошлом. Виртуальная реальность – принципиально новая платформа, которую следует тщательно изучать, так как привычные подходы, как оказалось, не срабатывают или срабатывают не так, как хотелось бы разработчику. Но в результате проб и ошибок проблему эффекта укачивания – его также называют motion sickness – удалось разделить на три составляющие: аппаратная часть, программная и индивидуальная.

Первые модели шлема Oculus Rift, предназначенные для разработчиков, были оснащены дисплеями с низким разрешением c малой скоростью обновления изображения и размытием картинки при движении. Кроме того, существовала задержка реакции на поворот головы пользователя, небольшая, но заметная. Это выглядело так: вы уже начали поворачивать голову, а изображение еще какое-то мгновение стоит на месте. И наоборот: голова остановилась, а изображение все еще двигается.

png;base641f104d7918a782f8

Справа — размытое изображение при повороте головы. Слева — проблема решена.

Но в современных моделях эти недостатки устранены. В них установлены дисплеи с высоким разрешением и скоростью обновления изображения, увеличено поле обзора, значительно доработана система так называемого трекинга, то есть отслеживания движений. Кроме того, потребительские версии шлемов Oculus Rift и HTC Vive получилb новые линзы. Все это позволило решить проблему эффекта укачивания, связанную с аппаратными недостатками, хотя работа над улучшениями ведется до сих пор.

Программная составляющая проблемы заключалась в том, что разработчики компьютерных игр подошли к виртуальной реальности со старым багажом знаний. Например, после появления Oculus Rift одним из самых популярных развлечений стала виртуальная поездка на тележке по американским горкам в игре Roller Coaster и её аналогах.

Что видит человек, будучи погруженным в такую игру? Резкие повороты, подъемы и спуски, разгон и торможения. В результате возникает диссонанс, то есть разница ощущений: зрение сообщает мозгу о невероятных кульбитах, в то время вестибулярный аппарат заявляет, что тело находится в состоянии покоя. Что получается в итоге, вы можете увидеть на видео.

Поэтому в современных играх разработчикам пришлось придумать новые способы для перемещения игрока по виртуальному пространству. Отчасти это проблема решена при помощи телепорта: вы показываете место, где хотите оказаться, нажимаете кнопку и мгновенно туда перемещаетесь. Возможно, в некоторых играх это выглядит неправдоподобно, но такой способ работает отлично. Неприятных ощущений – ноль, а перемещаться можно в любую точку.

Кроме телепорта, разработчики могут пойти на некоторые хитрости. Например, в одной игре с детективным уклоном по сюжету главный герой попал в автокатастрофу, после чего может перемещаться, только сидя в инвалидном кресле. В результате настоящий вы, сидя дома в очках перед компьютером, можете безболезненно перемещать своего героя по всему игровому миру.

budget-cuts-3

Пример телепорта из игры Budget Cuts для шлема HTC Vive

Наконец, третья составляющая эффекта укачивания, с которой разработчикам пришлось столкнуться – индивидуальная. Она означает, что кто-то будет с трудом переносить любое движение в виртуальной реальности, каким бы образом оно не было реализовано. Такие люди могут быть более склонны к укачиванию, либо это может быть связано с физиологическими особенностями – заболевание, нарушение координации движений, переутомление и так далее.

Со стороны разработчика игр в виртуальной реальности сложно предусмотреть абсолютно всё, однако с наиболее распространенными случаями они стараются справиться. И если раньше создателю игры приходилось изучать психологию и социологию, то теперь ко всему прочему ему предстоит разбираться в неврологии и в современных достижениях в области изучения человеческого сознания.

Что же будет с виртуальной реальностью дальше?

И виртуальная, и дополненная реальность, о которых мы говорили в этом материале, находятся только в самом начале своего пути своего развития. И хотя пока что трудно представить, куда именно и как долго он будет вести нас, одно ясно точно: этот путь будет чрезвычайно интересным, и он окажет огромное влияние на нашу жизнь и нас самих.

Развитие виртуальной реальности можно сравнить с появлением в нашей жизни сначала компьютеров, а затем смартфонов. Сперва эти новинки касались лишь так называемых «гиков» — тех, что всерьез увлекался высокими технологиями. Но спустя некоторое время обе эти «игрушки», которые, как и виртуальная реальность сейчас, были слишком дороги, постепенно проникли во все области нашей деятельности.

Мы считаем, что так же будет и с виртуальной, и с дополненной реальностью. Шлемы Oculus Rift или HTC Vive стоят немало и для их работы необходим мощный игровой компьютер. Но уже есть альтернатива – смартфоны, которые предлагают пусть «урезанный», но все-таки доступ в виртуальную реальность.

Кроме того, есть и другие варианты снижения стоимости, например, обработка данных в «облаке». В этом случае от производительности вашего компьютера ничего не будет зависеть, так как все вычисления будут производиться на далеком сервере, который будет присылать на дисплеи вашего монитора уже готовую картинку. Все, что понадобится от вас – быстрый интернет, необходимый для скачивания этих данных.

В целом, сегодня для виртуальной реальности уже сделано немало, но впереди нас ожидает намного больше новых открытий. Однако вы можете спросить: зачем тогда она нужна, такая неполноценная? Можно и подождать.

Конечно, можно. Однако взгляните на экран вашего компьютера. Или на смартфон, который наверняка находится где-то рядом. Когда-то они тоже были такими же игрушками. Да и сейчас, если вы подождете год-другой, за это время многое может измениться. Например, ставшее привычным для смартфонов разрешение Full HD подскочит до минимального уровня 4К (3840×2160 пикселей) вкупе с 8 гигабайтами оперативной памяти и ультраёмким аккумулятором. Технологии развиваются очень быстро. И если, как было сказано в одном старом мультфильме, мы не увидим рассвет, мы можем опоздать на всю жизнь!