Steam Audio SDK позволит моделировать реалистичный звук в VR

Valve сегодня анонсировала выход Steam Audio SDK для разработчиков. Это специальный аудиоплагин, который, как утверждают специалисты компании, создан для того, чтобы «улучшать все интерактивные продукты и особенно – приложения для виртуальной реальности». Компания запустила бета-версию плагина для разработчиков, которая поддерживает движок Unity, а скоро будет работать и с Unreal Engine.

Реалистично ощущаемый звук – это очень важная часть глубокого погружения в виртуальную реальность, которую часто недооценивают многие, предпочитая концентрироваться на визуальной составляющей VR. Без этого аспекта глубокое погружение и реалистичные ощущения в виртуальной реальности недостижимы. Базовое стерео работает достаточно хорошо только в случае, если вы играете на обычном компьютере и сидите перед привычным монитором. При таком игровом процессе вы сознаёте, где вы находитесь на самом деле и у вас нет необходимости в глубоком аудио с эффектом погружения и полного окружения.

Но вот если ваши глаза «убеждены» в том, что вы глубоко внутри игры, в виртуальной реальности и в совершенно новой среде, ваш мозг должен быть убеждён в этом не только за счёт визуальной составляющей, но и за счёт очень качественного звука. Наш мозг использует любые звуковые сигналы в реальной жизни для того, чтобы ориентироваться, взаимодействовать с окружающей средой, воспринимать информацию, анализировать её.

Звук в виртуальной реальности – это всё ещё не до конца решённая проблема, которая до сих пор остаётся на повестке дня. Некоторые решения помогают решить её и они уже доступны сегодня. Они действительно дают ощутить разницу между обычным стерео и глубже погрузиться в виртуальный мир.

Однако пока все имеющиеся решения этой проблемы были довольно дорогостоящими, а потому не всем доступными. Не все разработчики контента соглашались их использовать, так как это взвинчивало цену на конечный продукт, который и так для виртуальной реальности не всегда самый бюджетный.

Многие разработчики предпочитали ожидать какого-нибудь более дешёвого или бесплатного решения. И вот Valve решила предложить свой вариант для звука в виртуальной реальности. Steam Audio SDK теперь доступен для Unity. Скоро он появится и для Unreal Engine.

Кроме того, студия утверждает, что её новый плагин для звука можно использовать без каких-либо затруднений на операционных системах Windows, Linux, MacOS и Android. Также он будет доступен для абсолютно любого устройства, работающего в виртуальной реальности. Получить его можно через платформу Steam. Это значит, что разработчики могут создавать приложения с использованием плагина как, например, для шлема виртуальной реальности Oculus Rift, так и адаптировать его для очков виртуальной реальности Gear VR от Samsung.

Версия плагина Steam Audio SDK для разработчиков сейчас включает в себя C API для того, чтобы интегрировать его с игровыми движками и промежуточным программным обеспечением.

Технология принципа работы Steam Audio SDK является логическим продолжением работы студии Impulsonic, которая разработала инструменты для звука Phonon. Impulsonic была приобретена Valve, после чего её наработки стали принадлежать компании.

«Steam Audio – это продвинутое решение для объемного звука, которое основано на физическом распространении звука и бинауральном аудио, базирующемся на HRTF для более глубокого погружения. Объёмный звук значительно улучшает качество погружения в виртуальную реальность. Steam Audio, основанный на физических законах, позволяет улучшить привычный пользовательский опыт, удобство работы, качество взаимодействия с виртуальной средой».

Исторически сложилось так, что реалистичный звук, основанный на физических законах, мог вычисляться и воссоздаваться в более или менее приличном качестве, однако не идеальном. Для идеального звучания необходимы специальные вычислительные процессы, которые учитывают трёхмерную геометрию пространства. С ростом и развитием виртуальной реальности эта область стала интересовать всё большее количество специалистов и компаний. Уже, например, компании вроде NVIDIA и другие взялись за этот вопрос и обещают представить своё решение.

Согласно заявлению Valve, главным преимуществом Steam Audio SDK будет автоматическое распространение звука по всем законам физики в реальном времени.

В реальной среде, когда звук издаётся источником, он проходит через пространство и «отскакивает» от каких-либо препятствий в окружающей среде, взаимодействует с ними, отражается – и меняется. И всё это прежде, чем он достигает человеческого уха, которое его распознаёт. То есть человек сразу слышит искажённый пространством, объектами и окружающей средой звук – и опирается на эти искажения при моделировании своего представления о среде. Для виртуальной реальности Valve пытается смоделировать те же условия распространения и подачи звука.