Технология смешанной реальности Fraunhofer HHI учтет естественное взаимодействие между мирами

В будущем виртуальная реальность (VR) позволит людям взаимодействовать друг с другом более естественным способом, который приближен к реальному миру. Это цель для института имени Фраунгофера Генриха Герца (HHI), который планирует продемонстрировать новую технологию. Она позволяет передавать взаимодействие и обратную связь между реальным и виртуальным миром.

Сила виртуальной, дополненной и смешанной реальности позволяет людям сотрудничать независимо от расстояния между ними, используя приложения для участия в различных мероприятиях. Например, удаленная помощь при работе с техникой по ремонту оборудования. Технология будущего, над которой работает институт ХХІ Фраунгофера заключается в возможном использовании в качестве примерки декораций и ремонта в целом. Она включает в себя технологию отслеживания руки и обратную связь на необходимой технике.

«Решение, которое мы разработали для этой цели, может связать моделируемый мир с реальным в режиме реального времени в высоком качестве и открыть новые перспективы или горизонты сотрудничества. Физическое взаимодействие без регуляторов выглядит более естественно и комфортно. Разрешение можно приспособить к требованиям потребителя и усилить эффект погружения. В то же время это нововведение может уменьшить симптомы укачивания, которые часто вызваны VR», – объясняет Пол Чоджеки, руководитель проекта в Fraunhofer HHI.

Устранение барьеров между реальным и виртуальным миром

В реальном мире устанавливается восемь камер, по четыре пары. Они захватывают сцену со всех сторон и генерируют карты глубины с частотой до 30 Герц. Жесты и динамические движения обнаруживаются и данные объединяются алгоритмами, кодируются и передаются на станцию VR в режиме реального времени, с соответствующими 3D текстурами. Для пользователя, носящего гарнитуру VR, другая 3D-камера записывает его движения. Алгоритсы Fraunhofer HHI для обнаружения тела 3D и отслеживания жестов позволяют естественно взаимодействовать с VR без нарушения регуляторов или отметок.

Обратная связь от виртуального мира отображается в реальном мире с помощью проекции, с специальных алгоритмов обработки изображений от Fraunhofer HHI, используемых для этой проекции AR. Эта комбинация из двух уникальных технологий приводит к впечатляющему и захватывающему опыту, который предлагает уникальное решение для MR-взаимодействия и приложений.