Браслет Fingertrak – отслеживание рук в AR и VR

Разработчики продолжают стараться сделать виртуальную и дополненную реальности более комфортными для пользователя. Поэтому устройства ввода постоянно совершенствуются для того, чтобы взаимодействие с цифровым пространством было более комфортным и интуитивным. Так, например, группа инженеров представила браслет FingerTrak, который работает на базе телевизионных камер. Устройство способно отслеживания движений рук в 3D, обеспечивая трекинг 20 положений суставов пальцев.

Разработчиком нового устройства ввода является лаборатория SciFi Корнельского университета. Для сшивания полученных данных с камер FingerTrak использует нейронную сеть. Все миниатюрные телевизоры установленных вокруг запястья.

Нейросеть самостоятельно оценивает расположение пальцев благодаря силуэтам, которые генерируются камерами. Да, результаты далеки от идеальных, однако устройство вполне подойдет для определенных форм ввода в AR и VR пространствах. Среди других потенциальных сфер использования технологии – управление роботами, перевод информации с языка жестов, медицина.

Примечательно, что инженеры считают браслет достаточным элементом для отслеживания жестов и движений пальцев. Поэтому пользователи FingerTrak не нуждаются в размещении системы непосредственно на ладони.

На данный момент неизвестно, умеет ли девайс отслеживать конкретные жесты. На данный момент угловая ошибка равняется 6,56-8,06 градусов. Показатель колеблется в зависимости от фона. Хоть FingerTrak сегодня сложно назвать самостоятельным устройством, но, при дуэте с Oculus Quest, он вполне может обеспечить полноценный трекинг.

Комментарии

You must log in to post a comment