Apple научит VR отслеживать не только руки, но и положение всего тела

Точное отслеживание всего тела откроет новые возможности во множестве направлений: от приложений для здоровья до игр и виртуальной реальности. Однако, не многие пользователи будут готовы ради новых впечатлений от фитнеса примерить на себя полноценный костюм захвата движений. К счастью, в скором времени мы можем увидеть более простое решение, задействующее устройства, которые вы уже носите с собой ежедневно, например наушники или iPhone.


Группа Future Interfaces Group (FIG) Университета Карнеги-Меллона поделилась некоторыми новыми исследованиями в области отслеживания всего тела, и хотя они не могут конкурировать с точностью костюма захвата и студии стоимостью в миллион долларов, предложенный подход все же может быть достаточно точным, чтобы позволить пользователям переводить свои движения в мир виртуальной реальности без необходимости в каком-либо специальном оборудовании.

Исследование FIG на самом деле напоминает патенты, поданные Apple за последние несколько лет, потому что единственное оборудование, на которое она опирается, — это умные часы, смартфон и беспроводные наушники. Сейчас это не вызывает удивления, поскольку новые модели портативных устройств зачастую оснащены акселерометрами, гироскопами и другими датчиками обнаружения движения для облегчения работы, а иногда имеют и более продвинутые функции, такие как отслеживание фитнеса или даже Spacial Audio в Apple AirPods.

Данные с этих датчиков предоставляются разработчикам через SDK для использования в сторонних приложениях и аксессуарах, но исследователи FIG собирают их для интеллектуального расчета позы всего тела носителя с помощью инструмента под названием IMUPoser.

Чтобы достоверно зафиксировать игру актера и передать ее персонажу видеоигры или созданному с помощью компьютерной графики персонажу фильма, необходимо распознать движения сотен точек отслеживания. В нашем случае смартфон в кармане брюк, смарт-часы на запястье и наушник в ухе предоставляют ровно столько данных, сколько достаточно, чтобы сделать разумное предположение о положении тела пользователя, включая положение всех его конечностей или о том, стоит ли он в полный рост, или сутулится.

Подход не обещает 100% точности, поскольку алгоритму приходится делать некоторые допущения, чтобы компенсировать минимальный объем данных отслеживания. Например, если он обнаружит, что человек идет, он будет считать, что рука и нога, противоположная той, которую отслеживают смартфон и смарт-часы, двигаются также, но не синхронно (что является естественной походкой человека).

Конечно, точность падает еще больше, когда IMUPoser вынужден полагаться на данные только с двух устройств или даже с одного, однако есть определенная доля пользователей, которые почти никогда не расстаются со своими смарт-устройствами.

Заменит ли этот инструмент более надежные инструменты отслеживания тела? Определенно не в ближайшее время, но его можно использовать для улучшения и уточнения данных, собираемых с датчиков движения, уже используемых в интеллектуальных устройствах. Многие фитнес-трекеры попытаются угадать, какие действия вы выполняете, и этот инструмент может помочь сократить количество раз, когда пользователям необходимо вносить коррективы, без необходимости каким-либо образом модифицировать или обновлять физическое оборудование.