研究人员开发出VR手环可准确识别手指动作，实现隔空弹钢琴敲键盘

　　3 月 22 日报道，近日，在 2021 版 IEEE VR 会议论文集中，苏黎世联邦理工学院的研究人员研发出一种手环，能够为 VR 头显提供沉浸式的手势交互。无需手握控制器，点点手指，就能获得像操作电脑、平板一样的体验 。
　　如果这一技术被商用，有望大大解放 VR 设备的交互限制，为 VR 设备释放新的市场潜力。
　　01. 悬空动动手指，就能写文案、弹钢琴
　　传统的 VR 手势操作一般有两种方案，一个是通过 VR 头显上的摄像头识别，另一个是手握控制器检测。但研究人员认为这两种方案都不能很好的满足 VR 交互需求，因此提出这种名为 TapID 的手环。
　　TapID 是一种可以用来检测手部动作的腕带设备，将跟踪的手部姿势与 VR 设备联动 。用户在左右手佩戴 TapID，就能够配合 VR 体验虚拟现实交互。比如，可以向用户显示一个像电脑键盘一样的页面，进行文本输入。
　　可以像面前有一台电脑一样，预览网页，进入搜索引擎搜索信息。
　　还可以在熟悉的应用程序，进行图片、文档操作。
　　也可以使用 TapID 来检测手臂上的触觉，比如识别到手指的触碰，从而旋转手握的模型。
　　是不是轻装上阵，又获得了沉浸感十足的体验？02. 识别精度达 99.7%，采用两个加速度计
　　下图为 TapID，中心的芯片为 Dialog 半导体公司的 DA14695，该芯片是 Dialog 的蓝牙低功耗微控制器，最大的特性是 ＂多核 + 蓝牙 BLE5.1＂。DA14695 对所有惯性传感器进行采样，通过串行连接将 IMU 数据传输到电脑上 。
　　TapID 配置两个意法半导体的 LIS2DH，是两个低功耗加速度计，通过柔性 PCB 嵌入腕带，以及两个板载加速度计，用于测试和比较不同的传感器配置。
　　上图为动作识别的流程示意模型。数据采集来自于两个 3D 加速度计的连续流，通过其使用变化率分数识别手指点击动作 。在检测到动作后，输入到神经网络分类器中识别点击动作。
　　神经网络分类器架构包括五个卷积层块和两个最终的线性层，它们构成 softmax 激活函数，根据手指动作呈现概率分布。当确定了那个手指导致波动后，会检测指尖位置，从而将动作传输给应用程序。TapID 在灵活的表带上嵌入了一对惯性传感器，可以可靠地检测表面触觉，更重要的是，它还可以识别手指作动。研究人员在一批用户中评估了 TapID 的识别精度，能够达到 99.7% 。
　　03. 结语：触觉反馈将成为 VR、AR 释放潜力的关键技术
　　自 2020 年以来，VR、AR 出现回暖的迹象，并且朝着更加深层次的交互方向发展。本次我们看到的 TapID 就是从手势控制角度打破原有边界的研发。
　　正如扎克伯格所说，VR、AR 在未来十年有望改变智能手机统治的霸权。以 TapID 为代表的触觉反馈技术有望成为 VR、AR 释放潜力的关键技术。