近日，在2021版IEEE VR會議論文集中，蘇黎世聯(lián)邦理工學(xué)院的研究人員研發(fā)出一種手環(huán)，能夠為VR頭顯提供沉浸式的手勢交互。

無需手握控制器，點(diǎn)點(diǎn)手指，就能獲得像操作電腦、平板一樣的體驗。如果這一技術(shù)被商用，有望大大解放VR設(shè)備的交互限制，為VR設(shè)備釋放新的市場潛力。

一、懸空動動手指，就能寫文案、彈鋼琴

傳統(tǒng)的VR手勢操作一般有兩種方案，一個是通過VR頭顯上的攝像頭識別，另一個是手握控制器檢測。

但研究人員認(rèn)為這兩種方案都不能很好的滿足VR交互需求，因此提出這種名為TapID的手環(huán)。

TapID是一種可以用來檢測手部動作的腕帶設(shè)備，將跟蹤的手部姿勢與VR設(shè)備聯(lián)動。用戶在左右手佩戴TapID，就能夠配合VR體驗虛擬現(xiàn)實交互。

比如，可以向用戶顯示一個像電腦鍵盤一樣的頁面，進(jìn)行文本輸入。

可以像面前有一臺電腦一樣，預(yù)覽網(wǎng)頁，進(jìn)入搜索引擎搜索信息。

還可以在熟悉的應(yīng)用程序，進(jìn)行圖片、文檔操作。

也可以使用TapID來檢測手臂上的觸覺，比如識別到手指的觸碰，從而旋轉(zhuǎn)手握的模型。

是不是輕裝上陣，又獲得了沉浸感十足的體驗？

二、識別精度達(dá)99.7%，采用兩個加速度計

下圖為TapID，中心的芯片為Dialog半導(dǎo)體公司的DA14695，該芯片是Dialog的藍(lán)牙低功耗微控制器，最大的特性是“多核+藍(lán)牙BLE5.1”。DA14695對所有慣性傳感器進(jìn)行采樣，通過串行連接將IMU數(shù)據(jù)傳輸?shù)诫娔X上。

TapID配置兩個意法半導(dǎo)體的LIS2DH，是兩個低功耗加速度計，通過柔性PCB嵌入腕帶，以及兩個板載加速度計，用于測試和比較不同的傳感器配置。

上圖為動作識別的流程示意模型。數(shù)據(jù)采集來自于兩個3D加速度計的連續(xù)流，通過其使用變化率分?jǐn)?shù)識別手指點(diǎn)擊動作。在檢測到動作后，輸入到神經(jīng)網(wǎng)絡(luò)分類器中識別點(diǎn)擊動作。神經(jīng)網(wǎng)絡(luò)分類器架構(gòu)包括五個卷積層塊和兩個最終的線性層，它們構(gòu)成softmax激活函數(shù)，根據(jù)手指動作呈現(xiàn)概率分布。當(dāng)確定了那個手指導(dǎo)致波動后，會檢測指尖位置，從而將動作傳輸給應(yīng)用程序。

TapID在靈活的表帶上嵌入了一對慣性傳感器，可以可靠地檢測表面觸覺，更重要的是，它還可以識別手指作動。研究人員在一批用戶中評估了TapID的識別精度，能夠達(dá)到99.7%。

結(jié)語：觸覺反饋將成為VR、AR釋放潛力的關(guān)鍵技術(shù)

自2020年以來，VR、AR出現(xiàn)回暖的跡象，并且朝著更加深層次的交互方向發(fā)展。本次我們看到的TapID就是從手勢控制角度打破原有邊界的研發(fā)。

正如扎克伯格所說，VR、AR在未來十年有望改變智能手機(jī)統(tǒng)治的霸權(quán)。以TapID為代表的觸覺反饋技術(shù)有望成為VR、AR釋放潛力的關(guān)鍵技術(shù)。