隨著VR和AR在視覺精準度和頭顯舒適度上的不斷進步，研究人員一直在努力尋找比手持控制器更加自然的輸入方案。近日，康奈爾大學和威斯康星大學麥迪遜分校的工程師們已經開發出一種新的可穿戴系統—Fingertrak，該系統配有四個熱敏攝像頭，可以敏銳地以3D方式預測20個手指關節的位置。

FingerTrak是在康奈爾大學SciFi實驗室以及威斯康星大學麥迪遜分校的研究人員的共同協助下開發的，該設備在手鐲上安裝了三至四個熱敏攝像頭，以便共同捕獲手姿勢。每個熱像儀都會跟蹤你的手每個部分的運動，將每個圖像實時劃分為單個縫合的熱圖像，隨后設備將數據傳輸到連接到Raspberry Pi驅動的網絡設備。通過計算機運行深度學習模型，該模型可以預測20個手指關節的位置。盡管成果并不算完美，但FingerTrak可以用于某些形式的VR和AR輸入。FingerTrak的其他潛在應用包括人機交互與控制、手語翻譯和健康監控，包括發現早期的帕金森氏癥和阿爾茨海默氏癥等退化性疾病。

研究人員表示該設備僅靠手腕輪廓就可以“準確預測整個手部形態”。該設備將整個傳感系統放在手腕上，因次不需要手套、戒指或是先前發布的任何技術。在公布的視頻中還演示了FingerTrak是如何將手部運動追蹤轉化為一只仿生手的運動，并允許計算機確定用戶何時在寫作、喝咖啡以及使用智能手機的。

目前尚不清楚該系統是否可以快速追蹤特定手勢，比如用戶正在寫的是什么。研究人員指出，FingerTrak在測試期間，根據測試背景的不同，平均角度誤差率在6.46-8.06度之間。也就是說，對于某些應用而言，這可能是最好的補充性技術，而非完全取代更高精度手指追蹤方案。

手腕攝像頭可以增強VR頭顯的由內向外追蹤攝像頭。原版的FingerTrak已經非常小了，但隨著加工設計，它還可以再小一點。系統主要依賴低分辨率（32x24像素）熱敏攝像頭，這種攝像頭的尺寸和厚度比最薄的蘋果手表還要薄。

FingerTrak將于9月中旬在2020ACM國際UBICOMP大會上首次亮相。

來源：新浪VR