據最新媒體報道,康奈爾大學和威斯康星大學麥迪遜分校的工程師們已經開發出一種新的可穿戴交互系統,利用熱傳感器準確預測手部位置,在VR、機器人和翻譯手語方面有潛在應用。
如何捕捉人類手部動作的復雜性以及手部傳感器的研究在AR / VR技術領域一直是一項艱巨的任務。
近期,相關研究人員演示了解決AR/VR手部動作交互新方案--腕帶傳感器FingerTrak.FingerTrak基本上是一個手鐲,上面裝飾著四個小型熱敏攝像頭,每個攝像頭大約有豌豆大小。攝像頭從各自的位置拍攝佩戴者手腕的輪廓圖像。這足以讓一個專門設計的算法精確重建整個手部,包括每個手指的位置。
FingerTrak 系統使用機器學習,根據手腕輪廓,預測 20 個手指關節的位置。然后,這些手的姿勢可以在虛擬模型,甚至是機器人的手上重現。在測試中,該設備能夠準確重現翻書 、用筆寫字、喝水、使用手機等動作。
目前不乏有一些設備使用各種技術嘗試追蹤手部動作,有的使用深度感應攝像頭或紅外傳感器觀察手指,有的使用動作感應手套,還有的在指尖上使用電磁傳感器。但幾乎所有的都有點過于笨重,不適合實際使用。FingerTrak 的設計更加輕巧,雖然它仍然不是看起來最舒適的科技產品,但它確實走在正確的未來軌道上。
盡管目前FingerTrak的技術研究還有待開發,但其未來潛力巨大,可實現包括人機交互與控制、手語翻譯和健康監控的潛在應用,甚至包括發現早期的帕金森氏癥和阿爾茨海默氏癥等退化性疾病。
康奈爾大學和威斯康星大學麥迪遜分校的相關研究團隊表示,在未來的技術完善后,FingerTrak系統可以讓虛擬現實玩家在游戲中追蹤自己的手部動作,可以讓遙控機器人直接模仿人類操作員的動作,可以幫助將手語翻譯成文字或語音,甚至可以幫助監測影響運動技能的健康問題。
FingerTrakFingerTrak的原型機非常小,隨著進一步的工程設計,未來它可以進一步縮小。FingerTrak主要依靠低分辨率(32×24像素)、比最薄的蘋果手表還要薄的熱敏攝像頭,在測試期間實現了在6.46到8.06度之間的平均角度誤差率。
目前尚不清楚FingerTrak系統是否能夠快速追蹤特定的手勢,比如一個人正在寫什么。換句話說,FingerTrak可能會成為最好的補充性技術,而不是完全取代更高精度的手指追蹤解決方案,至少對目前的一些應用而言如此。
來源:東方財富網