盡管混合現實頭戴設備的制造商每年都在致力于推出功能更先進的設備，以使用戶感受到真實世界與數字世界的融合，但是輸入方式（在VR或AR環境中進行交互的能力）仍然具有挑戰性，因為大多數設備在交互時仍然需要控制器。本周，美國亞利桑那州立大學（ASU）的研究人員展示了一種名為FMKit的潛在替代產品，它使頭顯能夠精確跟蹤單個手指的運動，并識別空中手寫。

ASU的工作超出了Leap Motion配件和Oculus Quest VR頭顯中的手部追蹤功能，可以將單個手指的路徑記錄在3D空間中，并與四個手寫樣本數據集進行比較。指尖書寫可用于識別單個用戶，通過密碼安全地對用戶進行身份驗證以及創建文本輸入，以替代使用手持控制器鍵入，說出或選擇單詞的方式。

該系統的價值不僅僅在于將空中書寫的英語或漢語單詞轉換為文本（研究人員正在關注的功能），還具有潛在的商業應用前景。包括可以在空中繪制獨特的簽名，以解鎖受保護的XR頭顯或單獨受保護的應用，從而使公司能夠高度個性化保護數字內容。或者，公司可以讓團隊共享一個通用的密碼系統，該系統不僅可以識別數字或字母，還可以識別五角星或其他獨特標記等符號。

FMKit當前支持兩種類型的輸入設備-每秒運動110次的Leap Motion控制器和每秒運動50次的自定義慣性測量數據手套-使用Python模塊來收集，預處理和可視化掃描信號。作為用戶識別系統，FMKit搭配Leap Motion精度可達到93％以上，搭配手套的精度可達到96％以上。但是對于手寫識別來說，使用Leap Motion的效果更好，而且該系統最多只能在87.4％的時間內準確識別單詞。這還不足以取代語音輸入來進行聽寫，但這對于只能與手指和頭戴式傳感器一起使用的系統來說是一個好的開始。

ASU的Duo Lu，Linzhen Luo，Dijiang Huang和Yeye Yang已在GitHub上發布了FMKit的源代碼，這是一個開放源代碼項目，其中包括庫和數據集，希望其他研究人員能夠擴展他們的工作。作者將在本周作為CVPR 2020計算機視覺增強和虛擬現實研討會的一部分介紹他們的研究。

來源： VR陀螺