瑞士伯恩應用科技大學計算機感知與虛擬實境(Computer Perception and VR)研究團隊CpvrLab,運用Oculus Quest VR頭盔內建的手部追蹤功能,開發出識別與教授23個德國手語交談字母手勢的Quest App。
虛擬實境(VR)環境主要依賴口語與肢體溝通方式而非文字,因此聾人在VRChat等沉浸式社群平臺需要溝通時經常遭遇許多障礙,雖然簡化版手語溝通在VR環境使用已有一段時間,但對聾人而言仍不夠方便。此外現有的VR控制器對手語的支援還相當有限與笨拙,非常需要能在VR環境中完整識別原生手語手勢的工具。
使用者戴上Oculus Quest VR頭盔即可使用Quest App,在VR環境中學習23個德國手語交談字母的手勢,使用者模仿比劃出來的每一個手語手勢都會在VR環境中以3D的方式呈現,并由App實時分析與識別,再跟內建的手勢模型比對檢查是否正確無誤,因此技術上而言只要擴充手勢模型,就有機會支援任何種類手語手勢的識別與比對。
目前尚無App能在虛擬實境(VR)環境中完整教導使用者學習手語,但運用VR訓練手語字母手勢的App,已證實現有技術具有實現目標的潛力,雖然只有基本功能且局限于德國手語交談應用,但已計劃盡快將其App以開源方式釋出,以利第三方將不同種類的手語手勢新增到手勢模型,或強化手勢識別與比對的能力。
VRChat的使用者指出,由于現有的VR控制器無法提供完整手指追蹤功能,因此正確識別手語非常困難。雖然簡化版的新手勢讓聾人在VR環境中達到某種程度的溝通,但最終仍應發展能讓聾人在VR環境中,以完整的原生手語溝通的工具。此外地區與語言的不同,也讓所使用的手語形成差異,因此需要有更準確的輸入方法,以免問題更加復雜化。
Quest體驗、游戲、工具的非官方程序庫SideQuest已免費提供Quest App,有興趣體驗者可透過SideQuest將App側載Oculus Quest VR頭盔。雖然Oculus Quest VR頭盔內建的光學手部追蹤功能并非完美,不過確實為解決聾人在VR環境使用原生手語的問題帶來一線曙光。
來源: DIGITIMES陳明陽