Oculus Quest的手部和手指追蹤開啟了一系列的全新用例,而伯爾尼高等專業學院的學生塞德里克·吉拉丁(Cedric Girardin)則利用這項功能編程開發了一種用于學習手指字母的虛擬現實應用。
手語是用手勢比量動作,根據手勢的變化模擬形象或者音節以構成的一定意思或詞語,它是聽力障礙或者無法言語的人互相交際和交流思想的一種重要手段。
手語學習并不容易,而且不同地區的手語不一定通用。隨著虛擬現實教育的興起,伯爾尼高等專業學院的學生Cedric Girardin開始探索利用沉浸式技術來幫助德語用戶學習手語的方式,并在Reddit介紹了他利用Quest的手指追蹤功能而開發出的手指字母應用。
所述應用程序提供了一種學習模式和測試模式。學習模式會顯示德語字母表中的字母及相應手勢的三維模型。利用Quest的手指追蹤功能,你可以在虛擬現實中用自己的雙手再現所描繪的圖形,并通過機器驗證進行匹配。測試模式的工作原理類似,但不顯示三維模型。
針對每一個手勢,應用程序將驗證手和手指的位置和方向,并計算各根手指彼此的距離和角度。另外,應用程序可以評估多達23個德國字母的手勢(德語共有26個拉丁字母和4個字母變體)。
字母R、J和Z暫不支持,原因是對應的手勢過于復雜,Quest的手部追蹤暫時無法予以支持。另外,追蹤功能依然難以識別背離攝像頭的手勢。
需要注意的是,這只是吉拉丁用兩周時間完成的一個期末作品,而現在項目時間已經結束。但根據需要,他表示可以進一步擴展應用。
來源:映維網