據UploadVR報道,Meta研究人員正通過先進的機器學習技術打造“Codec Avatars 2.0”。
Facebook(Meta)在2019年3月首次展示了“Codec Avatars”,其由多個神經網絡提供支持,基于171個攝像頭捕獲生成,生成之后,“Codec Avatars”將由一個配置了5個攝像頭的原型VR頭顯實時驅動(其中2個攝像頭用于內部觀察、3個攝像頭觀察外部),而隨著版本迭代,研究人員陸續展示了該系統例如更逼真眼動追蹤以及支持麥克風的demo。
今年4月,在麻省理工學院“虛擬人與虛擬存在”研討會上,Codec Avatars團隊負責人Yaser Sheikh展示了該項目最新版本demo——“Codec Avatars 2.0”。
Sheikh表示:“我認為,未來十年的一個重大挑戰是,我們是否可以實現沉浸式遠程互動?”
去年發表的一篇論文中,Sheikh團隊聲稱,Codec Avatars最新模型將更小、效率更高,神經網絡現在只計算頭顯可見的像素,有了這一進展,Quest 2頭顯將能以每秒50幀的速度在空場景中渲染5個虛擬化身。
不過,要到逼真級別的保真度,Meta研發團隊還有段路要走,如今的虛擬化身呈現卡通形象,非常適配于「Horizon Worlds」等大型VR社交應用環境。
可以預見的是,Codec Avatars將會演變為可選選項,而不是最終的卡通化身形象,在接受Lex Fridman采訪時,扎克伯格描述了這樣一個未來:用戶可以在休閑游戲中使用“表現主義”虛擬化身,而在工作會議中使用“現實主義”虛擬化身。
值得一提的是,研討會期間,Sheikh指出,無法預測Codec Avatars最終形態的誕生預期,不過,Sheikh相信Codec Avatars是公司項目的“奇跡之光”。