對于Facebook Codec Avatars虛擬化身和面部追蹤的研究，在這項的研究中，Facebook選擇了一個比較復雜的面部追蹤技術，從而在VR中呈現出一個惟妙惟肖的虛擬化身，其不論是在面部表情上，還是眼神動作、肢體動作上，都是表現出了較為自然、逼真的效果。

然而，最開始版本（2018年開始研究）需要132個相機去進行專業化的捕捉，顯然這是一個方案的定型，通過現有技術方案實現一個高的標準。但是這項設備所實現的效果，也會對用戶體驗降低。

Facebook，于去年的時候就公布了三攝新方案，通過內置兩個攝像頭和一個鼻梁下方捕捉嘴部的攝像頭，這樣看起來，已經是很完美了。

經常了解Facebook或FRL的朋友可能是知道，Facebook，于近兩年的時間，尤其是人工智能算法上的投入可謂是大幅度的增加了，其算法的加入也是主要解決硬件和算力不足的等等問題。

最近，Facebook公布了新一版Codec Avatars的研究，該技術是基于AI技術，在用更加輕量化的方案下，從而達到更加高標準的效果。其中，光學捕捉方面幾乎雙眼的眼球追蹤，而嘴部動作則基于麥克風拾取的人聲，也就是雙攝＋麥克風＋AI技術。

對于眼球追蹤的用途，它可以準確識別眼球動作從而模擬更真實的眼神和注視效果，而通過麥克風識別你的說話語音來模擬嘴部和面部動作，不過，你可能會質疑它的效果。

上面就是最終效果。研究人員表示，可能通過音頻的數據來還原其微妙的面部動作。比如，舔嘴唇等動作都可以模擬。然而需要特別注意的是，實現這個效果那么需要比較高品質的麥克風。