AR/VR和神經接口研究將為未來的元宇宙奠定基礎，但眼見為實。對于這項由Reality Labs首席科學家邁克爾·亞伯拉什（Michael Abrash）領導的研究，大部分緩都需要數年的時間才能與消費者見面，而且不是每個人都能前往Reality Labs位于美國華盛頓州雷得蒙德的實驗室親身體驗。

但證據就在產品之中。很快，你將能夠親自體驗Quest Pro，并親眼感受團隊的部分研究成果，例如手部追蹤和Pancake光學模組。所述兩個項目都是從研究項目開始，而經過多年的實驗室原型制作后，研究和產品團隊作為一個整體終于能夠將所述技術帶到人們手里。

當然，團隊將會繼續為大家帶來驚喜。Reality Labs正在發明一個全新的計算平臺，一個圍繞人、聯結和關系構建的平臺。在Meta Connect大會，亞伯拉什與首席執行官馬克·扎克伯格分享了Reality Labs研究工作的最新進展。下面是具體的整理：

1. 下一代界面

隨著計算機在過去半個世紀的發展，個人電腦、筆記本電腦、平板電腦和智能手機應運而生，圖形用戶界面（GUI）在很大程度上定義了人們對數字世界的體驗，為與之交互提供了全新的可能性。但當我們展望未來的AR眼鏡和下一代VR頭顯時，我們看到了人機交互模式轉變的必要性，而這將有助于新設備在一天中可能遇到的各種情況下發揮作用，同時允許你完全活在當下，專注于世界和周圍的人和事。

對于新的輸入方式（Mea押注于使用肌電圖（EMG）進行基于手腕的交互），Meta對未來的展望需要能夠與未來設備（尤其是AR眼鏡）協同工作，從而感知和重建周圍世界，并理解設備環境的個性化人工智能。有了這樣的理解，人工智能將能夠提出建議并采取相應行動，幫助你完成任務（理想情況下，你甚至可能不會注意到）。

將個性化人工智能與肌電圖相結合： 肌電圖將通過手腕的神經肌肉信號直接作為輸入信號，這樣你將擁有一個直觀、幾乎無摩擦的界面。這將是第一個真正以人為中心的界面，部分原因是它不會強迫人們學習一個困難的新型控制方案。相反，未來的設備將在你使用時學習并適應你。通過將機器學習和神經科學相結合，這種未來的界面將適用于不同的人員，同時通過一種稱為“共同適應學習”的過程來解釋他們在生理、大小等方面的差異。

在第一個演示內容中，你可以看到兩個人使用基于手腕的肌電圖開玩街機游戲。盡管他們都在游戲中使用相同的手勢進行控制，但他們的手勢執行方式略有不同。每次他們中的一個人執行手勢時，算法都會適應解釋這個特定人員的信號，所以每個人的自然手勢都能快速可靠地識別出來。換句話說，隨著時間的推移，系統能夠更好地理解它們。協同適應學習的潛力不僅限于全手勢，而且包括微手勢。算法能夠實時學習如何對肌電信號作出反應，即人們激活并發送到手上的肌電信號，只需手部的輕微動作。

系統可以解碼手腕信號并將其轉換為數字命令，從而識別用戶決定執行的動作。這樣你幾乎不需要任何手部動作就可以將想要實現的動作傳達給計算機。正如GUI標志著我們與計算機交互方式的巨大變化一樣，EMG有潛力徹底改變我們與數字世界的交互方式：我們不僅可以做更多的事情，而且可以以我們想要的方式實現。在Connect大會，扎克伯格展示了一個可以通過運動神經元信號控制AR/VR設備的演示內容。

通過微妙的動作，你可以查看信息和進行拍照等等。手勢越微妙，體驗就越流暢和輕松。你不必掏出手機就可以完成操作。

這只是開始。真正的AR眼鏡及其未來的界面有望解鎖更加有用的交互，例如能夠右鍵單擊物理對象或位置以獲取相關詳細信息，更好地控制我們的設備而無需遠離我們周圍的世界，并從個性化的AI數字助理獲取主動幫助。它們將共同為計算提供一種更加自然、以人為中心的方法，并可能為我們帶來尚未想到的全新可能性。

這種未來的接口將真正改變我們的生活。一個特別鼓舞人心的例子是卡內基梅隆大學的NavCog項目：幫助視力受損者。

2.RealityLabs與卡內基梅隆大學合作的最新情況

Reality Labs兩年前在Connect大會亮相了Project Aria。這個全新的研究項目旨在幫助團隊構建第一代可穿戴AR設備。作為公告的一環，Meta宣布與卡內基梅隆大學及其Cognitive Assistance Laboratory實驗室進行合作試點，共同構建博物館和機場的3D地圖。這種地圖將具有多種應用，包括幫助視覺障礙患者更好地在室內導航，因為室內GPS信號通常無法到達。

今天，Reality Labs分享了這個項目的最新情況。

NavCog是由卡內基梅隆大學開發的智能手機應用，旨在幫助視覺障礙者更好地在室內環境中導航。卡內基梅隆大學的研究人員利用Project Aria繪制了匹茲堡國際機場的3D地圖。然后，他們可以使用所述地圖來訓練在手機端運行的人工智能本地化模型。有了NavCog，人們可以知道自己在機場的什么地方，無需依賴機場周圍的外部藍牙信標。這是一個重要的發展，因為它表明了最終大規模部署NavCog的能力。

3. 將物理對象引入元宇宙

構建和操作3D對象的能力將在元宇宙中發揮關鍵作用。例如，想象一下在Horizon Home中展示一件珍貴的傳家寶，或者能夠在購買實物家具之前通過AR查看相應的效果。從零開始構建3D對象十分困難，使用物理對象作為模板可能更容易、更快速。但目前尚沒有無縫的方法來實現這一目標，所以Reality Labs正在研究兩種不同的技術來幫助解決這個問題。

第一種方法使用基于機器學習的神經輻射場（NeRFs），從不同角度拍攝的多個2D圖像重建3D對象的外觀。這種方法甚至可以再現對象的最精細細節。

盡管需要一定的處理時間，但結果令人印象深刻。紋理非常清晰，你可以拾取細膩的細節，如單根毛發。

第二種技術直接捕獲幾何圖形和外觀。團隊使用一種稱為Inverse Rendering反向渲染的不同技術來掃描一個對象，并將其數字孿生帶到VR或AR。它能夠動態響應VR環境中的照明。當你把它拋向空中，把它扔到墻上，或者把它彈離地面時，它的反應與實物的反應相同。

這兩種技術暫時都無法實時運行，而且都有其局限性。但對于幫助人們輕松地將物理對象變成虛擬世界一部分的這一目標，它們都是重要的一步。

4. Codec Avatars更新

元宇宙中的Avatar將有多種風格。但如果你能真正忠實地再現自己，并用它與其他人互動呢？這將是迄今為止最強大的遠程聯結技術，并創造一種真正的社交體驗。你會感覺自己就在那里，與其他人共在一起。在2021年，Reality Labs已經分享了全身Codec Avatars的早期進展。與你可能見過的其他高質量Avatar相比，Codec Avatars的區別在于，它們可以實時自動生成和驅動，匹配真實人員的外觀和暈動。這意味著它們不限于預設動作，你可以實時控制他們。Reality Labs正繼續開發這項技術，而在今天的大會中，他們表示現在已經可以改變Codec Avatars的虛擬服飾。

這意味著，未來你將能夠無縫地從動作游戲會話跳到重要的商務會議，然后回到你的首空間環境，與朋友或家人在元宇宙中閑逛。

Meta同時展示了他們在Codec Avatars 2.0方面的最新進展。相關的研究項目旨在幫助合成的面部表情能夠更真實地契合我們的身體形態。

團隊令Codec Avatars 2.0更具表現力。除了看左、看右、看上、看下等簡單的動作外，Reality Labs同時整合了人們相互交流和理解語氣所依賴的非語言線索，比如揚眉、瞇眼和睜大眼睛。通過更好地捕捉微妙的表情，Codec Avatars 2.0現在更加逼真和自然。你甚至可以控制Codec Avatars 2.0的照明，從而添加另一個維度的真實感。

Codec Avatars令人印象深刻，但它們需要很長時間才能生成，所以Reality正在研究一種更快的解決方案來供人們在未來使用：Instant Codec Avatars。

Instant Codec Avatars比Codec Avatars更快、更容易制作。掃描所需只是智能手機和像樣的照明。以中性表情從多個角度掃描人臉大約30秒，然后在繼續掃描時再花90秒做出各種表情即可。目前，在掃描過程之后生成一個Instant Codec Avatars需要幾個小時，但團隊正在努力減少總體處理時間。

Reality Labs在Instant Codec Avatars方面取得了非常大的進展。盡管它們的質量和逼真度不如Codec Avatars 2.0，但Instant Codec Avatars依然令人感覺逼真和富有表現力。另外，因為掃描所需的只是你的手機，所以它們更容易普及。

團隊強調，這項工作依然處于研究階段，它可能會，或者可能永遠不會成為實際產品。不過，這只是未來五到十年技術發展方向的一瞥。Reality Labs評論道：“我們在過去數年的研究為未來的發展奠定了堅實的基礎。”