在 Meta Connect 2022 上，Meta 展示了在 VR 和 AR 領域的新研究成果。
Meta 的研究旨在持續十年或更長時間，并推動當今?VR、AR 和 AI 等技術的發展。在 Meta Connect 2022 上，該公司概述了許多領域的研究，從 Meta 的 AR 頭顯到神經接口，從 3D 掃描到逼真的編解碼虛擬化身。
增強現實
Meta 的目標是在未來幾年推出一款時尚、視覺上吸引人但功能強大的 AR 頭顯。由于小型化、功率、電池容量和余熱方面的技術挑戰很大，Meta 在開發中正在采取雙重戰略。
扎克伯格在主題演講中表示：“眼鏡需要相對較小才能看起來和感覺良好。因此，我們正在從兩個不同的角度來構建?AR?眼鏡。首先是建立全 AR 眼鏡所需的所有技術，然后努力將其安裝到我們所能提供的最佳眼鏡外形中。第二種方法是從理想的外形開始，并隨著時間的推移努力將越來越多的技術融入其中。”
前者的代號為?Project Nazare，而后者是 Meta 和全球最大的眼鏡制造商?EssilorLuxottica?公司之間的聯合項目，并已經推出了一種產品：Ray-Ban Stories，它提供了多種智能功能，但沒有內置顯示器。
在 Meta Connect 2022 上，Meta 和 EssilorLucottica 介紹了其眼鏡項目和合作的最新情況：Ray-Ban Stories 將很快獲得免提呼叫聯系人或通過軟件更新發送短信的能力。
還有一個新功能叫做 Spotify Tap。Meta?寫道：“你只需點擊并握住眼鏡側面播放 Spotify，如果你想聽不同的東西，請再次點擊并按住，Spotify 會推薦一些新的東西。”
EssilorLucottica 可穿戴設備首席執行官 Rocco Basilico 在主題演講中宣布，他的公司和 Meta 正在開發一種新的頭顯，將打開一個“進入元宇宙的門戶”。下一代的?Ray-Ban Stories?會有顯示器嗎？扎克伯格和 Basilico 留下了這個疑問。
那 Nazare 項目呢？
在 Meta Connect 2021 上，Meta 模擬了通過?Project Nazare?視圖的樣子。今年，扎克伯格在沒有展示的情況下提供了 AR 頭顯的另一個預告片。
Meta 首席執行官帶著該設備的走廊移動，并使用 EMG 腕帶對其進行控制。顯然，你可以通過?Project Nazare?看到一個視圖。
扎克伯格向?Meta?的研究主管?Michael Abrash?發送了一條消息，并錄制了一段視頻，這兩者都使用微手勢。這是通過 EMG 腕帶實現的，EMG 腕帶攔截手腕上的運動腦信號，并在 AI 的幫助下將其轉換為計算機命令。Meta 認為這種類型的接口是未來最重要的 AR 操作概念，與語音控制和手部跟蹤一樣。
扎克伯格沒有說?Nazare 項目何時會出現。根據一份報告，Meta 計劃在 2024 年推出它，并在 2026 年將其商業化。
腦機接口
Meta 研究更新中的另一個塊涉及上述 EMG 腕帶。Meta 依靠這項技術和個性化 AI 支持未來的 AR 界面相結合，它能識別情況和行動的背景，并積極支持眼鏡佩戴者的日常生活。這應該可以在人與計算機之間實現直觀、幾乎無摩擦的界面。
Meta 寫道：“通過結合機器學習和神經科學，這個未來的界面將適用于不同的人，同時通過一個協同適應性學習的過程來解釋他們在生理、體型等方面的差異。”
一個視頻說明了這一點。在其中，可以看到兩名 Meta 員工通過 EMG 腕帶和手指的動作玩簡單的街機游戲。請注意，它們使用的手勢略有不同，人工智能從信號和運動中學習并生成單個模型。算法訓練得越好，必須移動的手和手指就越少。該系統通過解碼手腕上的信號并將其轉換為計算機命令來識別該人已經決定的動作。
面向視障人士的 AR 導航
Meta 正在與卡內基梅隆大學（CMU）合作開展一項研究項目，以幫助視障人士在復雜的室內環境中導航。
該大學研究人員使用?Meta 的 Project Aria?傳感眼鏡以 3D 掃描匹茲堡機場。他們使用這個環境的 3D 地圖來訓練 AI 本地化模型。因此，由 CMU 開發的智能手機應用程序?NavCog?可以通過轉述音頻指令來引導用戶更安全地通過機場。
簡單的 3D 掃描
像 Meta Quest Pro 這樣的 MR 頭顯會在設備內部顯示物理環境。他們還不能掃描對象并將其另存為 3D 模型。如果這項技術能成為現實，那么就有可能將真實對象帶入虛擬環境。
Meta 寫道：“從頭開始構建 3D 對象很困難，使用物理對象作為模板可以更容易更快捷。但是今天沒有無縫的方法來做到這一點，所以我們正在研究兩種不同的技術來幫助解決這個問題。”
第一個使用機器學習，稱為神經輻射場或簡稱 NeRF，從幾張照片中創建一個非常詳細的 3D 對象。
第二種技術稱為逆向渲染，使用此方法數字化的對象會對 VR 環境中的光照和物理場做出動態反應。
這兩種技術的缺點是它們尚未實時工作。然而，Meta 認為它們是實現物理對象簡單 3D 掃描的重要步驟。
Codec Avatars 2.0
逼真的虛擬化身對于扎克伯格來說，這是 VR 和 AR 的殺手級應用程序。
為此，Meta 多年來一直在研究所謂的?Codec Avatars，其外觀與人類原始版本幾乎沒有區別。
在 Meta Connect 2021 上，Meta 展示了第二代?Codec Avatars，并展示了全身化身。今年，該技術又進行了一次更新。
Codec Avatars?2.0現在可以在虛擬服裝之間切換，而且更具表現力。為了展示改進的表現力，扎克伯格有一個由他自己制作的?Codec Avatar。
Codec Avatars?營銷和使用的最大問題之一是其復雜創建過程，用戶必須在特殊的 3D 工作室中掃描自己。
為了簡化個人虛擬化身的生成，Meta 正在開發即時?Codec Avatars。只需用智能手機對面部進行兩分鐘的掃描即可。
這個過程的缺點是，完成后的虛擬化身看起來并不像扎克伯格的那么逼真，創建并準備使用虛擬化身仍然需要幾個小時的時間。然而，Meta 正在努力加快這一進程。
Meta 強調，這些項目顯示了研究成果，技術不一定要找到產品商業化的方式。Meta 寫道：“不過，它還是可以窺見未來 5 到 10 年該技術的發展方向。”
