隨著AR和VR設備開始成為我們工作和娛樂方式的重要組成一環，我們如何在真實世界和虛擬世界之間保持無縫的社交聯系呢？換句話說，AR/VR體驗之外和之內的人們如何在一個共享空間中保持“社交共在感”呢？

　　Facebook Reality Labs Research（FRL）在在SIGGRAPH大會就VR頭顯的共在感提出了一個新概念：“反向透視虛擬現實（Reverse Passthrough VR）”。簡單來說，反向透視這個實驗性研究演示允許外界看到頭顯用戶的眼睛。這與Quest如今通過PasstThrough+和實驗性PasstThrough API可以實現的功能形成對比，后者是利用外置攝像頭幫助頭顯用戶輕松看到周遭物理環境。

　　多年來，Oculus在實現透視功能方面已經取得了長足的進步。這項實驗性的反向透視研究由研究科學松田內森（Nathan Matsuda）提出。有一次，他在辦公室里體驗啟用Passthrough功能的Quest頭顯，并思考如何提高混合現實在社交和職業環境中無縫性。利用透視，他可以清楚地看到周圍的同事，但對方卻看不到自己的表情變化。所以每次在對話時，別人都會說無法進行眼神交流有多么奇怪。所以，松田提出了一個問題：如果能看到對方的眼睛會如何？這會給社交帶來什么變化嗎？

　　當松田在2019年第一次向FRL首席科學家邁克爾·亞伯拉什（Michael Abrash）演示反向透視時，亞伯拉什對這項研究的實用性并不信服。在演示中，松田佩戴了一個前端配備了顯示屏的定制Rift S頭顯。然后，游戲引擎可以粗略渲染松田的浮動面容3D圖像，并利用眼動追蹤攝像頭發出的信號來重新生成眼睛注視。

　　亞伯拉什回憶道：“我的第一反應是，這是一個愚蠢的想法，最多只能算是新奇玩意。但我不會告訴研究人員應該怎么做，因為如果沒有嘗試新概念的自由，你就無法獲得創新。這是好事，因為現在這顯然是一個非常具有前景的獨特想法。”

　　在首次演示過去兩年后，3D顯示技術和研究原型有了顯著的進展，擁有了專門構建的光學、電子、軟件和一系列支持技術，能夠幫助設備捕獲和繪制逼真的3D人臉。這一進展十分具有前景，但研究依然只是實驗性質：存在一系列的線纜，遠不是一體式設備，而且眼睛和面容渲染不夠逼真。然而，這是一個以FRL核心的自由探索理念為精神設計的研究原型。盡管研究離實際的產品路線圖尚十分遙遠，但它確實提供了關于反向透視如何應用到未來協作空間的一瞥。

　　左邊：沒有啟用外置顯示器的頭顯原型；中間：采用2D顯示器的頭顯原型；右邊：采用FRL團隊的3D顯示器的頭顯原型

　　1. 反向透視

　　反向透視的關鍵要素是外置3D顯示器。你可以簡單地在頭顯前端放置一塊2D顯示器，并在上面顯示用戶面容的平面投影。但對于這種解決方案，實際人臉到頭顯前端的任何偏移都會產生不和諧、不自然的視覺感知，并嚴重影響真正的眼神交流。隨著研究原型的發展，3D顯示器顯然是一個正確的方向，因為它可以將用戶的眼睛和面容渲染到正確的空間位置。隨著第三方相對于3D顯示器移動時，這能夠保持相關眼神面容的對齊。

　　顯示3D圖像存在多種已確立的方法。在這項研究中，FRL團隊采用了微透鏡陣列光場顯示器，因為它非常薄，結構簡單，并且基于現有的消費者LCD技術。這種顯示器采用一個微型透鏡網格，由不同的LCD像素向不同的方向發射光線。這樣，當第三方從不同的方向看向顯示器時，其可以看到不同的圖像。圖像的透視角度會自然變化，所以房間中的所有人都可以看到光場顯示，看到其位置的正確透視圖。

　　與任何早期的研究原型一樣，這種硬件依然存在非常大的局限性：第一，視角不能太大；第二，原型只能顯示距離物理屏幕表面幾厘米以內的清晰焦點對象。對話需要面對面進行，這自然限制了反向透視視角。

　　當然，人臉離實際屏幕表面只有幾厘米，這非常適合當前的情況，而如果虛擬現實頭顯繼續縮小尺寸，采用全息光學元件等方法，效果會進一步提升。

　　2. 打造研究原型

　　FRL的研究人員在早期的探索中使用了Rift S。隨著概念的演進，團隊開始用Half Dome 2進行迭代，以構建今年在SIGGRAPH展示的研究原型。機械研究工程師喬爾·赫格蘭（Joel Hegland）用最基礎的裸架提供了一個大約50毫米厚的VR頭顯，以作為最新反向透視演示的基礎。然后，光學科學家布賴恩·惠爾賴特（Brian Wheelwright）設計了一個裝載到頭顯前端的微透鏡陣列。

　　最終的頭顯包含兩個彼此鏡像的顯示盒。它們具有一個LCD面板和用于基礎VR顯示的透鏡。一圈紅外LED照亮由裸架覆蓋的人臉。在透鏡和屏幕之間搭載一面只反射紅外光的鏡子，這樣紅外攝像頭就可以幾乎正面地觀察眼睛。在不可見的紅外波段進行所述操作可以避免眼睛成像系統分散用戶對VR顯示器本身的注意力。然后，裸架的前端包括另一個帶有微透鏡陣列的LCD。

　　3. 在3D中成像雙眼和面容

　　由光場顯示器成像交錯的3D圖像本身就是一個重大挑戰。對于這個研究原型，松田及其團隊選擇使用一對立體攝像頭來生成面容的表面模型，然后將眼睛視圖投影到所述表面。盡管產生的投影眼睛和面容并不逼真，但這只是為日后發展鋪平道路的短期解決方案。

　　FRL的Codec Avatars研究指明了下一代的成像方案。Codec Avatars是人臉、表情、聲音和身體的真實表示。通過深度學習，它可以由VR頭顯實采集的一組緊湊測量數據中驅動。所述虛擬化身對于反向透視應該更為有效，允許實現一個統一的人臉表現系統。

　　如下所示，這是FRL匹茲堡實驗室的一個Codec Avatar研究，由反向透視頭顯原型運行。與使用當前立體攝像頭方法拍攝的圖像相比，相關圖像及其隨時間的運動看起來要逼真得多。這表明，所述系統在與遠程臨場感系統協同工作時可以提供進一步的改進。

　　顯示Codex Avatar面容構建的反向透視原型

　　4. 通向社交共在感的道路

　　完全沉浸式VR和AR眼鏡是兩種根本不同的技術。從長遠來看，這兩種技術可能最終會為不同場景中的不同用戶提供服務。在特定情況下，人們需要AR眼鏡的透明光學系統；在其他情況下，用戶更喜歡VR的沉浸感。在邁克爾·亞伯拉什的指導下，Facebook Reality Labs Research在探索新技術概念方面采用了廣撒網的策略，以便在這兩種顯示架構中向前推進。充分探索這一領域將確保實驗室掌握未來AR/VR設備的所有可能性和局限性，并最終以一種支持大多數人機交互的方式來將所述發現付諸實踐。

　　反向透視是這類研究的代表：一個來自實驗室的想法是如何推動VR頭顯實用性的向前發展。在今年下半年，團隊將對所述顯示系統研究進行更為全面的介紹，并展示從變焦、全息光學、眼動追蹤、失真校正到反向透等是如何協作，并通過虛擬現實版的視覺圖靈測試。

　　團隊表示：“最終，這些創新和更多的創新將共同創造出緊湊、輕便、全天可佩戴的虛擬現實頭顯，并將高質量的虛擬圖像與高質量的真實圖像混合在一起。這樣，不管對方是在地球的另一邊還是站在旁邊，你都可以和世界上的任何人共在一起。實現這一目標是我們Facebook Reality Labs Research的目標。”