在三月初舉辦的Ignite 2021大會上，微軟推出了全新的MR協作平臺Mesh，揭示了微軟邁向MR主導企業（尤其是在行業應用領域）的下一步重要行動。

除了公告中包含的普通細節外，真正能夠令人感到興奮的是Mesh演示視頻，展示了在當前傳感器和顯示技術的支持下，能夠做出的酷炫MR應用。

但大家仍然還保留著一絲疑問：視頻中的內容真的可以實現嗎？如果是，如何開發出視頻中的某些應用內容？Microsoft如果真正專注于企業領域，那么以消費者為中心的示例（例如Microsoft與Niantic聯手展示的Pokemon Go概念視頻）背后的含義是什么？為了了解Mesh對HoloLens 2和AR領域的真正意義，NextReality對Microsoft的Greg Sullivan進行了一次專訪，以解答大家對于Mesh的一些疑惑。

以下是對采訪內容的整理：

Q：Mesh精美的演示視頻簡直不可思議。我認為，很多人對視頻感到興奮是因為它不僅僅看起來像科幻小說中的情節，而且我們現在可以通過HoloLens和Kinect等技術來將它實現。

但是，視頻中呈現的更加逼真立體的全息影像需要更多的傳感器才能實現，目前大多數的在線協作只是基于一個簡單的化身來實現。這讓我們產生了一些懷疑。我們想知道的是，視頻中展現的哪些片段是Mesh真正能夠做到的。

Greg Sullivan：簡短的來說，目前我們的確只能使用一個簡單的化身系統。這段視頻的主旨在于描述Mesh的一項核心功能：臨場感，讓你感受到真的能夠身處距離數百或數千英里外的現實場景中。如何遠程呈現用戶的外觀？最終的目標當然是你描述過的更加逼真立體的全息影像，但這是一種較為復雜的方式。我們需要從另一種方式起步，就是化身系統。

我們從AltspaceVR的化身開始，將整套系統搬到了Azure上，也因此，這套系統將會從Azure繼承所有企業級的管理和安全等功能。這是對于最終目標最簡單的實現，當你戴上 HoloLens，它具有的位置跟蹤和環境感應攝像頭等傳感器可以在你移動時追蹤你的動作。

在Mesh中，有關HoloLens 2最酷的功能之一是完全清晰的手部跟蹤。如你所見，HoloLens 2可以追蹤每只手25個不同的關節點。因此，當你佩戴HoloLens并使用Mesh時，你的形象會被簡化，但該簡化的化身通過HoloLens 2可以擁有完整的手勢動作。

先前你還提到了“需要更多的傳感器”以進行完整的體積捕捉（Volumetric Capture），或者說從化身發展成為完整的全息影像。的確，HoloLens中的傳感器無法對你的身體進行體積捕捉，它可以捕捉用戶在空間中六個自由度的運動，可以捕捉所有的手部運動，但是無法捕捉到用戶的整個身體。

現在有幾種選擇擺在我們面前，但如果仔細看一下Mesh的宣傳視頻，你就會看到對Azure Kinect開發人員工具包和攝像頭的引用。Azure Kinect與HoloLens 2使用了相同的深度傳感攝像頭。就視頻中下象棋或遠程協作的部分來說，你可以看到用戶已經被體積捕捉功能創建了全息影像，但該影像只能顯示用戶的正面。如果你使用Kinect的ToF紅外攝像頭，可以做到類似的功能。當然，其他深度感應技術也同樣能做到，例如LiDAR。但要使用HoloLens 2的內置傳感器來實現追蹤用戶的身體實現體積捕捉而不是只使用化身來代表用戶，仍有一些工作需要完成。

Q：假設我在一端使用HoloLens 2，另一端的人由AltspaceVR風格的化身表示，他們可以使用哪些設備？假設對方沒有HoloLens 2，他們將使用哪些不同的工具進行連接？

Sullivan：在我完全回答問題之前，我想先區分開Mesh平臺和Mesh云服務提供的功能。開發人員可以通過身臨其境的Mesh協作云服務將這些功能構建到自己的應用程序中，以和游戲開發人員相同的方式編寫游戲（例如加入Xbox Live使其自動成為多人網絡游戲）。

通過引用Mesh SDK并將協作功能添加到你的應用程序中，Mesh能使任何應用程序成為沉浸式的MR協作應用。因此該應用程序可以在HoloLens上運行，也可以在Oculus上運行。您可以在Windows Mixed Reality頭顯中使用，也可以在PC或Mac或智能手機上使用。因此，內置了Mesh云服務的應用程序其執行環境是跨平臺的。

微軟的愿景是無論用戶使用哪種設備，都能夠一定程度地參與到Mesh平臺中。通過運行內置Mesh云服務的應用程序，用戶可以與朋友或同事在三維虛擬空間中進行協作，唯一的不同在于大家使用的硬件。如果你和我都戴上HoloLens 2，我們可以打開并運行一個Mesh應用程序，然后用化身來代表我們，在對方周圍走動并進行協作。

如果有人通過筆記本電腦的二維屏幕參加了該會議，意味著他們的設備中沒有內置的位置追蹤功能。因此，如果他們在房間里走來走去，應用中他們并不會動。這些用戶只能通過鼠標來導航，但是我們依然可以邀請他參加我們的會議。我們尚未在Microsoft Teams應用程序中內置此功能，但是最終，任何用戶都將能夠通過啟用了Mesh云服務的Microsoft Teams加入其他人的會議。我們確實承諾將做到這一點，但目前還沒法公布一個確切的時間節點。

因此，微軟的想法是做出雙向的互聯。首先，如果微軟構建的Mesh只有擁有HoloLens才能使用，實際上會限制該應用的用戶數量。目前來說，口袋里裝著智能手機的人數要比擁有HoloLens的人多得多。因此，我們研究了所有的終端智能設備，以及當今所有人們體驗MR的方式，其中包括了Pokemon Go以及其他很多東西。這些智能設備上已經出現了AR框架，例如iOS和Android上的ARCore和ARKit。我們的目標是通過添加新的功能，來讓開發人員可以為無論是iPhone、Mac還是PC構建應用程序并添加Mesh云服務。

Q：有些人最初會對Mesh的演示視頻感到困惑。首先mesh（網格）這個名詞通常指代3D和metaverse世界中所有事物上的虛擬層。但微軟將Mesh一詞用來表示將各種沉浸式平臺連接在一起。這里的Mesh表示的含義并不是我們常規認識中的「網格」一詞，對嗎？

Sullivan：是的，我們知道Mesh一詞的現有解釋，但我認為它很合適，因為我們所談論的是一種能夠使人與人之間互相連接并感知存在的基礎能力。

Q：問一個敏感的問題：Mesh給人的感覺很像Spatial。我知道你們在過去幾年中與Spatial建立了非常友好、親密的關系。所以我只是想知道，這是否會影響你們使用Spatial所做的一切？微軟與Spatial還有任何關聯嗎？你是否覺得你們之間現在存在任何業務上的重合和潛在的競爭嗎？

Sullivan：這是一個很好的問題。我并沒有親自參與過微軟與Spatial的合作關系，但HoloLens發明者 Alex Kipman曾親自參與過，他會告訴你他正在與Spatial緊密合作。這就是他向我描述的方式，Spatial團隊是一家初創企業，規模還很小。

關于“Spatial”這個問題如果展開說的話，其實是這樣：微軟和Spatial在解決一個共通的難題，讓任何開發人員都可以在他們的應用程序中構建協作、共享的沉浸式體驗。根據Alex透露過的信息，Spatial可以與微軟合作，共同維護實現MR協作所需要的一些基本組件和管道，同時Spatial還會對這些基本的組件和管道進行補充，集中資源精力進行一些定向的開發，以區分他們的服務和應用。

Q：這意味著雖然Mesh與Spatial的直接競爭很少，但Mesh的出現讓其他開發者與初創公司能夠更好的與Spatial競爭，對嗎？

Sullivan：是的，但Spatial已經取得了領先。他們對自己的產品所提供的價值有非常清晰的認識；同時在某些方面來說，競爭將使他們能夠更加專注于他們的產品。這是我們行業以前曾經發生過的事情，對嗎？有時，攻克一個難關能帶來很多好處。當一個問題被解決，人們應該慎重的思考是否所有人都應當為這個問題重復的「造輪子」。我們是想為每個應用程序都解決一次這個問題，還是可以提供一種通用的方法作為基礎，每個人都可以基于該方法建立自己獨有的方案，并滿足特定受眾的需求？

Q：這個示例讓我想起了Web瀏覽器時代，當時每個人都在試圖找出讓用戶更友好的訪問Internet的方案。因此，你想說的可能是Mesh幾乎就像是一個用于XR的Web瀏覽器，讓人們可以創建各種用于XR的Web瀏覽器。

Sullivan：更準確的說，更像是Web的基礎標準……這里主要提供了一些基礎管道問題的解決方法。然后，開發者可以在此基礎上進行新的構建。

Q：訪問Mesh需要付出什么等級的成本？是否有針對開發人員、專業人士和企業用戶的區分？從可訪問性的角度來看，Mesh將如何進行推廣？

Sullivan：這些問題的答案我們尚未公布，沒法提供很多細節。開發人員可以通過SDK免費使用Mesh，并將此功能構建到任何應用程序中，就像任何游戲開發人員都可以免費添加Xbox Live功能一樣。你可以認為Mesh和Xbox Live對于開發者來說是相同的，它免費且能夠用于任何應用程序。

Q：我想知道，如果使用云組件會產生一些費用嗎？

Sullivan：是的，這是一個合理的假設。我們尚未公布任何Mesh的細節。一部分預覽的工作是為了從開發人員那里獲得反饋。當我們使用Windows版Kinect時，開發人員就如何使用Kinect發揮了無限的創造力。

我們看到外科手術醫生和樂隊指揮家使用Kinect深度感應攝像頭創造了與Xbox游戲完全無關的有趣使用方式。這是開發人員發揮創造力的直接結果。既然我們處于Mesh的預覽階段，將其移交給開發人員將教會我們很多有關如何使用它的知識。因此，我們希望能夠進行一系列的創新。

Q：對于那些不熟悉Microsoft各種軟件產品的人，能否解釋下Mesh如何與Azure協作，兩者又有哪些區別。這兩種服務都是面向云的，差異在哪里？

Sullivan：我要說的是，Microsoft Mesh是Azure提供的一項服務。Mesh是一個沉浸平臺，使用Azure來提供協作功能。它利用了我們幾年前引入的Azure遠程渲染功能，還使用Azure管理你的身份，無論是通過Azure Active Directory還是通過你的Microsoft帳戶。

Q：鑒于我們在過去的一年中經歷了新冠病毒疫情的大流行，遠程工作已成為一種趨勢。在這種情況下，很多人需要進行遠程會議，并開始將AR和VR視為替代方案。但并不是每個人都需要沉浸式的環境，大多數人仍然需要更為簡單的視頻會議形式。作為微軟MR總監，最接近公司內部HoloLens和AR相關業務的人，你在過去一年中學到了什么？是否發現過關于如何使用AR的軼事或經驗？

Sullivan：大多數情況下，人們可以遠程完成工作，尤其是對于信息工作者來說，遠程工作幾乎不會產生任何影響，這完全是由技術帶來的。我們還意識到的一件事是，遠程協作時存在感非常重要。

每個人都對Zoom或Teams感到有些疲憊，這些工具之所以令人稱奇，是因為它們使我們能夠繼續開展工作，但也突出了我們從它們的體驗中沒有得到的一些東西。我們沒有一種自發合作的感覺。沒有走廊上的對話，沒有真正的臨場感，沒有眼神的接觸。我們確實錯過了一些事情，

我認為，去年我們學到的一件事是，一些會議可以被電子郵件取代，某些出差可能通過團隊電話解決。因此，我認為我們正在看到技術如何改善我們的工作方式。就我個人而言，我不再需要上下班通勤了。遠程協作已經改變了我的生活，這是技術引發變革的一個生動案例。而且我認為，去年的新冠病毒疫情促進了遠程協作這一觀念被接受。這場疫情并沒有顛覆某些事情，但確實讓一些未來的趨勢加速到來。

來源：93913虛擬現實