不久前，微軟正式推出了Mesh平臺，此舉透露了微軟下一步想要主導MR領域的野心。Mesh將成為其中的重要一環，這尤其體現在企業客戶方面。
但除了公告中包含的一些細節外，真正讓一些業內人士感到興奮的是Mesh發布時附帶的演示視頻。它看起來就像鋼鐵俠全息實驗室里的東西，但有非常真實的傳感器和顯示技術的支持。
為了解讀Mesh對于HoloLens 2和整個MR領域的真正意義，微軟的混合現實業務主管Greg Sullivan接受了外媒采訪，并回答了關于Mesh的許多問題。
核心能力：為用戶帶來臨場感
Greg Sullivan表示，微軟的Mesh平臺是一項Azure服務，它是一個協作的沉浸式平臺，使用Azure來為用戶提供這些功能。其解釋道：“它將利用我們幾年前推出的Azure遠程渲染技術，并使用Azure來管理用戶身份，無論是通過Azure Active Directory還是通過用戶的微軟賬戶。”
Sullivan指出，Mesh的核心能力之一是一種臨場感，使用戶能感覺到就好像真的身處于距離數百或數千英里的地方一樣。Mesh為用戶帶來臨場感的方式之一是讓虛擬化身出現在某個地方。
其說道：“我們為用戶呈現臨場感的方式之一就是虛擬化身。我們從《AltspaceVR》的虛擬化身形象系統開始，團隊把它帶到了Azure平臺上，所以現在它將具備Azure的所有企業級管理和安全性，以及人們所期望的其他東西。”
圖源：Microsoft
當用戶佩戴著HoloLens時，由于該設備擁有位置跟蹤和環境感應攝像頭，因此HoloLens中的傳感器能夠在用戶移動時進行追蹤。有趣的是，在Mesh中，HoloLens 2還可以做到完整的手部跟蹤。
正如人們所看到的，HoloLens 2在每只手上都能追蹤到25個不同的關節點。所以當用戶佩戴著HoloLens并使用Mesh時，會在虛擬世界中成為一個虛擬化身，而且這個虛擬化身會擁有完全的手部動作。
Sullivan還指出，需要更多的傳感器才能實現完全的容積捕獲。目前HoloLens中的傳感器并不能捕捉用戶的容積，它們現在只能捕捉用戶在空間中的6DoF運動，以及所有的手部動作。
“如果你仔細看視頻，你會看到我們對Azure Kinect開發者套件和相機的參考。Azure Kinect深度感應相機與HoloLens 2中的深度感應傳感器相同，” Sullivan說道。
“這種特殊的相機是我們在Kinect中使用過的ToF紅外相機。這比僅使用HoloLens內置的傳感器來追蹤用戶，并且僅僅將用戶表現為虛擬化身要更上一層樓。”
但如果使用Mesh的用戶并沒有HoloLens 2，又能夠使用怎樣的工具來連接這個平臺呢？
對此，Sullivan表示：“我想先把Mesh平臺和云服務區分開來。通過云服務，開發者可以把這些Mesh平臺的功能構建到自己的應用中去，這是一個沉浸式的協作云服務。任何開發者都可以用同樣的方式進行編程，就像游戲開發者為Xbox編寫一款游戲那樣，只要插入Xbox Live，就可以自動讓它成為一款多人聯網游戲。”
“Mesh通過插入Mesh SDK并將該功能添加到應用程序中，使任何應用都能成為沉浸式、協作式的混合現實應用程序。所以這個應用可以在HoloLens上運行，也可以在Oculus上運行......你可以在Windows MR頭顯中，也可以在PC、Mac或智能手機上使用。所以，Mesh應用的執行環境是跨平臺的。”
Sullivan進一步指出，微軟的愿景是無論用戶使用何種設備，都能在某種程度上參與Mesh。人們能在多種設備上運行支持Mesh的應用，這樣就可以與朋友或同事在三維的虛擬空間中進行協作。區別在于使用不同的硬件會有不同的體驗。如果大家都通過HoloLens 2運行一個Mesh應用，那么將能夠以虛擬化身的形式進行互動和協作。
Sullivan表示，雖然不能透露具體時間，但微軟將推出支持Mesh的Microsoft Teams。如果用戶是通過筆記本電腦加入會議，那么只能通過二維屏幕顯示內容，雖然設備中沒有內置位置跟蹤功能，但仍然能夠通過支持Mesh的Microsoft Teams加入會議。
圖源：Microsoft
“如果我們構建的這個平臺只有在有HoloLens的情況下才能使用，那就限制了實際能使用這個平臺的人數。口袋里裝著智能手機的人遠比擁有HoloLens的人要多得多。所以我們看中的是所有的終端，以及現在人們能體驗MR的所有方式，無論是《精靈寶可夢GO》還是其他東西，”
Sullivan說道。“這些智能設備有AR框架、iOS和Android、ARKit和ARCore，我們可以為它們添加新的能力，讓開發者可以為平臺構建應用，不管是在iPhone，還是Mac或PC端，他們都可以為應用添加Mesh能力。”
賦能開發者，開發Mesh的創造性應用
在微軟宣布推出Mesh并進行演示后，有人認為這個平臺與另一個遠程協作平臺Spatial很相似，同時微軟也與Spatial保持著密切的合作關系。
對于二者在功能上是否有重疊或潛在競爭關系這個問題，Sullivan表示：“任何開發者都可以在他們的應用中構建協作、共享的沉浸式體驗。這將意味著Spatial可以與我們合作，對協作平臺基底進行探索維護，然后他們可以進行補充，并集中精力進行投資和資源投入，以使他們的服務和應用與眾不同。”
Sullivan在采訪中表示，目前Spatial已經有了一個良好開端，他們對自己能提供的價值有了非常清晰的認識，這在某些方面上將使他們能更專注于自己的產品。但人們仍然需要有人來提供一個通用的基礎，在這個基礎上，開發者們可以建立屬于自己的應用，并滿足特定受眾的需求。
其說道：“這更像是一些底層標準……要考慮的是如何解決一些基礎性的管道問題。然后你可以在這個基礎上進行構建。”
從Sullivan的說法來看，如果舉例來說，微軟的Mesh平臺就像我們正在使用的網絡瀏覽器，而開發者們可以在此基礎上為人們創建可以滿足各種需求的瀏覽器。
Sullivan還表示，微軟將通過SDK免費為開發者提供Mesh平臺，就像游戲開發者可以免費為Xbox Live構建應用一樣，開發者同樣能夠免費構建含有Mesh功能的應用。
其還透露，微軟希望能通過預覽版Mesh獲得開發者的反饋。“當我們開發Kinect時，能看到開發者對如何使用Kinect充滿了創造力。人們用很多非常有趣的方式來使用Kinect的深度感應攝像頭，而且這些用例都與Xbox游戲無關。這也是開發者們發揮創造力的直接結果。”
“現在我們的Mesh正處于預覽階段，我們期待著將這個平臺交給開發者后，能讓我們學到很多關于如何使用它的創新方法。”
疫情推動人們接受新概念
在疫情的影響之下，遠程工作已經逐漸成為常態。許多人都在通過遠程協作軟件進行視頻會議，并已經開始將AR和VR技術視作替代方案。Sullivan表示，在疫情的背景下，他們意識到了臨場感的重要性。
其說道：“每個人在使用Zoom或者Teams的時候都會或多或少產生倦怠感。這些工具很神奇，它們能讓我們在特殊時期繼續進行自己的工作，但它也凸顯了一些我們無法從這些體驗中獲得的東西。”
“我們無法通過這些工具獲得真正的臨場感。我們無法在走廊上對話，在對話時無法望向對方的眼睛，也沒有正在合作的實感，這些都是我們很想念的事情。有些時候，人們確實需要臨場感，并且希望能夠面對面交流。”
圖源：Microsoft
“在這過去的一年中，我們看到了技術如何改善我們的工作方式，”Sullivan說道。
“對我個人來說，我已經不再需要通勤了。因此，我認為在這種情況下，技術可以真正幫助我們解決一些現在所面臨的問題。在過去的一年里，這場疫情已經成為推動人們接受這一概念的加速器。我不認為它從根本上改變了什么，但在某種意義上來說，它加速了一些可能會發生的事情的進程。”
來源：VR陀螺
