過去的十年，虛擬現實(VR)和增強現實(AR)可以說是市場發展最火爆但消退也最快的電子創新。VR是完整的沉浸式交互，而AR則在現實環境中疊加增強的虛擬對象。這些由處理器計算生成的虛擬對象會以多種形式呈現，例如圖像、視頻或交互式數據，這類融合的技術統稱為擴展現實(XR)。2019年似乎是AR和VR重新恢復元氣的一年，用戶體驗和內容方面都取得了很大的進步，驅動著用戶需求的激增。進入2020年，伴隨著新冠病毒疫情在全球蔓延，5G網絡也開始在全球鋪開，網絡速度的大幅提升將為VR/AR提供低延時的保證，同時也會改變VR/AR設備的連接和設計。
市調機構Digi-Capital 去年發布的報告顯示，在未來 5 年中，AR/VR 將迎來高速增長。預計到 2023 年，AR 市場規模將達 700~750 億美元(包含移動端 AR 和 AR 眼鏡)，而VR 市場規模將達到 100~150 億美元。根據另一家機構的數據，全球對XR的需求在2020-2026年間的復合年增長率高達45.0％，到2026年將達到3463.9億美元
科技巨頭加大AR/VR投資和研發
曇花一現的Google眼鏡雖然是一個失敗的嘗試，但Google并沒有停止VR/AR的探索。為了實現其無處不在的“環繞計算”(ambient computing)愿景，Google最近收購了加拿大智能眼鏡初創公司North。同時，Facebook、蘋果、微軟、HTC，以及Magic Leap和 Snap等大小公司都在爭搶下一代智能設備市場的有利位置，無論通過手機還是專用硬件設備。
Facebook于2014年花費20億美元收購VR頭盔初創公司Oculus，但由于顯示、傳輸速率等多種技術的不成熟，VR設備的用戶體驗比較差，難以為大眾消費者所接受。然而，Facebook并沒有放棄探索下一個能夠替代手機的技術產品，反而投入更多資金和人力研發VR/AR技術。
Oculus Quest是一個獨立的VR硬件設備，具有兩個六自由度(6DOF)控制器，主控芯片采用高通驍龍835和Adreno 540 GPU，配備兩個鉆石Pentile OLED顯示屏。
Facebook正在開發代號為Orion的AR眼鏡，預計將于2023年發布。鑒于用戶無法使用傳統的觸屏和鍵盤輸入方法來控制AR眼鏡，Facebook正在大力投入開發一種稱為人腦-計算接口的全新技術，利用可穿戴傳感器來檢測佩戴者頭腦的想法并用簡單的語句表達出來。
微軟的最新MR(混合現實)產品HoloLens 2瞄準的不是大眾消費者，而是專業人士和企業用戶。結合微軟的Windows操作系統和云計算平臺，HoloLens可以為商用用戶提供傳統軟件和視覺系統無法呈現的視覺效果。只要通過手和眼睛，用戶即可在顯示玻璃上跟蹤和滑動凸顯，特別適用于醫療、科學研究和工廠設備檢視等場景。
2017年蘋果CEO Tim Cook在一次訪談中表示，AR市場將會像智能手機一樣龐大，但現在還沒有合適的技術來構建適合消費者使用的AR眼鏡。 擅長創新但不會第一個吃螃蟹的蘋果在AR上也開始加大力度，預計將于2022年發布一款AR頭盔產品，而AR眼鏡要到2023年才能發布，但蘋果計劃2021年就開始構建開發者生態來開發AR頭盔APP。
蘋果AR頭盔項目代號為N301，據稱將混合AR和VR功能，它類似Facebook Oculus Quest，但會更輕巧，攝像頭綁定在設備外面，可以讓用戶看到并與周圍環境互動。蘋果的AR眼鏡項目代號為N421，比頭盔的技術難度更高，因此預期發布日期也會晚一年。現在的原型看起來像一個高端太陽鏡，厚厚的鏡框內置芯片和供電電池。要讓用戶整天佩戴，輕便小巧是必需的，在所用材料和配件上還有太多的技術挑戰需要克服。
高通和華為海思圍繞XR芯片構建新的生態
高通最近發布XR2芯片，并聯合全球15家合作伙伴一起打造XR Viewer生態，其中包括中興、VIVO和一加等手機廠商，以及VR/AR開發商和電信運營商等。高通還為此專門推出了Qualcomm XR眼鏡適配計劃，其中包括XR Viewer與智能手機的六自由度（6DoF）頭部追蹤性能適配認證。
華為海思也推出了首款 XR 芯片，支持 8K 解碼能力，并集成了 GPU和NPU處理器。華為攜手Rokid開發全新的雙目一體AR眼鏡Rokid Vision，備受行業關注。
VR/AR能否流行進入主流大眾市場，關鍵還在于用戶體驗。影響VR體驗的三大因素包括：
1.顯示的清晰度：人眼視網膜分辨率的極限是60PPD（Pixels Per Degree, 每度像素數），用戶使用4K VR頭顯觀看4K分辨率的VR全景視頻，其清晰度遠低于人眼舒適的PPD。需要同時提高顯示屏和視頻內容的分辨率才能顯著提高VR清晰度；
2.畫面的流暢性：顯示屏幕刷新率和VR視頻幀率都會影響畫面的流暢性，屏幕刷新率一般要高于72Hz，而VR幀率要求在90FPS以上；
3.交互的延遲：從運動到成像的時延MTP（Motion-to-Photons）要低于20ms，VR才不會讓人產生眩暈感。要降低傳輸時延才能保證用戶交互感，提供較好的用戶體驗。
目前VR設備主要是連接到PC的頭顯，或者像Facebook Oculus Quest之類的獨立頭顯。除用戶體驗不佳外，這類設備的成本和使用操作也不太能為大眾用戶所接受。5G網絡可以解決傳輸速度和延遲問題，顯示屏、主控芯片和VR/AR視頻內容也可以支持8K分辨率，與5G手機配套將成為VR/AR新的出路。
6DoF空間定位是增強XR用戶體驗的關鍵技術
在VR領域，無論是inside-out還是outside-in追蹤方案，都需要對controller進行實時定位和追蹤，要求無論controller的移動速度有多快，有沒有被遮擋，都要準確定位、穩定追蹤、不能丟失。6DoF空間定位技術是支持VR/AR沉浸式體驗的關鍵。無論采用高通XR芯片，還是華為的8K解碼芯片，VR/AR設備都必須支持高分辨率顯示和先進的六自由度（6DoF）追蹤功能。
目前，HTC、Oculus和索尼都提供了基于激光、單目視覺和雙目視覺的outside-in controller及其追蹤方案，微軟的Holographic項目也提供了inside-out的controller及其追蹤方案。雖然現有方案已經對定位精度做得比較好了，但是成本一直居高不下。在保持現有定位精度不降低甚至進一步提高的條件下，如何提供更低成本的定位方案？這是目前VR業內巨頭們正在努力解決的難題。
位于深圳的VR初創公司歡創科技(Camsense)自主研發出一種多傳感器融合技術，配合多個單目相機系統來實現outside-in 或者inside-out VR追蹤體系，該系統可實現對頭盔和手柄六自由度的高性能追蹤定位。這家公司現在正與多家業內一線品牌廠商合作，為其VR/AR設備提供基礎空間定位技術。
《電子工程專輯》主分析師顧正書專門采訪了歡創科技創始人兼CEO周琨先生，就VR/AR的市場趨勢及其核心追蹤技術進行了深入探討。下面是針對VR/AR關鍵技術和Camsense解決方案的問答要點，以及歡創科技采用的單目測量空間定位原理解釋。
一、請談談對VR/AR未來3-5年的市場發展看法
● 5G商業部署帶來網絡傳輸速度的提升，為VR/AR實時交互體驗提供了基礎保障
● VR頭盔的攝像定位從Outside-in轉向Insider-out，方便用戶操作使用
● Facebook Oculus、Microsoft、HTC等VR巨頭加大投資研發力度，推動VR/AR市場重新煥發活力
● VR/AR內容更為豐富，特別是沉浸式交互游戲，比如美國Valve公司開發的游戲
● VR和AR融合為XR，交互式娛樂+垂直2B應用（教育、旅游、培訓等）是重點應該領域
● VR/AR將成為手機的用戶體驗增強功能，未來市場規模高達10億臺/年
二、Camsense針對VR/AR應用的技術方向和產品規劃
● 核心技術在于單目精準空間定位算法
● 歡創科技自從2014-15年以來已經有多年VR技術積累
● 與多家業內一線品牌廠商合作，打磨六自由度空間定位算法和技術
● 采用Camsense技術的VR/AR設備2021年出貨量有望達到100萬臺
● 一旦進入量產，公司會提供包括ASIC、算法和模組在內的完整方案
三、公司的技術定位和市場戰略
● Camsense憑借高性能VR追蹤系統積極參與確定市場和技術方向。Camsense HPP SDK是一套業內領先、基于自主知識產權的紅外光學定位算法，將內置于公司研發的芯片、傳感器和模組中。
● 團隊目前有50余人，其中研發人員40余人
● 目標是樹立國內第一的視覺空間定位行業地位，致力于成為全球計算機視覺空間定位領先企業
● 主要競爭包括亞洲光學和加拿大NDI等。
四、為什么選擇單目測量？
單目測量比激光和雙目的測量方式難度都大，因為它沒有激光那么高精度的測量元件，同時所采集的信息量又不如雙目那么多，所以要實現三維空間定位，必須要采用不同的方法。一般來講，有兩種方式可實現單目定位。一是采用結合IMU傳感器的多幀定位方法，讓攝像頭在運動過程中連續不斷的采集多幀信息，通過IMU信息和多幀圖像對比來計算攝像頭自身的運動參數，并估計物體位置，常見的單目SLAM算法就是這么做的。二是進行單幀測量，就是基于PnP原理進行定位和測量。單幀測量不需要借助IMU作為輔助傳感器，但需要預先知道被測量物體的幾何模型。幾何模型掌握的越精確，定位精度就越精確。在測量時，首先需要提取出被測量物體上至少4個不共面的興趣點，然后再根據這幾個點之間的幾何模型約束，唯一反解出物體的空間位置、姿態以及幾何尺寸。
相比其它測量方式，基于單幀的單目測量需要預先知道被測量物體的幾何模型，從而可以在計算過程中引入約束進行校驗，因此可以非常精確的測量出物體的空間位置和姿態。例如，Oculus Rift定位系統的定位精度就可以達到2-3mm，比起Sony PSVR的雙目攝像頭來講，精度提高了一個數量級。
但這種方式也有一定的限制，需要預先估計或者掌握被測量物體的幾何模型。在很多場景下，這個也不是大問題。例如，在工業領域中，被測量物體都是預先知道的。甚至在家用環境下，如果被測量物體是一個已知的大致模型，也可以用于估計位置和姿態，只是精度沒有那么高而已。單目的優勢很多，包括運算量相對比較小、FoV視場角大、不像雙目視覺會有盲區等。
為了更加清晰直觀地講解VR/AR設備及其核心6DoF空間定位技術，我們專門舉辦一場“硬件創新”直播講座，特邀請高通中國VR/AR業務負責人郭鵬，以及歡創科技創始人兼CEO周琨，與觀眾分享即將伴隨5G手機進入大眾市場的VR/AR頭顯市場趨勢、生態發展、核心技術和設計方案。
來源：EET電子工程專輯
