一、VR 行業明顯提速,AR 產品蓄勢待發
1.1 VR/AR 的內涵與區別:構建沉浸式體驗
VR/AR 究竟是什么?很多人會對于 VR、AR 和 MR 這些概念的界定感到困惑,而不同企業和機構的定義 又往往有所不同。簡而言之,虛擬現實(VR)是虛擬場景的封閉式體驗,而增強現實(AR)體驗會將數字元 素疊加到現實世界的對象和背景上。混合現實(MR)可以說是升級版的 AR,能夠實現虛實場景的結合,和 AR 的區別就是對虛擬圖像的真實感做嚴格的要求,因此是 AR 的一種類別。
VR/AR 兩者在關鍵器件、終端形態上相似性較大,在關鍵技術上也有重疊之處,而在應用領域上有所差異。VR/AR 均需要用計算機繪制虛擬圖像。VR 中的圖像全部由計算機繪制,往往需要配置高性能的 GPU,同時由 于 VR 是隔絕式的音視頻沉浸體驗,因此對顯示畫質要求較高。而 AR 中大部分圖像是通過鏡片透射或攝像頭 拍攝的,計算機繪制的圖像占比較少,而且是以信息性為主的,對圖像逼真度要求較低,因此對 GPU 要求不高。 但 AR 需要對場景進行理解,需要用非常復雜的算法,并且實時運行,這樣 AR 對 CPU 的運算性能要求非常高。 此外,VR 側重于游戲、視頻、直播與社交等大眾市場,AR 側重于工業、軍事等垂直應用。
1.2 VR/AR 重回關注:進入提速增長階段
1.2.1 VR/AR 發展史回顧:經歷了熱炒、低谷,迎來新的拐點
VR/AR 行業經歷了熱炒、低谷,到復蘇,迎來了新的拐點。2012 年,谷歌推出了 Google Glass 的 AR 眼鏡產 品,其后, Oculus 被 Facebook 以 20 億美金收購,并推出 VR 頭盔。VR/AR 概念進入市場視野,被認為是替代 智能手機的下一代終端形態。Facebook 和微軟先后進入 VR/AR 市場,包括 Sony、三星、HTC 等多家大廠開始推 出相關的硬件產品,2015-2016 年 VR/AR 市場熱度達到高點。但到了 2016 年下半年,由于商業模式,以及網絡、 硬件和內容上的瓶頸都沒有突破,資本輸血式的發展模式并不能夠持續,行業開始進入寒冬。2018 年 VR 歷經 熱炒、低谷,已逐步成熟,并從 Gartner 曲線中消失,AR 仍處于泡沫破滅的低谷期,有待技術的突破和發展。 2020 年疫情推動居家需求,以 Oculus 為代表的 VR 產品需求增長強勁,用戶基數增加以及眾多開發者的加入, 使 VR 行業明顯提速。而隨著 AR 光學技術不斷取得突破,行業也迎來了新的拐點。
1.2.2 出貨量明顯加速增長,應用端和 B 端成為市場規模重要推力
從終端設備出貨量看,2020 年行業總體出貨量增長較為顯著,市場反響持續升溫,已進入產業化放量增長 階段。陀螺研究院報告顯示,VR 頭顯 2020 年全球出貨量達到 670 萬臺,同比提升 72%,預計 21-22 年將持續 高速增長。疫情影響下,室內娛樂設備需求顯著提升,同時具有 C 端統治潛力的 Oculus Quest 系列產品及 VR 娛 樂平臺上線,提供了完整優質的用戶體驗,促使 C 端 VR 頭顯出貨量顯著提升。
預計未來三年行業復合增長率超過 80%,不同終端形態互通性增強。IDC 數據顯示,預計 2024 年 VR/AR 終端出貨量超 7600 萬臺,其中 AR 設備達到 3500 萬臺,占比升至 55%,2020-2024 五年期間 VR/AR 終端出貨 量增速約為 86%,其中 VR、AR 增速分別為 56%、188%,預計 2023 年 AR 終端出貨量有望超越 VR。比之 2018-2020 年相對平緩的終端出貨量,隨著 Facebook Quest2、微軟 Hololens2 等標桿 VR/AR 終端迭代發售以 及電信運營商虛擬現實終端的發展推廣,2021 年有望成為 VR/AR 終端規模上量、顯著增長的關鍵年份,VR/AR 終端平均售價將從當前 2500/9700 元人民幣進一步下降。此外,華為 VR Glass、PicoNeo 2 等一體式頭顯終端 均可通過串流功能而不再受制于移動平臺的功耗與渲染算力,跨終端形態的使用融通性顯著提高。
全球 VR/AR 市場規模接近千億,AR 與內容應用成為首要增長點,預計 2024 年將達到近 5000 億元。據 IDC 等機構統計,2020 年全球 VR/AR 市場規模約為 900 億元人民幣,其中 VR 市場 620 億元,AR 市場 280 億 元。預計 2020-2024 五年期間全球虛擬現實產業規模年均增長率約為 54%,其中 VR 增速約 45%,AR 增速約 66%,2024 年兩者份額均為 2400 億元人民幣。從產業結構看,終端器件市場規模占比位居首位,2020 年規 模占比逾四成,隨著傳統行業數字化轉型與信息消費升級等常態化,內容應用市場將快速發展,預計 2024 年 市場規模超過 2800 億元。
2020 年成為重要轉折點,B 端市場規模持續增長,將與 C 端相近。2020 年已成為一個重要的轉折點,2C 端形成了居家辦公及娛樂的生活習慣,消費者宅家時間延長,而 2B 端由于疫情中斷了企業的供應鏈,工作場所 限制以及運營效率低下使企業更加關注員工培訓和協作。在整體 VR/AR 市場上,B 端支出小于 C 端,但未來的 大部分增長是來自 B 端。IDC 預測,2024 年 B 端應用市場包括培訓(41 億美元),工業維護(41 億美元)和零 售展示(27 億美元),C 端應用 VR 游戲,VR 視頻/功能觀看和 AR 游戲)的總支出為 176 億美元。
1.2.3 應用生態完善及行業標準確立,賦能行業加速成長
Steam 及 Quest 等 VR 平臺應用內容生態逐步完善。
(1)Steam 平臺是目前全球最大的綜合型數字發行平臺 之一,其開放生態和寬松的游戲發行機制在全球擁有大量的用戶。Steam VR 支持自選 VR 硬件體驗平臺上的 VR 內容,促進了平臺應用的開發,目前 Steam 平臺已有超過 4000 個 VR 商品,2020 年 Steam 平臺新增 VR 用戶 170 萬,相關收入同比增長 71%。
(2)Quest 作為封閉生態的代表,上線游戲超過 200 個,質量較高,用戶付費意愿 強。2020 年 9 月 Quest 平臺內容累計收入已達 1.5 億美元,隨著 Quest 2 銷量上漲,平臺收入將進一步提升,預 計 2021 年底達 5 億美元。
OpenXR 通用標準降低內容移植難度,吸引更多開發者入場。OpenXR 是來自 Khronos 的免費 API 標準,為 引擎提供跨 VR/AR 內的一系列設備的本機訪問權限,OpenXR 標準使應用只需編寫一次,就可以在所有硬件和軟 件平臺上進行運行,大幅減少開發者的軟件應用開發成本,極大的推動 XR 行業的發展。微軟和 Oculus 已開始 推廣并開放了自己平臺的 OpenXR 接口,Steam VR 21 年 2 月 25 日更新版本正式支持 OpenXR。該標準目前已有 超過 40 家硬件廠商和游戲平臺加入,將會進一步擴大 XR 市場前景和商業空間。
VR 頭顯出貨量提升和 VR 應用開發標準及生態確立共同構造行業增速良性循環。2020 年全球 VR 頭顯出貨 超過 600 萬臺,預計 2021 年全球 VR 頭顯將達到 980 萬臺的出貨量規模。Oculus Quest 2 于 2020Q4 約達到 200-300 萬的銷量,我們預計 2021 年全年銷量超過 700 萬。2020 年全球 VR 用戶已經超過千萬,用戶群體壯大為 VR 內 容提供了市場前景和商業空間,形成了“VR 頭顯銷量增長-用戶增長-內容需求爆發-內容收入提高-優秀開發者持 續入場-內容質量提高-VR 頭顯銷量繼續增長”這一良性循環狀態。
1.3 VR/AR 投融資趨勢:市場情緒上升,投融資規模穩步提升
2020 年 VR/AR 投融資規模繼續上升,海外投資規模提升顯著。由于 VR/AR 行業多數企業尚處于中早期創 業階段,極大依賴外部融資和并購進行研發活動,投融資仍是行業景氣度重要的衡量指標。從規模上看,2020 年 VR/AR 投融資規模達到 244 億元,投融資并購發生 219 起,實現連續三年上漲。其中海外投資規模提升顯著, 較 2019 年提升 36.8%,國外產業較國內領先 2-3 年,產業和資本對行業的研究和理解更加深入,投融資活動更 活躍,預計未來國內企業的估值和融資會更上一層樓。
從環節上看,硬件和應用仍是重點環節。行業仍在上游硬件上發力,競爭格局尚未定型,硬件尚待繼續成 熟,也是資本主要布局的方向。應用方面更多在 B 端尋找機會,尤其是 AR 尚未破圈到 C 端。內容方面隨著 VR 銷量和用戶開始放量,游戲生態進入良性循環,未來將吸引更多資本入局。
2020 年和 2019 年的融資并購案例中,AR 眼鏡領域的并購金額居于首位。AR 眼鏡領域發生了幾筆大的并 購事件,包括 Magic Leap,North,Nreal 等。解決方案、工具軟件、游戲、教育培訓等領域也有較高的投融資 活躍度。此外,VR/AR 半導體芯片廠商也開始有了較高的關注度,其中最大一筆融資為 3D 成像半導體公司 Inuitive 獲得 1.06 億美元投資。
1.4 大廠布局:海外巨頭 VR/AR 持續布局,國內廠商處于探索階段
國內外龍頭廠商持續布局 VR/AR 行業,近年來均加大研發和并購活動,在技術方向和品類上各有側重。其 中 Facebook 以 Oculus 系列產品為切入持續建設 VR 產品及生態,微軟以 Hololens 為切入打磨 B 端 MR 產品及生 態,蘋果已申請大量專利并即將發布新品,谷歌持續完善消費級 AR 產品與生態,華為側重底層技術布局并陸續 推出產品。
Facebook 持續豐富 Oculus 生態。Facebook 近年收購機器視覺公司 Scape、VR 游戲開發商 Sanzaru、AR 地圖 數據公司 Mapillary、VR 變焦頭顯技術廠商 Lemnis 等;開發全新的 VR/AR 操作系統,擺脫對谷歌安卓的依賴; 推出 Quest 2,預計 21 年銷量超 700 萬臺,與雷朋合作生產 AR 眼鏡,預計 2021 年上市。
蘋果在 AR 產業鏈持續布局,即將發布產品。AR 設備的透鏡已在富士康工廠試產,預計于 2022 下半年發布 頭顯產品,2023 年發布眼鏡產品。蘋果收購 Next VR 布局內容領域,發布 ARKit4,以及 LiDAR Depth API 申請可調節透鏡 AR 波導顯示系統等幾十項 VR、AR 專利。
微軟繼續打磨 HoloLens。微軟推出 HoloLens 2 工業版,2021 年春季開放預購,HoloLens 2 將支持 5G 技術, 未來打造 AR 生態系統軟 MR 開發工具正式發布,新功能包括 Ultraleap 手部追蹤,MRTK Toolbox,手部菜單優化 等。
谷歌持續完善消費級 AR 產品與生態。谷歌 AR 眼鏡 Glass 2 開放購買,售價 999 美元。正式推出 ARCore Depth API。1.8 億美元收購加拿大 AR 眼鏡公司 North。谷歌搜索加入 AR 功能,支持 3D 動物的 MR 視頻錄制。
華為側重底層布局,多方位出擊。華為海思發布 XR 芯片,支持 8K 解碼,內置高性能 GPU。華為 AR 眼鏡 專利曝光,華為 AR 地圖正式上架華為應用市場,基于河圖技術構建,河圖 2.0 AR 地圖正式發布;發布 AR/VR Engine 3.0,推出全新的 AR 內容開發工具 Reality Studio。
阿里達摩院成立 XG 實驗室,為 VR/AR 場景研究視頻編解碼技術、網絡傳輸協議等相關標準。阿里影創 VR 研究院成立。 騰訊聚焦內容和云生態。
騰訊游戲與華為成立聯合創新實驗室探索 VR/AR 等前沿技術。與英偉達合作在 Tencent Marketplace 上全面提供 Cloud XR。
HTC持續優化 Vive 生態:發布兩款全新 VR 概念機(一體式 VR 和短焦 VR),同時停產 Vive Pro 和 Focus,繼 續生產 Pro Eye 和 Focus Plus。投資 VR 內容企業 Immersive VR Education,以及另外 7 價 VR/AR 內容和應用領域 企業。
二、VR:產業鏈核心環節均已漸趨成熟,硬件產品體驗大幅提升
2.1 VR 近期上市產品分析:一體機和輕量化為主流
2020 年 VR 上市產品以一體機和輕量化為主流。2020 年 Facebook 發布新一代 VR 一體機,Oculus Quest 2, 同時 HTC、華為、夏普、愛奇藝、電信均發布了 VR 產品,全年 13 歀 VR 頭顯中 7 款為一體機,且一體機重量輕 便于攜帶,符合消費電子產品的發展趨勢。
從 VR 頭顯硬件配置上看,高通 XR 芯片、Fast-LCD 屏幕,菲涅爾透鏡成為主要硬件方案,6DOF 及 Inside-Out 成為主要顯示交互方案。處理器上,高通 XR 已成為當前 VR 主力芯片。顯示上,4K、70Hz 的 Fast-LCD 屏為消 費級 VR 主流屏幕,能有效降低紗窗效應和眩暈感。光學上,普遍采用菲涅爾透鏡方案,短焦方案由于其產品體 積小厚度薄,越來越多的廠家開始跟進。追蹤顯示上,VR 頭顯逐步升級到 6DOF,Inside-Out 成為主流。
2.2 VR 產品結構及產業鏈:處理器、存儲、光學顯示器件合計占比超 80%
VR 終端的硬件部分主要由處理器、存儲、屏幕、光學器件、聲學器件、殼料、輔料構成。Oculus Quest 2 采用高通驍龍 XR2 芯片組、閃迪內存、JDI 和夏普的 LCD 顯示屏、兩片菲涅爾透鏡、國產鋰電池組、4 個外部攝 像頭實現 6DOF 頭部交互,實現了更輕的質量、更緊湊的結構、更準確的交互和更高的圖像性能。
處理器、存儲、光學顯示器件在 VR 終端成本中占比較高,產業鏈相對比較成熟。由于目前 VR 產品的使用 場景主要是游戲和視頻,以圖像處理和顯示為功能重點,因此在硬件成本中,負責計算、渲染和圖像處理的 CPU 和 GPU 占比較高,占比 16%左右;另外 VR 也需要較高的內存,存儲成本占比 27%;包括屏幕和光學器件在內 的顯示器件占比約為 40%。
目前 VR 硬件的產業鏈相對比較成熟,與智能手機重合度較高,許多領域的技術積累可以復用。VR 產業鏈 包括傳統的顯示屏產商 JDI、夏普、京東方、華星光電、深天馬等,以及傳統光學廠商舜宇光學科技、聯創電子 等,聲學廠商歌爾股份、瑞聲科技等,精密結構件廠商立訊精密、領益智造、長盈精密等,代工廠歌爾股份等。
2.3 計算芯片:高通為 VR/AR 開發專用芯片,驍龍 XR2 占市場主流
高通為 VR/AR 開發獨立專用的芯片平臺,提供強大硬件性能支持。高通驍龍推出 5G+XR 芯片 XR2,全面 布局 VR/AR 市場,驍龍 XR2 是基于驍龍 865 針對 VR/AR 設備進行改造的專用平臺,結合了高通 5G、AI 和 XR 領域的最新技術,相對 XR1 其性能得到顯著提升,XR2 在 Quest 2 上首發。目前高通芯片 835、845、驍龍 XR1、XR2 等芯片在 VR/AR 硬件市場上具有統治地位。
國產 VR/AR 芯片起步較晚,仍需時間積累。國產芯片起步較晚,目前全志科技、瑞芯微、晶晨等廠商都 提供了虛擬現實解決方案,但性能尚有差距。其中 16 年推出的瑞芯微 RK3399 定位高端 VR 芯片,采用了雙Cortex-A72 大核+四 Cortex-A53 小核和高端圖像處理器,面向高端 VR 設備市場。17 年推出的全志 VR9 采用四 核 Cortex-A53,支持 4K@60fps 解碼,視頻播放能力與高通驍龍 XR1 持平,主要用于中低端視頻播放 VR 設備。 20 年 5 月海思正式發布 XR 芯片平臺,可支持 8K 解碼能力,集成 GPU、NPU,Rokid Vision 將成為海思 XR 芯 片平臺的首款 AR 產品。國內 XR 芯片主要集中在中低端并在市場上具有一定的競爭力,但高端 XR 芯片開發能 力仍需要積累。
2.4 顯示:Fast-LCD 目前成為主流
VR 對像素密度要求極高,要求 1000ppi 以上的顯示器件。VR 的原理是將手機大小的屏幕分屏,然后用放 大鏡將屏幕畫面矯正后投射到人眼中,讓人形成雙目立體視覺。由于 VR 特殊的分屏播放形式,在顯示的時候單 個畫面只會用到屏幕一半的像素點,再加上光學鏡片和屏幕材質等因素的影響,復雜的光學系統位于用戶眼睛 和顯示面板之間,它們會嚴重降低圖像質量,VR 感知分辨率就會遠遠低于面板的分辨率。目前 8K 的 VR 可以相 當于屏幕 480P 的視覺效果,12K 的 VR 相當于平面 720P 的視覺效果。同時,由于便捷性和舒適性的要求,VR 的顯示器件面積較小,要讓這寬廣的世界在方寸之小的屏幕上顯示,對于 ppi(像素密度)的要求極高。目前普 通手機屏幕在 300ppi 左右,而 VR 則要求 1000ppi 以上的顯示器件。
Fast-LCD 屏幕量產穩定、性價比高,目前已成為消費級 VR 頭顯的主流屏幕。VR 頭顯與普通顯示器的區別 在于頭部的移動造成的圖像扭曲和運動模糊,為解決這一現象,需要全局刷新驅動技術,減少光源發光時間。 傳統 LCD 顯示屏的響應時間是其最大的問題,Fast-LCD 技術使用新的液晶材料(鐵電液晶材料)和超速驅動技 術(overdrive)來有效提升刷新率,同時也具有較高的量產穩定性和良率,性價比較高,Oculus Quest 2 即采用 一塊改良后的 Fast-LCD 替換了上代產品中的兩塊 AMOLED。
2.5 光學:菲涅爾透鏡得到成熟應用,未來向超短焦方案發展
菲涅爾透鏡在 VR 頭顯上得到廣泛成熟運用。菲涅爾透鏡采用聚乙烯塑料注塑成型工藝,表面加工成一圈 圈向外由小到大,由淺到深的同心圓,剖面看似鋸齒狀。該設計允許構造大光圈和短焦距的透鏡的同時具有較 輕的重量和較薄的厚度。但菲涅爾透鏡會使顯示器件的清晰度受損和曲率出現偏差。菲涅爾透鏡使 VR 頭顯設 備能在短距離中實現有效圖像顯示效果,是目前主流 VR 頭顯中透鏡光學部件。
超短焦光學為頭顯繼續“瘦身”,成為 VR 光學技術的未來發展方向。目前反射偏振的折疊光路(Pancake) 為最易量產的超短焦方案。Pancake 可以細分為兩片式和多片式兩種方案,目前市面上多為兩片式,其生產工藝 要求簡單,成本可控,是目前大多數 VR 眼鏡所采用的短焦光學方案,而相對的多片方案中光學鏡片較多,組 裝及鍍膜難度較大。基于 Pancake 技術方案的 VR 眼鏡,圖像源發射光線進入半反半透的鏡片之后,光線在鏡 片、相位延遲片以及反射式偏振片之間多次折返,最終從反射式偏振片射出。此種光學方案能極大地縮小了產 品體積,但 Pancake 的光學質量會因制造工藝問題出現雜散光、對焦差和臟污的情況。
2.6 定位與交互:Inside-out 和 6DOF 逐漸成為主流
追蹤定位:Inside-out 取代 Outside-in 成為 VR 主流架構
Inside-out 逐步取代 Outside-in 成為主流技術。定位追蹤技術在實現上主要分為兩類,即“Outside-in”和 “Inside-out”。2017 年,由外向內(Outside-in)追蹤定位技術實現產品化,并開始大量用于體驗館、線下門店 等商業場景。Outside-in 需要在房間里布置傳感器的擺放或者懸掛位置,如果你想把 VR 體驗場地換到另外一 個房間,傳感器的擺放就又得重新布置。2018 年,Facebook、HTC 發布基于 Inside-out 的一體機,由內向外 (Inside-out)追蹤定位技術能夠實現設備的無繩化,也逐漸取代 Outside-in, 明確成為 VR 主流追蹤定位技術架 構。在 AR 領域,目前主要的技術路線是單目視覺+IMU 融合 SLAM 定位,實現厘米級準確度和毫米級精密度 定位輸出。
手勢交互:目前以基于手柄的“6+6”交互為主流,未來將以裸手交互為趨勢
6DOF 逐漸取代 3DOF,頭顯和手柄“6+6”成為發展趨勢。定位技術的原理簡單概括,就是“信號源+傳 感器”,使用相應的算法計算出物體的位置信息(包括三軸及旋轉共六個自由度,6DOF)。算法及算力的成熟帶 來 VR 設備從初期的 3DOF 向 6DOF 發展。目前手柄控制依然是主流,融合 Inside-out 6DOF 頭動和 6DOF 手 柄交互的所謂“6+6”交互路線成為發展趨勢,代表廠商有 Oculus Quest、Pico 及 Nolo、Ximmerse 等。各廠 商的 VR 手柄設計有較大不同,通常都會配置搖桿,小型觸摸板,A、B 操作按鈕,以及握柄部分的電容感測, 可識別壓力、觸感、以及光學數據。
裸手交互是未來的主流研究方向。裸手交互(原生手勢識別)方案需要識別出手部骨架的 21 或 26 個關鍵 點,并將每個點用 3 個自由度衡量,輸出 21/26*3 維的矢量,并由專業算法來識別手部的姿態和位置。裸手交 互的硬件方案包括 RGB 攝像頭、3D 攝像頭(TOF、結構光、雙目視覺)和數據手套等,業界標桿是以 Leap Motion 和 uSens 為代表的雙目紅外相機方案,支持雙手交互、單手 26DOF 跟蹤,廣泛用于一體式、主機式虛擬現實 終端,而在手機式產品方面,華為 AR Engine 利用結構光器件實現了單手 26DOF 交互方案。裸手交互的算法 方案大體可以分為模型驅動和數據驅動兩種方式,模型驅動類的算法不需要訓練數據,但需要高度精確的初始 化設計,通常只能用于手勢追蹤領域,數據驅動類算法依靠大數據和機器學習,目前已經成為主流的研究方向。
手勢識別的落地場景目前以游戲為主,未來將向肢體交互等方向拓展。目前,手勢識別技術的落地場景還 比較有限,主要在 VR 游戲場景中,另一方面,手勢識別技術存在使用疲勞、識別率不高、精確性較差和時延 等方面的固有問題,因此還處于比較早期的發展階段。但可以預見的是,手勢交互是未來人機交互必不可少的 一部分。隨著深度學習的快速發展,交互范圍也逐漸從手部拓展到肢體,以 Wrnch、Facebook、華為 AR Engine、 百度、曠視、商湯等國內外廠商先后推出可實時運行的人體骨骼點跟蹤技術,廣泛用于各類 VR/ AR 應用。
三、AR:光學系統是核心器件,產業鏈多種方案百花齊放
3.1 近期 AR 上市產品分析
2020 年上市的 VR 產品尚未形成統一的形態和主流的技術路線。從產品形態上,一體式、分體式共存,尚 未形成統一的技術路線。輕薄化、類普通眼鏡是發展的必然選擇。目前仍受限于底層核心技術,特別是光學、 顯示技術和電池續航等的技術突破。
從處理器上看,高通芯片一家獨大。從顯示上看,多種顯示屏幕并存,Micro-LED 是未來。從光學系統來 看,光波導+Micro-LED 是未來發展的趨勢,光學顯示鏡片的量產與成本問題有待解決。從感知交互來看,SLAM 開始普及,手勢識別逐步具備。
3.2 AR 產品結構及產業鏈:光學組件成本占比接近一半
AR 終端的硬件部分主要由處理器、光學組件、攝像頭和傳感器、存儲器幾部分構成。Magic Leap One 主 要部件包含 6 個 LCOS 屏幕和一塊 6 層的幾何光波導鏡片,一塊可以續航三小時的電池,使用了英偉達 Parker SOC。HoloLens 主要部件包括深度感應攝像頭、4 個環境感應攝像頭、全息處理單元 HPU、Intel Atom x5-Z8100 CPU、一塊 16.5Wh 的電池、3 層衍射光柵+LCOS 的光學顯示方案。
近眼顯示技術是目前主要難點,因此光學顯示在 AR 終端成本中占比較高。近眼顯示(Near-eye display, 簡稱 NED)目前是 AR 硬件最重要的問題,不同于半導體遵循摩爾定律,往往具有可預見的迭代周期,光學設 計則需要在最基本的物理定律的框架下,不斷探索、論證各種的可能性,技術門檻較高,生產良率低。因此目 前的 AR 終端中,光學顯示的占比最高,參考 Hololens 的成本結構,光學顯示部分約占 40%左右。其次是處理 器(~30%),存儲(~15%), 攝像頭(~10%),電池(2%)。
3.3 光學顯示系統:百花齊放,Micro-LED+光波導未來可期
AR 設備的光學顯示系統通常由微型顯示屏和光學元件組成。光學組合器的不同,是區分 AR 顯示系統的 關鍵部分,市場上各種方案百花齊放,目前較多的搭配方案包括 LCOS+光波導、DLP+光波導、硅基 OLED+自 由曲面等。
3.3.1 顯示:多種顯示方案共存,Micro-LED 逐漸成熟并有望成為主流技術
目前 AR 設備中多種顯示屏幕共存。目前發布的 AR 產品使用較多的是 LCOS、硅基 OLED、DLP 三種屏 幕,由于亮度上的差異,硅基 OLED 一般與 BB、自由曲面搭配、LCOS、DLP 基于亮度上的優勢與光波導搭配。 Micro-LED 由于具有高亮度、低延時、低功耗等優點將成為 AR 眼鏡微顯示器件的最優選擇。
(1)硅基液晶(LCOS)作為 AR 終端常用的顯示技術得到了一定發展與認可,但其較高功耗與較低對 比度限制了該技術的發展。
硅基液晶(LCOS)是一種新型的反射式微液晶投影技術,它采用涂有液晶硅的 CMOS 集成電路芯片作為 反射式 LCD 的基片。傳統的 LCD 是做在玻璃基板上,LCOS 則是做在硅晶圓上。前者通常用穿透式投射的方 式,光利用效率只有 3%左右,解析度不易提高;LCOS 則采用反射式投射,光利用效率可達 40%以上,而且可 隨半導體制程快速的微細化,逐步提高解析度。LCOS 的優勢在于性價比較高,缺點在于對比度不足以及功耗 較高。
(2)硅基 OLED(OLEDoS)可顯著改善 LCOS 在對比度、功耗與響應時間等方面的性能表現,成為新 近發布 AR 終端的技術選擇。未來需要進一步降低成本并完善生態體系。
硅基 OLED 顯示采用單晶硅晶圓作為有源驅動背板,所以更容易實現高 PPI(像素密度)、高度集成、體積 小、易于攜帶、抗震性能好、超低功耗等優異特性。自 2020 年開始,國內顯示廠商在硅基 OLED 領域投資動作 頻繁,2020 年產線投資規模超過 200 億元,包括安徽熙泰、京東方、維信諾、紫旸升光電科技等公司均有投資 興建硅基 OLED 產線。
未來硅基 OLED 需要解決的問題包括:一是降低成本,硅基 OLED 是集成電路和新型顯示兩種技術的結合, 其中集成電路制程占據了器件成本的 70%到 80%,隨著硅基 OLED 器件市場需求的不斷增長,現有的生產方式 還有待探索和磨合;二是優化系統和提升整機設計水平,包括光學設計和制造、人體工程、操作系統和應用程 序等多方面的配合。
(3)Micro-LED 成為繼 LCD 和 OLED 后業界期待的下一代顯示技術,技術逐漸成熟,市場前景廣闊, 諸多行業巨頭加速戰略布局。
Micro-LED 原理是將 LED 陣列微小化、可拼接化使其性能得到良好提升,具備低功耗、高亮度、高對比、反應速度快、厚度薄與高可靠等優勢。Micro-LED 微顯示屏幕當前量產的難點在于巨量轉移技術,目前制造成 本過高,產業化仍需要時間。梳理晶元光電、友達光電、錼創科技、三星等重點企業的發展進度可知,預計其 規模量產時間在 2022 年左右。
蘋果(LuxVue)、臉書(InfiniLED)、谷歌(Glo、Mojo Vision)、英特爾(Aledia)等紛紛投資或收購 Micro-LED 領域初創公司,布局 Micro-LED 顯示技術。2020 年國內 Micro-LED 廠商 JBD 與 AR 眼鏡廠商 Vuzix 達成供貨, Facebook 已宣布與英國 Micro-LED 廠商 Plessey 合作推出了 Micro-LED AR 眼鏡。
3.3.2 光機:多種光學方案并存,光波導技術發展趨勢明確
AR 的光機設計是當前的難點之一。一方面,不同于 VR,AR 是需要透視的,成像系統不能擋在視線前方, 因此多了一個或一組光學組合器,通過“層疊”的形式,將虛擬信息和真實場景融為一體。另一方面,不同于 半導體遵循摩爾定律,往往具有可預見的迭代周期,光學設計則需要在最基本的物理定律的框架下,不斷探索、 論證各種的可能性,技術門檻較高,進展相對緩慢,但目前在一些技術上已經取得了較為明確的突破。
在各種光學參數存在沖突的情況下做出取舍,是目前 AR 光機的重要挑戰。由于現有技術方案在分辨率(清 晰程度)、視場角(視野范圍)、重量體積(美觀舒適)等方面存在潛在沖突,如何做到視覺質量、眼動框范圍、 體積重量、視場角、光學效率與量產成本間的權衡取舍、優化組合成為驅動技術創新的主要動因。
(1)折反式(Birdbath)得益于設計與量產成本的優勢,觸發了消費級 AR 終端的規模上量。
Birdbath 的工作原理是把來自顯示源的光線投射至 45 度角的分光鏡。分光鏡具有反射和透射值(R / T), 允許光線以 R 的百分比進行部分反射,而其余部分則以 T 值傳輸。同時具有 R/T 允許用戶同時看到現實世界的 物理對象,以及由顯示器生成的數字影像。從分光鏡反射回來的光線彈到合成器上。這是一個凹面鏡,可以把 光線重新導向眼睛。 基于這一傳統技術路徑的光學模組體積較大厚度減薄困難,眼動框范圍受限,其光學系統須搭配算法緩解 畸變,且光效難以高于 15%,效果和成本較大程度受限于微顯示器的發展,高亮的 OLEDoS 成為最優搭配, 目前我國已有廠商采用該技術大量出貨。搭載 Birdbath 光學方案的 AR 頭顯包括:聯想 Mirage AR 頭顯、ODG R8 和 R9、OPPO AR Glass 2021 等。
(2)自由曲面在早期得到業界認可,其顯示效果、光效表現較好,但會產生畸變等問題。
自由曲面采用相對簡單的光學設計,它搭載了低成本的 LCD 顯示源,以及帶反射/透射(R/T)值的曲面反 射鏡。顯示器發出的光線直接射至凹面鏡/合成器,并且反射回眼內。顯示源的理想位置居中,并與鏡面平行。 從技術上講,理想位置是令顯示源覆蓋用戶的眼睛,所以大多數設計都將顯示器移至“軸外”,設置在額頭上方。 凹面鏡上的離軸顯示器存在畸變,需要在軟件/顯示器端進行修正。
但自由曲面量產加工難以保持較高精度,局部精度下降可導致圖像局部扭曲和分辨率降低,存在產品一致 性難題。此外,通過厚棱鏡觀察真實世界會出現一定程度扭曲和水波紋樣畸變,這些因素影響了自由曲面的發 展潛力。搭載自由曲面光學方案的 AR 頭顯包括:Mira Prism,Meta 2,Leap Motion,Dream World。
(3)光波導在 AR 領域的技術發展前景明確,有助于推動消費級 AR 產品顯著升級,高性能光波導的發 展尚需時間。
(a)幾何(陣列)光波導:鏡面陣列設計,實現一維擴瞳,制造工藝復雜
幾何光波導中,耦合光進入波導首先遇到一個棱鏡或反射面,在多輪全反射后到達眼睛前方,耦合光出波 導的結構是一個“半透半反”鏡面陣列。每一個鏡面會將部分光線反射出波導進入人眼,剩下的光線透射過去 繼續在波導中前進。鏡面陣列相當于將出瞳沿水平方向復制了多份,這樣眼睛在橫向移動時都能看到圖像,這就是一維擴瞳技術(1D EPE)。
目前幾何光波導代表光學公司是以色列的 Lumus,國內的瓏璟光電。如果生產過程符合設計,幾何波導的 成像質量比較好,但光效率比傳統光學系統偏低,相當于出光面積變大,每一個出瞳位置看到的光就變少了。 但問題在于,幾何波導的工藝難度非常大,主要在于復雜的鍍膜工藝,由于光在傳播過程中會越來越少,要保 證動眼框范圍出光均勻,陣列中這五六個鏡面的每一個都需要不同的反射透射比(R/T),又由于光通常是偏振的, 每個鏡面的鍍膜層數可能達到十幾甚至幾十層;另一方面是膠合難度大,鏡面之間的平行度和切割的角度都會 影響到成像質量,極易出現瑕疵,導致黑條紋,出光不均勻,鬼影等現象。因此幾何波導的良率較低,可量產性較低。此外,基于陣列光波導的二維擴瞳方案對加工工藝的挑戰極大,短期難以商用。
(b)衍射光波導:通過光柵調整,可以實現二維擴瞳
衍射光波導主要有利用光刻技術制造的表面浮雕光柵波導(Surface Relief Grating,SRG)和基于全息干涉 技術制造的全息體光柵波導(Volumetric Holographic Grating,VHG), HoloLens 2,Magic Leap One 均屬于前 者,蘋果公司收購的 Akonia 和 Digilen 則致力于后者。
衍射光波導依循光學元件從毫米級到微納級、從立體轉向平面的技術趨勢,采用平面的衍射光柵取代傳統 的光學結構。衍射光波導利用經過兩次兩個方向的擴瞳光柵或二維光柵以實現二維擴瞳,從而給以人為中心的 光學設計與用戶體驗優化留有更大的容差空間。
衍射光波導的原理簡單來講,就是通過設計衍射光柵的參數,將光衍射到想要的方向上去。衍射光柵是一 個具有周期結構的光學元件,這個周期可以是材料表面浮雕出來的高峰和低谷 ,也可以是全息技術在材 料內部曝光形成的“明暗干涉條紋”,但歸根結底都是在材料中引起了一個折射率 n 的周期性變化。因此, 衍射光柵通過衍射級和色散實現分光特性,起到了與傳統光學器件類似的改變光線傳播方向的作用,但是它所 有的操作又都是在平面上通過微納米結構實現的,所以非常節省空間,自由度也比傳統光學器件大很多。
衍射光波導的可量產性較好,色散問題是比較大的技術挑戰。衍射光波導技術與幾何光波導相比主要優勢 在于光柵在設計和生產上的靈活性,不論是利用傳統半導體微納米制造生產工藝的表面浮雕光柵,還是利用全 息干涉技術制成的體光柵,都是在玻璃基底平面上加鍍一層薄膜然后加工,不需要像幾何光波導中的玻璃切片 和粘合工藝,可量產性和良率要高很多。衍射光波導技術的不足主要來源于衍射元件本身對于角度和顏色的高 度選擇性,光的效率偏低,另外還有色散問題。為了改善色散問題,針對 FOV 和動眼框內的“彩虹效應”,如 何用一層光柵作用于 RGB 三色且實現最大的 FOV 成為重要的技術挑戰。
光波導的優勢包括:能夠實現通過一維和二維擴瞳技術增大動眼框,從而適應更多人群,改善機械容差, 推動消費級產品實現;波導鏡片像光纜一樣將圖像傳輸到人眼,成像系統旁置,不阻擋視線并且改善配重分布; 波導形態一般是平整輕薄的玻璃片,其輪廓可以切割,外觀形態更像傳統眼鏡,利于設計迭代;多層波導片可 以堆疊在一起,每層提供一個虛像距離,提供了“真”三維圖像的可能性。
目前光波導技術也存在一些不足,主要包括:由于光在耦合進出波導以及傳輸的過程中都會有損失,并且 大的動眼框使得單點輸出亮度降低帶來的光學效率相對較低;對于幾何波導來說,繁冗的制造工藝流程導致總 體良率較低;對于衍射波導來說,衍射色散導致圖像有“彩虹”現象和光暈,非傳統幾何光學,設計門檻較高。
在微軟 HoloLens,谷歌,Magic Leap 、DigiLens 等廠商的推動下,光波導目前成為 AR眼鏡的主流技術。 光波導技術在 AR 領域的技術發展前景是明確的,但預計在中近期難以大規模普及。光波導技術中各類技術路 線間存在明顯的優勢和短板,目前尚未確立主導地位技術方案。此外,由于受到基礎物理定律的限制,光波導 要實現重大技術突破將面臨巨大的研發困難,相關產品難以單獨作為完整終端產品,須配套技術和零部件才可 能產出被市場認可的 AR 終端,而有關配套技術和零部件尚有相當比例需要進一步完善,因此高性能光波導的 發展尚需要時間。
3.4 感知交互:SLAM 開始普及,各大廠紛紛布局
SLAM(Simultaneous localization and mapping,同步定位與建圖)技術近幾年開始成熟,并被用于 VR/AR 等消費者產品的追蹤定位。簡單理解,SLAM 就是某種設備(機器人、VR/AR 設備)來到陌生環境中,需要精 準建立時空對應關系,并回答“我在哪里?”“這是什么地方?”“我該怎么走?”等問題,也就是定位、建圖 和路徑規劃。由此可見,SLAM 是一套要求實時性和準確性的大型系統,涉及硬件上高速度高精度的感知和姿 態跟蹤、算法上多線程并發執行,資源的分配、讀寫的協調、地圖數據的管理、優化和準確性等系統整合的眾 多問題。
SLAM 的數據來源是傳感器,傳感器的質量對于 SLAM 的效果影響很大。因此 SLAM 對于硬件的要求很 高,包括對于 IMU 要求高精度,對于攝像頭要求全局快門,大的視角,快門速度足夠高,能夠保證圖像在高速 運動時不會產生模糊。不僅如此,SLAM 數據來自于多個傳感器的融合,以 Facebook 的 Oculus Insight 系統為 例,硬件架構包括三種傳感器:IMU,攝像頭和紅外 LED,多個傳感器需要精密的校準和調整,直接關系到算 法的準確性。
精確高效的算法則是 SLAM 的核心。以開源的 ORB-SLAM 算法為例,主要分為三個線程,Tracking 用于跟蹤 Camera Pose,Local Mapping 用于構建點云地圖,Loop Closing 用于閉環檢測,優化點云位置。Place Recognition,即重定位,是利用 BOW(Bag of Words)模型在已經構建好的地圖內定位 Camera。目前距離應用 到終端產品上還存在比較大的問題,主要包括代碼 Bug 優化,傳感器的位置跟蹤不穩定,芯片實時處理所有數 據的算力不夠,以及內存問題。
SLAM 是 AR 必備的核心技術,各大公司紛紛布局,未來前景可期。從 VR/AR 的應用場景來看,由于 VR 設備主要是虛擬世界的沉浸感,SLAM 是對真實世界的描述,現有的 Outside-in 方案基本不需要 SLAM,Inside-out 需要 SLAM 配合解決跟蹤用戶位移的問題。而對于 AR 設備來說,為了實現虛擬元素和真實世界的融合,SLAM 則是必須擁有的最核心的一項技術之一,蘋果 ARKit、谷歌 ARCore 與華為 AR Engine 推出的 AR SDK 普遍 遵循單目視覺+IMU 融合定位的技術路線,也驗證了各大公司對其重視的程度,在 SLAM 相關的傳感器、算法、 軟件、硬件等方向,也出現了小公司在關鍵細分領域快速創新、大公司在各個關鍵方向布局并且頻繁收購的趨 勢。
在初期階段,由于產品和硬件高度差異化,而 SLAM 相關技術的整合和優化又很復雜,目前有能力做好 SLAM 全套解決方案的仍是 Facebook、微軟、谷歌、蘋果等大廠。隨著 SLAM 各個領域的產品化進程推進,細 分市場的創新和應用正在迅速推進。由于市場上算法和軟件仍然比較碎片化,移動端硬件的計算能力還不夠, SLAM 相關技術正在從軟件和算法層面向硬件推動,可以期待在這個過程中必將會產生巨大的機會和眾多優秀 的公司。
四、基礎設施建設:網絡條件已具備,云 VR 將加速行業普及
4.1 接入網:5G 與千兆帶寬,“雙 G”賦能 VR/AR
在接入網方面,5G、Wi-Fi6、10G PON 有望在五年內成為面向虛擬現實業務的主流傳輸技術。雙 G 是指 5G 和千兆帶寬,5G 主要是室外移動場景,也就是無線基站到移動終端一側,而千兆帶寬+ Wi-Fi6 為室內固定 場景,在包括接入網和承載網解決帶寬和時延問題。Wi-Fi 是室內固定場景,5G 則是戶外移動場景,二者共同 為 VR/AR 提供更優的管道。Wi-Fi 技術相對成熟,可實現 VR/AR 終端的無繩化。固定寬帶光網絡目前可以支 持 1Gbps-2.5Gbps 的帶寬接入,能夠滿足少量 VR 用戶承載,未來將升級到 5G-10G。未來 5G 的目標網可為每 用戶提供隨時隨地平均 100Mbps 的無線接入服務,為 VR/AR 業務提供極致體驗。
4.1.1 5G:高速率、低時延的特性將大幅提高 VR/AR 體驗
5G 網絡高速率、低時延的特性適合承載 VR/AR 業務,并大幅提高用戶體驗。根據 5G 的性能指標,5G 移 動網絡能夠達到 20Gbps 的峰值速率,是 4G 的 20 倍;能夠達到 1Gbps 的體驗速率,是 4G 的 100 倍;空口時延 1ms,是 4G 的 1/5。
ITU 定義的 5G 三大業務場景為:eMBB(增強型移動寬帶)、uRLLC(高可靠低時延通信)和 mMTC(大 規模機器通信)。eMBB 場景主要提升以“人”為中心的娛樂、社交等個人消費業務的通信體驗,主要場景包括 隨時隨地的 3D/超高清視頻直播和分享、虛擬現實,隨時隨地云存取、高速移動上網等大流量移動寬帶業務, 帶寬體驗從現有的 10Mbps 量級提升到 1Gbps 量級,要求承載網絡提供超大帶寬。mMTC 和 uRLLC 則主要面 向物物連接的應用場景,其中 mMTC 主要滿足海量物聯的通信需求,面向以傳感和數據采集為目標的應用場景; uRLLC 則基于其低時延和高可靠的特點,主要面向垂直行業的特殊應用需求。
從以上三種場景的實現難度來看,eMBB 能夠最先實現,推動超高清流媒體、VR/AR 率先落地。未來 5G 的目標網可為用戶提供隨時隨地平均 100Mbps 的無線接入服務,為 VR/AR 業務提供極致體驗。
4.1.2 千兆帶寬+ Wi-Fi6:能夠實現 VR/AR 對于網絡的要求
隨著光纖寬帶接入技術的進步和新興高帶寬業務的應用,千兆寬帶已成為下一步寬帶發展的焦點。Ovum 的報告顯示,全球已有超過 234 家運營商發布千兆業務,其中 20 家發布了萬兆業務。我國目前已經基本普及 了百兆光纖入戶,未來將逐步開展城市千兆帶寬入戶示范。固定網絡經歷了 5 個階段的發展,目前已進入以 10G PON 光纖技術為基礎的千兆時代。
當前已規模部署的 FTTH 技術包括 EPON 和 GPON,EPON 僅能提供 1Gbps 帶寬接入,不適宜虛擬現 實業務部署。GPON 技術可提供 2.5Gbps 帶寬接入,時延小于 2ms,能夠滿足少量 VR 用戶承載。為滿足 VR 用戶規模化發展,須將 EPON/GPON 升級到 10G EPON/GPON。10G PON 作為千兆網絡的基礎技術,與前幾 代固定接入技術相比,帶寬、用戶體驗和聯接容量三個方面均有飛躍式發展,上下行速率將高達對稱 10Gbps, 時延降低到 100μs 以下,實現全場景多業務覆蓋,滿足 VR 用戶的規模化發展。
下一代 Wi-Fi 技術 Wi-Fi 6 在傳輸速率、功耗、空間和性能等方面同樣具有較大提升。Wi-Fi 6(即 IEEE 802.11ax),是一項無線局域網標準,也是 Wi-Fi 5(IEEE 802.11ac)的升級版。Wi-Fi 6 支持更高的傳輸速率, 最高速率可達 9.6Gbps。Wi-Fi 6 允許更多的設備接入,并且能夠加快每一臺設備的速度和容量,在連接相同數 量設備的基礎上,速度是 Wi-Fi 5 的近四倍。基于 Wi-Fi 6 支持室內室外場景、提高頻譜效率和提升密集用戶環 境下 4 倍實際吞吐量的性能,能夠實現 VR/AR 對于高速率和低時延的要求,可以處理來自多個 VR 用戶不同類 型的流量。
4.2 Cloud VR:推動設備輕量化、低成本,并加速行業普及
本地 VR 受到用戶體驗與終端成本的制約,Cloud VR 能夠解決主要痛點。VR 用戶體驗與終端成本的平衡 是目前影響 VR 產業發展的關鍵問題。低成本終端有助于提升 VR 硬件普及率,但有限的硬件配置也限制了用 戶體驗,用戶的首次體驗不好,后續就很難接納和持續使用 VR。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數千乃至萬元,過高的終端成本明顯制約了高品 質 VR 的普及。另一個關鍵問題是頭顯設計和佩戴舒適度,目前 VR 強交互類業務的渲染主要在本地主機和終 端進行,對 GPU 的資源要求很高,要求 VR 需要連接到電腦上,帶來笨重的體驗;而如果不連接電腦,VR 本 身配置顯卡則會帶來體積大、頭顯重、高耗電和過熱的問題,這些問題減少了用戶使用 VR 的時間,對 VR 的 推廣帶來不利影響。另外,VR 內容的市場相對比較分散,很多優秀的 VR 內容分散在各個廠家,難以有效地分 發給客戶。
Could VR 的解決方案通過將云計算、云渲染的技術應用到 VR 業務中,借助高速穩定的網絡,將云端的顯示 輸出和聲音輸出通過壓縮后傳輸到用戶的終端設備,實現 VR 內容上云、渲染上云,實現 VR頭顯的無繩化和輕 量化,更容易被用戶所接受,有效解決 VR發展的痛點。由于 Cloud VR 具有如下顯著優勢,已經成為 VR 產業規 模化發展的必然選擇:
實現終端輕量化,提升使用者體驗:Cloud VR 無需本地主機,省掉了 VR頭顯與主機之間的連接線,“無 繩化”頭盔讓用戶擺脫了線纜的束縛,同時也減少了 VR頭顯的重量過重,耗電過高,以及發熱嚴重的問題,大幅提升 VR 設備的使用體驗;
利于降低終端成本和價格,推動普及:渲染在云端處理,大幅降低終端 CPU+GPU 渲染計算壓力,降低 終端硬件要求,不需要本地高性能、高成本主機,將大幅降低 VR/AR 的成本,加速 VR/AR 的普及;
有利于內容分發、聚合:通過統一的 Cloud VR/AR 平臺,可適配不同終端上的不同類型的內容,內容 制作商只需與平臺適配,無需考慮與各終端的適配細節,可進一步聚焦 VR/AR 內容數量和質量的提升; 同時,聚合到統一平臺后,用戶對于優質內容的獲取將更加便捷;
利于內容版權保護,鼓勵開發更多的內容應用:當前大量 VR/AR 內容屬于離線體驗,這種方式很難做 到對于內容版權的有效管控,VR/AR 內容上云后集中管理,有利于防止未經授權的讀取、復制與傳播, 遏制內容盜版,保護 VR/AR 產業的可持續發展;
利于與大數據分析、人工智能結合:數據在云端,利用云端強大的計算分析能力,進行大數據分析或 與人工智能結合,產生更多產業創新與價值。
來源:未來智庫