3月31日,高通在線上舉辦了主題為「芯世界 會客廳」的XR媒體溝通會,高通副總裁兼XR業務總經理司宏國(Hugo Swart)分享了高通在XR領域的最新動態。
司宏國首先介紹了行業的整體發展態勢。根據IDC和CCS的報道,2020年全球VR和AR頭顯的出貨量達到700萬臺,并預計這一數字將在2024年達到驚人的5700萬臺。出貨量之所以會大幅度攀升,其中一個重要的因素就是2020年Facebook推出了Oculus Quest 2,它的出貨量在整體出貨量中占據了非常大比例(最新數據顯示,Quest 2銷量已超過400萬臺),其他OEM廠商,比如微軟及中國廠商也有力拉動了出貨量的上升。
司宏國詳細講解了高通如何從四個方面來幫助整個XR產業和生態系統不斷向前發展:
●芯片:提供兩個層級的產品——XR1主要面向中高端市場,XR2在此基礎之上更進一步,屬于旗艦級平臺。
●軟件與算法:為不同的VR/AR設備提供大量的核心算法和技術支持。
●參考設計:將芯片以及軟件技術融合,打造參考設計,并提供給OEM廠商,加快產品開發速度。
●生態系統:推出一系列生態系統發展計劃,包括針對硬件端、企業軟件端,以及關注產品兼容性的適配計劃。
高通認為,推動XR產業的發展僅僅依靠高通一家企業是不夠的,還需要眾多合作伙伴的支持,包括OEM廠商、企業級解決方案供應商、組件和技術供應商、運營商等等。這其中也包括很多中國企業,比如愛奇藝智能、Pico、大朋VR、3Glasses、歌爾以及影創科技等等。
針對未來的發展趨勢,司宏國表示,XR設備目前主要分為兩大類,第一類為XR一體機,高通認為在未來1-4年內,VR和AR一體機會更加輕量化且體積更小,或將支持5G并具備更強大的功能;另一類為XR眼鏡,它擁有纖薄、輕量化的產品外形,可以通過與PC和智能手機等主要計算單元協同工作,這類設備也將在未來1-4年內不斷演進。
目前,上述設備都是通過有線的方式與主要計算單元連接。在不遠的將來,無線連接將代替有線連接,部分處理工作在頭顯設備中進行,而大部分處理工作由智能手機或PC完成。
更進一步來看,VR和AR眼鏡主要分為兩大類,第一類是相對簡易的AR眼鏡,這類產品在去年已經實現了商用,Nreal的產品就是一個很好的例子。對于簡易的AR眼鏡,眼鏡端進行的處理工作較少,大部分的處理工作都在智能手機或者PC上進行。簡易的AR眼鏡由于具有輕量化的流線型設計,并且可以完美支持流傳輸,因此能夠實現不錯的效果,用戶可以把手機上的2D應用投射到眼鏡所呈現的虛擬屏幕上。
基于目前簡易的AR眼鏡,高通預測并正在重點投入的下一代產品是AR智能眼鏡。這里所講的AR智能眼鏡指的是搭載驍龍XR平臺的眼鏡,并支持與搭載驍龍移動平臺的終端(比如智能手機)相連接。這樣一來頭戴設備和移動終端能夠同時處理計算任務。
相對于簡易的AR眼鏡,AR智能眼鏡有諸多優勢:首先,AR智能眼鏡能夠同時查看并運行多個程序和任務;其次,能夠保證低時延和低功耗;最后,AR智能眼鏡能夠完美支持流傳輸和沉浸式協作。
由此,高通打造了驍龍XR1 AR智能眼鏡參考設計。和簡易的AR眼鏡相比,該參考設計系統整體功耗降低30%,并能夠同時支持包括手勢追蹤、頭部追蹤、平面檢測、防抖、六自由度以及豐富圖形等在內的多個先進特性。基于該參考設計的AR智能眼鏡能夠與不同品類的主機設備相連,包括5G智能手機或PC,搭配搭載驍龍888的移動終端和驍龍本使用時,能夠實現最佳的性能表現。
值得一提的是,針對驍龍XR1 AR智能眼鏡參考設計,高通與中國合作伙伴緊密合作——京東方是顯示屏合作伙伴,歌爾則是ODM合作伙伴。
驍龍XR1 AR智能眼鏡參考設計適用于不同類型的應用場景,比如遠程協作,通過沉浸式圖形實現遠程協助,或將手機上2D應用畫面以多個虛擬屏幕的形式鎖定在用戶當前所處的物理環境中。
司宏國總結了高通這些年來在XR領域取得的成果:“得益于過去十多年在XR領域的技術和產品投入,高通已經成為XR行業的領導者。目前市場上有超過40款搭載驍龍XR平臺的設備已經發布。我們的努力也得到業界的廣泛認可,《Fast Company》將高通公司評選為「AR/VR領域最具創新力公司Top 5」。同時,高通公司還榮獲AIXR第四屆年度VR大獎「2020年度創新VR公司」。”
在中國,高通除了與OEM廠商、組件及配件供應商開展合作,還與越來越多內容生態系統合作伙伴開展合作。在去年的第二屆Qualcomm XR創新應用挑戰賽上,共收到超過240個參賽作品,其中超過210個優秀參賽作品入圍,超過30個作品入選Qualcomm XR企業計劃(XEP),最終有18個作品獲獎。今年,2021 Qualcomm XR創新應用挑戰賽已經于3月19日正式啟動,并吸引了包括OPPO、XRSPACE等一批新合作伙伴的加入。
在溝通會的最后,司宏國回答了參會媒體們所關心的產業問題。
針對高通的AR/VR芯片出貨量,司宏國并沒有提供具體的數據,但表示目前市面上的XR設備大多數采用了高通的芯片,并給出了相對細致XR設備的年度出貨量數據:2017和2018年出貨量大約在幾十萬至一百萬出頭,2019年出貨量大約在小幾百萬,2020年出貨量約為700萬臺。
同時,司宏國透露,目前整個VR/AR產業的發展勢頭非常喜人,不僅僅是在硬件制造商方面快速發展,在內容開發方面也有非常出眾的發展潛力。
這種強勁發展勢頭在下面兩個產品類別上都有所體現:第一類是XR一體機,代表產品是Oculus Quest 2;第二類是搭配智能手機使用的XR眼鏡,這一品類的發展勢頭也十分出色,其代表是Nreal旗下的產品此外,運營商也非常積極地投入XR發展,比如韓國LG Uplus、日本KDDI以及德國沃達豐和德國電信,都公開宣布已經商用支持搭配5G智能手機使用的眼鏡類產品。
而在大家普遍關心的驍龍XR2 AR參考設計推出時間上,司宏國表示目前暫時還不方便透露具體的時間點,但并不會太久,因為驍龍XR2平臺于2019年12月推出,3個月后,也就是2020年2月,XR2參考設計就已經上市。也就是說,驍龍XR平臺和參考設計總是相伴而行的。當然,這并不意味著參考設計就只有一個。
高通會根據不同的市場和不同的產品形態需求,在初版參考設計的基礎之上打造新的參考設計。對于OEM廠商來說,高通的參考設計就像是一紙藍圖,廠商可以根據其需求自由參考藍圖上的所有設計。當然,如果廠商更多的使用參考設計所提供的設計方案,其產品上市的速度就會更快。
高通希望為廠商提供全方位的支持,確保他們能夠更好地使用我們的芯片來開發產品。具體而言,如果OEM廠商想在屏幕顯示方面做出一些調整,比如有些廠商想采用波導方式,有些想采用Birdbath的光學技術,高通的參考設計都可以輕松配合廠商進行調整。
至于高通是否會基于最新的驍龍888芯片升級XR2平臺(即XR3),司宏國是這樣回答的:“首先,根據我們的觀察,與智能手機這種發展較為成熟的行業相比,XR市場對于芯片迭代速度的要求相對沒有那么高。就特性而言,我們也在不斷豐富驍龍XR1和XR2平臺的特性,并實現性能提升。例如,混合現實(MR),也就是視頻透視(Video See Through)功能加入到驍龍XR2平臺。具有上述功能的XR設備可以通過攝像頭直接捕捉現實世界的情況,并將畫面直接鎖定在虛擬屏幕上,這樣用戶佩戴時便可以直接觀賞現實世界的相應情況。與此同時,我們也有針對驍龍XR1和XR2平臺的軟件發展路線圖。”
這可能意味著短期內高通并不會考慮圍繞驍龍888芯片打造新一代XR平臺,而是會繼續完善現有的驍龍XR1和XR2平臺。
大家還十分關心驍龍XR1 AR智能眼鏡參考設計在成本和售價上是否相比直連手機的方案要高,司宏國從XR設備的成本構成上做出了解答。對于AR眼鏡、甚至是VR設備,最主要的成本實際上是來自于顯示屏。當然處理器和內存也會占據一定的成本,但顯示器仍是占據了主要成本,尤其是在AR的領域。
新技術在不斷演進和部署的過程中,初期價格通常都是較高的,但隨著設備體量的增加,價格也會不斷下探。目前市場上的一些設備,既有Nreal這樣售價幾百美元的AR產品,也有功能更加復雜、價格也更高的企業級產品。但權衡來看,尤其是在成本方面做權衡的話,更多的工作應該是放在顯示屏上面。
被問到AR設備是否能夠像VR設備一樣通過游戲來帶動消費市場時,司宏國首先表示,沒有人能夠真正的知道XR擁有哪些潛力,并以智能手機做了舉例:大約二十年前,智能手機剛剛開始使用的時候,大家都難以預測智能手機上可以有成千上萬,甚至說百萬量級不同類型的應用程序。人們現在幾乎可以在智能手機完成任何事情,無論是拼車、支付,還是導航、拍攝。這些功能都是二十年前完全無法想象的,但是現在一切都成為現實了。
高通希望通過XR技術打造一個擁有全新體驗的世界。這一新體驗的一大重心是社交,也就是人與人之間的溝通。如果回看智能手機的發展歷史,也可以從中窺見一斑。無論是VR還是AR,他們關注的都是如何能夠提供一種新的溝通方式。
舉例來說,人們可以在虛擬環境中打造自己的虛擬形象(Avatar),它看上去就像我們的真人一樣。因此即使我們沒有出現在這個真實場景中,但是這種實境感就使得我們即使身在異處,也能在共同的虛擬場景產生聯系。另外,大家在電影里也會看到有瞬時移動的功能,我們也把它叫作全息遠程呈現。基于此,我相信AR或者XR在未來的應用潛力非常巨大。
此外,越來越多社交APP都會加入更多一些新特性,高通擁有眼球追蹤、面部表情追蹤,甚至是全身追蹤等技術,這些技術可以讓社交APP中的虛擬人物形象(human-like avatar)能夠以更加自然的方式呈現,并且也更接近用戶的真實相貌。
智能手表也可以作為一種配件與智能眼鏡進行連接。智能手表主要起到的作用是信息輸入、信息傳遞的功能。這是因為智能手表上會有一些傳統的傳感器,可以幫助我們監控心率、動作,這些信息都可以傳輸到智能眼鏡中。甚至說可以通過智能手表,能夠更好地追蹤的一些手勢、姿勢,也可以將這些信息有效體現在智能眼鏡中。
司宏國還就XR2對于5G高速網絡的支持能夠帶來哪些新的應用場景和領域發表了自己的觀點。5G能夠提供超高速率的連接,這種高速率不僅體現在數據吞吐量上面,而且還可以體現在超低時延。在時延足夠低的時候,它就使得部分原來在本地進行的工作負載,可以放到云端或者邊緣云來處理,這也是高通所倡導的無界XR(Boundless XR)。
一款支持非常豐富視覺體驗的XR設備,可能需要300W的功率才能夠確保這個體驗有效提供給消費者。但是現在我們可以通過分布式計算的方式,將其中一部分的處理放在邊緣云上面,而頭顯只要做其中一小部分的處理就可以了。比如XR設備可以負責追蹤,追蹤之后把相應信息通過5G發送到云端,云端處理之后同樣通過5G連接將它再發回到XR設備。當眼鏡接收了信息之后,可以根據收到的信息,在顯示內容上面進行一些微小的調整,從而確保給用戶提供非常出色的視覺體驗。
來源:93913虛擬現實