9月2日消息，谷歌宣布推出AR實時運動跟蹤（Instant Motion Tracking）解決方案，該方案基于開源跨平臺框架MediaPipe，對此前的計算機視覺方案Box Tracking（Google Lens采用的追蹤定位方案）進行改良，特點是可將2D和3D內容固定在移動的平面上，觀感更自然。此外，谷歌還發布了一款開源的安卓演示應用和一個相關AR內容庫。

據青亭網了解，Instant Motion Tracking主要作用是將AR虛擬內容當做真實物體一樣，固定在真實環境中。這種自然的AR效果，要歸功于谷歌不斷提升的實時計算機視覺技術。

此前一些AR方案是先拍攝，后疊加渲染，而這個新的方案可以讓你一邊與AR互動，一邊拍攝視頻。實現方式是，將AR固定在環境中特定位置，然后可以用身體觸碰AR，觸發AR的互動反饋。

開發者或用戶可將3D貼圖或動圖固定在視頻中，AR動圖的效果看起來像是一個3D顯示屏，效果看起來足夠有趣。

細節方面，為了實現自然的AR效果，Instant Motion Tracking利用6DoF追蹤模型對AR進行定位。此外，該方案相當于將攝像頭的平移與旋轉預測拆分為兩個獨立的任務，好處是跨平臺AR追蹤可省略期初的校正環節，攝像頭直接捕捉視覺標記。

結合平移和旋轉數據后，Instant Motion Tracking方案可以在自然比例下，從6個自由度來追蹤目標區域。如此一來，具備攝像頭和IMU功能的AR設備就能將AR內容自然疊加在真實畫面上。

目前，視頻內容創作公司PixelShift.AI已經開始采用Instant Motion Tracking方案，用來幫助VTuber創作MR視頻。接下來，谷歌也計劃在年內面向VTuber們推出相關產品。

來源：青亭網