目前在VR/AR的人機交互場景中，人們迫切希望看到自己的真手，并使用自己的雙手和VR/AR中的虛擬物體進行自然地直接互動。
三維手勢交互首先需要骨骼的三維深度信息，可以直接使用這些信息驅動物理模型，直接和虛擬物體產生捏取、抓握等各種自然交互；也可以選取多幀三維數據，提取模式，定義為手勢，達到手勢識別的效果。手勢識別分二維手勢識別和三維手勢識別。相比二維手勢識別技術三維手勢識別需要使用多個攝像頭，因為單個普通攝像頭無法提供深度信息。雙目攝像頭實際上就是在模擬人眼工作的原理，只有使用兩臺攝像機對當前環境進行拍攝，才能得到兩幅針對同一物體的不同視角照片。
例如，我們拍一片楓葉，兩臺攝像機的各項參數以及它們之間相對位置的關系是已知的，只要找出相同物體（楓葉）在不同畫面中的位置，我們就能通過算法計算出這個物體（楓葉）距離攝像頭的深度了。
如何取得手部骨骼的三維坐標，是三維交互技術的核心 uSens凌感人機三維手勢交互技術以3D骨架模型為手勢分析對象，通過22個手部關節點、26個自由度的識別和跟蹤，辨別單雙手的各種手部姿態包括點擊、滑動、抓取、撫摸、翻轉、握拳、鼓掌、贊、OK手勢等。
