來源：映維網  作者 劉源

從最早的硬件原型到最新的Gemini（雙子座）追蹤平臺，Ultraleap的手部追蹤硬件和軟件已經取得了長足的進步。本文將介紹相關的原始傳感器數據是轉換成能夠用于應用程序的有用信息。

1. 手部追蹤硬件

從硬件的角度來看，手部追蹤的原理相對簡單。設備的核心是兩個攝像頭和一定數量的紅外發光LED。它們追蹤波長為850納米的紅外光，亦即可見光光譜之外。LED的脈沖與攝像頭的幀速率同步，從而能夠大大降低功耗并提高強度。

Ultraleap的手部追蹤模塊Leap Motion Controller和Stereo IR 170 Camera模塊遵循這一原則，采用高通XR2參考設計的VR/AR頭顯同樣如是。

Ultraleap手部追蹤范圍

廣角鏡頭用來創造一個大交互區域，并允許設備在所述范圍內追蹤用戶雙手。Leap Motion Controller提供一個從10mm-60mm或更大的交互區域，常規視場140度x120度。Stereo IR 170 Camera模塊支持更大的交互區域，從10cm-75cm或更大，常規視場則達到170度x170度（最小160度x160度）。

Leap Motion Controller采用倒金字塔形態，Stereo IR 170則選擇倒錐體形狀。這是由雙目攝像頭的視場相交而產生。

這個范圍受LED光在空間中的傳播限制，因為超出距離后，在3D中推斷雙手位置會變得更加困難。LED的光強度最終受到USB鏈接的最大接收電流所限制。

手部追蹤設備的USB控件將傳感器數據讀入自己的本地存儲器，并執行任何必要的分辨率調整。相關數據然后通過USB傳輸到Ultraleap的手部追蹤軟件。

所述數據以近紅外光譜的灰度立體圖像呈現，涵蓋左右兩個攝像頭。通常，你能看到的只有被設備LED直接照亮的對象。然而，白熾燈泡、鹵鎢燈和日光同樣會以紅外線照亮場景。另外，你可能會注意到，即便在可見光譜中為黑色，諸如棉布襯衫看起來都可能為白色。

2. 手部追蹤軟件

一旦圖像數據流式傳輸到PC，系統將執行繁重的數學運算。盡管普遍存在誤解，但Ultraleap的手部追蹤平臺并不生成深度圖，而是將高級算法應用于原始傳感器數據。

Leap Motion Service是用于處理圖像的PC軟件。在補償背景對象（如頭部）和環境光照后，所述工具將對圖像進行分析并重建設備“所見的”三維表示。

接下來，追蹤層匹配數據并提取諸如手指之類的追蹤信息。Ultraleap的手部追蹤算法解析三維數據，并推斷被遮擋對象的位置。軟件同時會采用濾波技術以保證數據的平滑時間一致性。然后，Leap Motion Service將結果（以一系列幀或快照表示，并且包含所有追蹤數據）輸入傳輸協議。

通過所述協議，Leap Motion Service通過TCP或WebSocket與Leap Motion Panel，以及本機和web客戶端庫進行通信。客戶機庫將數據組織成面向對象的API結構，管理幀歷史，并提供幫助函數和類。然后，應用程序邏輯將結合Leap Motion輸入，并允許基于運動控制的交互體驗。

原文鏈接：https://yivian.com/news/79650.html