來源：映維網 作者 夢秋

自2019年11月發售以來，微軟HoloLens 2一直在為制造業、建筑業、醫療業和零售業的企業員工提供支持，幫助其更快地完成任務，并大大減少了錯誤和浪費情況。它利用了大量的傳感器和專用ASIC，并允許多個實時計算機視覺工作負載連續運行。利用研究模式，HoloLens 2同時成為了一款強有力的計算機視覺研究設備。（注：研究模式現在只對Windows Insider用戶開放，但很快就會登陸Windows 10 for HoloLens）。

延伸閱讀：HoloLens 2 Research Mode as a Tool for Computer Vision Research 

與上一版相比，HoloLens 2的研究模式主要擁有以下優勢：

除了HoloLens 1研究模式提供的傳感器外，微軟現在納入了IMU傳感器權限，包括加速度計、陀螺儀和磁強計。HoloLens2提供了可結合研究模式的新功能。具體而言，你在使用研究模式時可通過API訪問手部追蹤和眼動追蹤，從而進行更為廣泛的實驗。

在研究模式下，應用程序代碼不僅可以訪問視頻和音頻流，同時可以利用諸如SLAM等內置的計算機視覺算法來獲取設備運動數據，以及通過空間映射算法來獲得環境的三維網格。所述功能是由多個作為彩色視頻攝像頭補充的內置圖像傳感器實現。

HoloLens 2包含四個灰度頭部追蹤攝像頭，以及一個深度攝像頭來感知環境并執行手部追蹤。它同時搭載了兩個用于眼動追蹤和虹膜識別的額外紅外攝像頭及配套LED。如圖1所示，其中兩個灰度攝像頭配置為捕捉設備前端的區域，并通過三角測量確定視覺特征的絕對深度。同時，兩個附加的灰度攝像頭有助于提供更廣闊的視場來追蹤特征。這種同步式全局快門攝像頭的光敏程度要高于彩色攝像頭，能夠以每秒30幀的速率捕捉圖像。

深度攝像頭使用有源紅外照明并通過基于相位的飛行時間來確定深度。攝像頭可以以兩種模式工作。第一種模式可以實現高幀速率（45 FPS）的近深度感測，并且通常用于手部追蹤；而另一種模式則用于較低幀速率（1-5 FPS）的遠深度感測，并且通常用于空間測繪。由于只需在離設備1米之內支持雙手，HoloLens 2通過減少照明的數量來節省電力。除了深度之外，這種攝像頭同時提供主動照明的紅外圖像（兩種模式）。這種圖像本身就非常具有價值，因為它們是由HoloLens照明，不受環境光的影響。Azure Kinect采用相同的傳感器包，但深度模式略有不同。

利用Windows 10 for HoloLens的最新Insider版本，研究人員現在可以啟用研究模式并訪問所述的原始圖像傳感器流。HoloLens 2的研究模式同時為研究人員提供了獲取加速度計、陀螺儀和磁強計讀數的途徑。為了保護用戶的隱私，原始的眼動追蹤攝像頭圖像不可通過研究模式獲取。另外，研究人員可以通過現有的API訪問眼睛注視方向。

對于其他傳感器流，研究人員可以利用內置的計算機視覺算法的結果，并選擇將原始傳感器數據用于自己的算法。

傳感器的數據流可以由設備進行本地處理或存儲，或無線傳輸到PC或云端，從而完成更高計算要求的任務。這為HoloLens2開啟了一系列的全新計算機視覺應用。HoloLens 2特別適合作為一個第一人稱視角的視覺研究平臺，因為它允許你從用戶角度分析世界。對于所述用例而言，HoloLens能夠在用戶面前可視化三維世界中的算法結果，而這是一個關鍵的優勢。HoloLens傳感能力對機器人技術同樣非常有價值，例如，所述功能可以支持機器人在環境中導航。

微軟將在歐洲計算機視覺會議演示所述的HoloLens功能。另外，首批示例應用已經托管至GitHub，而更多技術細節請參閱研究模式的技術文檔 HoloLens 2 Research Mode as a Tool for Computer Vision Research。另外，微軟在歐洲計算機視覺會議上的演講PPT如下：

延伸閱讀：HoloLens 2 Research Mode:API Overview

延伸閱讀：Microsoft HoloLens 2 and Azure Kinect as tools for computer vision research

延伸閱讀：The HoloLens2ForCVRepository

原文鏈接：https://yivian.com/news/77426.html