隨著虛擬現實和增強現實領域的不斷發展，研究人員，開發者和內容創作者都在尋求能夠提升計算機視覺和圖形的方法，從而實現更加身臨其境的世界模型。盡管重建技術已經走過了漫長的道路(尤其是自運動傳感器出現以來，行業已經有了長足的進步)，但眾所周知，我們難以以一種令人信服的方式來重現鏡子和玻璃。在本月舉行的SIGGRAPH 2018大會上，Facebook Reality Labs (FRL)將介紹一種重建鏡子和其他反射性平面的全自動管道(能夠提升3D場景和可信度和逼真感)。今天，Oculus介紹了這支團隊背后的部分成員，同時向我們分享了這個研究項目的故事。

延伸閱讀：Facebook展示如何在AR/VR場景中重建玻璃、鏡面場景，將鏡子帶到虛擬世界

研究科學家托馬斯·偉倫(Thomas Whelan)說道：“如果你留意一家家居裝飾店的鏡子，你會馬上看到各種各樣的形狀和大小，幾乎沒有兩面鏡子是完全一樣的。我們很早就明白，我們需要一個不會對重建內容做出太多假設的通用解決方案。我們渴望一種支持現實環境中的解決方案，因為這是最有用的地方。”

1. 面臨問題

現有的3D掃描系統在鏡子和玻璃上總是產生不需要的偽影，因為系統通常會錯誤地重建反射性表面上顯示的3D幾何。偉倫建議，我們可以使用一種簡單的，易于檢測的目標來識別反射性表面。通過識別鏡像表面，團隊可以使用正確的幾何和反射重新渲染場景。

研究科學家朱利安·斯特勞勃(Julian Straub)指出：“在一開始，鏡子類型和形狀的多樣性令人感到驚訝。設計一個能夠處理大部分或所有鏡子形狀和大小的系統是我們的主要目標。我們隨后意識到系統同時可以支持玻璃表面，只需一個額外的分類步驟即可。”

研究科學家史提芬·洛夫格羅夫(Steven Lovegrove)補充說：“很難描述人類是如何識別鏡子與通向不同空間的窗戶或門道的區別。為了創建可以支持各種真實空間中的3D重建，我們面臨的挑戰是采集一個有代表性的鏡像樣本，并創建一個可以在每個鏡像上運行的強大算法。”

2. 挑戰

偉倫與團隊進行了緊密的合作，努力確定哪種特征對于確定邊界線索最為有用，而斯特勞勃則專注于任意形狀鏡像邊界的分割。當團隊將所有一切都組合起來時，洛夫格羅夫構建了一個系統來校準裝置和估算鏡面在給定環境中的位置。捕捉裝置本身包括紅外深度攝像頭，RGB彩色攝像頭，用于估計運動的廣角相機，以及用于顯示標準AprilTag鏡像的背光圖形。

這使得研究團隊能夠以非常高的精度來定位鏡子的邊界，即便鏡子沒有邊框的存在。FRL甚至可以將虛擬對象添加到場景中，而它們能夠與現實世界的幾何和反射器正確交互。

結果：一個從原生數據到最終重建的端到端系統。

客座研究員，達姆施塔特工業大學的邁克爾·哥斯尼里(Michael Goesele)教授與FRL的硬件工程師和技術員一起構建了實際的原型，并從圖像流中檢測目標。

哥斯尼里指出：“近二十年來，我一直致力于場景重建的各個方面，并且能夠利用我在構建各種采集設置以及完整重建管道方面的經驗。我已經發表了幾篇關于重建和渲染反射性表面的論文，所以對這個問題已經建立起一個良好的心智模式，而這對我來說是一個巨大的幫助。”

這同樣為整個團隊帶來了幫助，因為哥斯尼里幫助協調了管道的工作并推動了論文和SIGGRAPH的提交。他補充說：“最后，我在網上購買了很多鏡子，而這非常有趣。”

3. 前方之路

跟其他重大研究問題一樣，對于FRL的鏡面重建研究，最令人興奮的地方可能在于其可以為其他研究提供支持。

偉倫說道：“根據可清晰識別的反射目標，你現在可以嘗試很多酷炫的想法。這也許與今天的深度學習趨勢更相關，這種方法為包含這種挑戰性表面的訓練提供了一種快速的，全自動的標記輸入數據方法。在以前，圖像必須用手慢慢標記。借助我們的方法，你可以免費實現標記。”

洛夫格羅夫補充說：“我們希望這項研究能夠幫助其他人更忠實地捕捉空間的3D呈現，比如說機器人導航和場景理解領域。我們的目標是創造更逼真和更具預測性的虛擬場景，而在朝著這個目標進發的過場中，我們的方法或許能夠有所擴展，去支持描繪更具挑戰性的對象，比如說非平面玻璃表面或半透明材料。”

4. 從夢想到團隊合作

通過聚攏世界級的研究人員，工程師和開發者，FRL可以很好地解決具有挑戰性的問題，并推動虛擬現實和增強現實技術的向前發展。但是，令夢想最終變成現實的是研究背后的人員。

哥斯尼里解釋說：“我在休假時總是喜歡搭載FRL，因為我真的對團隊正在探索的領域非常感興趣。我非常享受在這里度過的時光，特別是我可以與一支出色的團隊合作，并接觸到如此棒的資源。最令我印象深刻的是，我們在這個項目上的工作速度，以及大家是如何積極和無縫地協同工作。”

洛夫格羅夫說道：“我們團隊的許多成員都參與過全球研究實驗室的3D重建，圖形，機器人和本地化工作。能夠將我們的知識都集中在同一個地方令人感到非常興奮。”

偉倫贊同道：“這項研究匯集了團隊中每個人的大量專業知識。在以往，3D重建過程中通常會繞過鏡子，大多數早期的研究只是假裝它們不存在，忽略它們。但在現實世界中，它們無處不在，而且破壞了大多數重建方法。所以在某種程度上，我們正面解決了3D重建中最古老的問題之一。”

來源：yivian