來源：映維網 作者 黃顏 

Facebook Reality Labs Research (FRLR)日前分享了最新的音頻計劃。他們的目標是將相關技術應用到AR頭顯中，并允許你在嘈雜的環境中輕松地隔離人聲，同時再現虛擬聲音，使其看起來像是來自周圍的真實世界。其中，一個定制的頭相關傳輸函數（HRTF）是提供這種體驗的關鍵，但涉及過程耗時且昂貴。所以，FRLR團隊正在研究一種能夠根據耳朵照片生成精確HRTF的可擴展解決方案。

Facebook Reality Labs（FRL）現在是Facebook旗下所有VR/AR團隊的統一名稱，并旨在開發下一代的沉浸式技術（包括Oculus頭顯）。Facebook Reality Labs Research（FRLR）則是這一事業群下屬的研發部門。

日前，FRLR分享了關于沉浸式音頻研究計劃的最新進展，并表示這項研究“與Facebook實現AR眼鏡的工作直接相關”，但其中的部分內容同樣適用于VR。

1. 空間音頻

團隊的目標之一是，再現一種在感知方面與同一房間里的真實之物或真實之人的聲音無法區分的虛擬音效。

研究負責人菲利普·羅賓遜（Philip Robinson）表示：“想象一下，如果你在打電話，你會認為對方就在身邊，你會忘記你們實際上是相隔兩地。這就是我們正在開發的技術的愿景。”

為了達到這個目標，研究人員表示他們需要解決兩個關鍵挑戰：理解用戶所處環境的獨特聽覺特征；理解用戶聆聽聲音的獨特生理方式。

要理解房間的聲學特性（聲音如何回響），這可以通過根據頭顯追蹤傳感器繪制的幾何圖形來估計房間的聲音。結合人工智能能夠估計房間內特定表面的聲學特性，這種關于真實聲音如何在空間中傳播的粗略圖景可以用來提升虛擬聲音的真實感，令其聽起來仿佛真的是來自同一個房間。

Facebook的研究人員同時表示，所述信息可以添加到LiveMaps中（Facebook為真實世界構建的增強現實副本），并由同一空間中的其他設備調用。隨著時間的推移，聲學估計可以通過眾包數據得到改善。

第二個主要挑戰是理解用戶聆聽世界的獨特方式。人類聽覺是與頭部和耳朵的形狀息息相關。頭部和耳朵的形狀不僅會影響你所聽到的聲音，它對你辨別周圍聲音來源同樣十分重要。如果你借用別人的耳朵來生活一天，你將非常難以確定聲音到底是從何而來。

對于聲音如何與不同形狀的耳朵相互作用，學術界已經進行了充分的研究，而這可以用一個名為頭相關傳輸函數（HRTF）的緊湊數值函數進行表示。但要精確測量一個人的HRTF，我們需要專門的工具和一個漫長的校準過程。這就像眼科醫生測試你的眼睛視力參數一樣，所以相關的解決方案難以擴展至每一個人。

針對這種情況，Facebook Reality Labs Research希望“開發一種可以根據（你的）耳朵照片這樣簡單的輸入來近似出一個可行的個性化HRTF的算法”。

為了展示團隊在空間音頻方面的研究進展，他們制作了一款小型游戲。其中，被試穿戴一副追蹤耳機并站在一個房間中，而里面散落著數個真正的揚聲器。然后，研究人員播放一個聲音，并要求被試判斷聲音是不是虛擬生成并通過耳機播放，又或是通過真實揚聲器播放。研究小組指出，大多數被試的研究結果表明，虛擬聲音和真實聲音幾乎無法區分。

2. 情景感知型降噪

盡管“感知方面無法區分”的虛擬聲音可能會令你覺得朋友或家人就在身邊，但Facebook Reality Labs Research同時希望利用音頻來增強真實的面對面交流。

一個方法是創建情景感知的降噪技術。盡管今天降噪技術的目標是減少所有的外在聲音，但情景感知型的降噪技術旨在隔離你不希望聽到的外界聲音，但保留你希望聽到的聲音。

為了做到這一點，Facebook的研究人員制作了原型耳塞，以及包含麥克風，頭部追蹤和眼動追蹤功能的原型眼鏡。原型眼鏡可以監控周圍的聲音以及用戶的視線。專門的算法將利用所述信息來判斷用戶希望聽到的內容，如對面桌子的人，房間角落里的電視。信息將輸入到算法的音頻處理部分，并由后者篩選傳入的聲音，從而突出顯示來自特定對象的特定聲音，同時減少其他所有聲音。

– – — – –

顯然，對于Facebook正在研究的這項技術，其最終目標是應用到AR和VR頭顯。盡管研究人員表示他們已經驗證了所述概念，但我們尚不清楚什么時候才能從實驗室帶到日常頭顯之中。

原文鏈接：https://yivian.com/news/77575.html