來源：映維網(wǎng)  作者 廣州客

如同ARKit的3D模型一樣，蘋果正在為XR設(shè)備開發(fā)一種全新的音頻格式，從而允許開發(fā)者更輕松地將聲音放置在穿戴“蘋果眼鏡”的用戶周圍，包括移動的情況。另外，這一格式或許是基于與皮克斯的合作。

除了致力于實(shí)現(xiàn)高分辨率的圖像外，蘋果同樣在努力提升“蘋果眼鏡”的音頻效果。日前美國專利商標(biāo)局公布了兩份與之相關(guān)的沉浸式音頻專利申請，而這表明蘋果正在探索如何為設(shè)備實(shí)現(xiàn)空間音頻。

具體而言，蘋果希望構(gòu)建一種類似于.MP3或.AAC的音頻格式，并將其打造成XR設(shè)備的標(biāo)準(zhǔn)格式。所述格式能夠?qū)R所需的額外空間信息合并在一起，并納入相關(guān)的空間音頻效果。值得一提的是，蘋果早前曾與皮克斯為AR開發(fā)了一種名為USDZ的格式，即在用戶周圍的三維空間中放置音頻。

延伸閱讀：已在皮克斯發(fā)展6年，解讀蘋果USDZ AR文件格式，對AR發(fā)展有何幫助

名為“File Format For Spatial Audio”的蘋果專利申請指出：“在增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)應(yīng)用中生成三維音效是一個(gè)挑戰(zhàn)，因?yàn)楝F(xiàn)有的音頻格式最初是為在有著固定揚(yáng)聲器位置和固定聽者的物理環(huán)境中產(chǎn)生3D聲音而設(shè)計(jì)，比如電影院。”

蘋果在這份專利文檔中將AR、VR和MR統(tǒng)稱為模擬現(xiàn)實(shí)（Simulated Reality；SR），并表示他們希望以現(xiàn)有的3D音頻格式作為基礎(chǔ)來為SR模擬現(xiàn)實(shí)構(gòu)建一種空間音頻格式。這家公司指出，設(shè)計(jì)用于產(chǎn)生3D聲音的空間音頻格式可以包括MPEG-H 3D Audio標(biāo)準(zhǔn)、HOA空間音頻技術(shù)和杜比 ATMOS環(huán)繞聲技術(shù)。

蘋果進(jìn)一步介紹道：“在SR環(huán)境中產(chǎn)生3D音效的另一種選擇是操縱音頻對象所包含的單個(gè)離散聲音，而所述聲音幾乎可以位于3D環(huán)境中的任何地方。”

相關(guān)專利：Apple Patent | File Format For Spatial Audio

蘋果在解釋需要一種全新的格式時(shí)指出：“（然而）使用現(xiàn)有的空間音頻格式和對象來為SR應(yīng)用程序合成音頻十分困難，因?yàn)闆]有統(tǒng)一的方法來訪問各種聲源并將它們合并到動態(tài)SR環(huán)境中。”

蘋果提出的解決方案是創(chuàng)建一種類似于.m4v和.mp4，并負(fù)責(zé)將不同元素組合在一起的“容器”格式。就蘋果的空間音頻需求而言，這家公司建議創(chuàng)建一種“音頻asset庫…(其中)包括允許SR應(yīng)用開發(fā)者編寫用于SR應(yīng)用的asset元數(shù)據(jù)。”

asset元數(shù)據(jù)不僅描述了聲音是如何編碼，而且描述了模擬現(xiàn)實(shí)環(huán)境中的用戶是如何體驗(yàn)聲音。配置模擬現(xiàn)實(shí)開發(fā)者平臺，以便開發(fā)者可以使用音頻庫中存儲的音頻資源來為模擬現(xiàn)實(shí)對象合成聲音。包括asset元數(shù)據(jù)編輯，以納入支持asset元數(shù)據(jù)實(shí)現(xiàn)動態(tài)轉(zhuǎn)換的轉(zhuǎn)換參數(shù)，從而改變用戶體驗(yàn)合成聲音的方式。

在另一份名為“Spatial Audio Upmixing”的專利申請中，蘋果主要介紹了一種可用于XR設(shè)備的空間音頻上混頻（Upmixing）。作為說明，音頻領(lǐng)域存在Upmixing（上混頻）和Downmixing（下混頻）的技術(shù)。一般而言，與下混頻相反，上混頻是指將音頻聲道轉(zhuǎn)換成更多的音頻聲道，實(shí)際上，這個(gè)過程主要是將雙聲道轉(zhuǎn)換為5.1聲道，亦即中央聲道，前置左右聲道和后置左右聲道，以及所謂的0.1重低音聲道。

蘋果進(jìn)一步指出：“Spatial Bed是一種代表完整聲場描述的多聲道音頻內(nèi)容，Spatial Bed是表示完整聲場描述的多聲道音頻內(nèi)容，如虛擬聲場。通過混合至少兩個(gè)這樣的Spatial Bed，可以生成新的Spatial Bed。”

音頻專業(yè)人士或許會認(rèn)為這里的上混頻只是指左右位置，但對于XR領(lǐng)域，蘋果是在考慮一種球體布置。

相關(guān)專利：Apple Patent | Spatial Audio Upmixing

文件指出：“新的空間音頻對象可以包括一個(gè)虛擬聲源（虛擬球體）的球形陣列，而所述陣列定義了圍繞新空間音頻對象收聽位置的聲場，例如，在定制混音球體的中心。”

一個(gè)典型的聲音編輯器應(yīng)用現(xiàn)在擁有一個(gè)音頻波形的平面圖形顯示，而蘋果提出了一個(gè)可以在球體范圍內(nèi)顯示音頻的全新系統(tǒng)。

蘋果表示：“所述過程同時(shí)可以將新的空間音頻對象（新的Spatial Bed）可視化為一個(gè)單獨(dú)的新球體，例如在SR環(huán)境中從聲音設(shè)計(jì)師的角度顯示新球體的表面，這樣他們就可以在新球體的內(nèi)部設(shè)計(jì)聲音。”

文件繼續(xù)說道：“這可以呈現(xiàn)為聲音設(shè)計(jì)師在SR環(huán)境中伸出的虛擬雙手，并用手持式畫筆或噴霧設(shè)備繪制新球體的內(nèi)部（或外部），而所選聲音的（空間音頻對象的輸入）將被渲染。”

蘋果沒有提到用于這種空間音頻的格式名稱，但“Spatial Audio Upmixing”和“File Format For Spatial Audio”這兩份專利或許是息息相關(guān)。

值得說明的是，這并不是蘋果第一次構(gòu)建專有的音頻格式。例如，它創(chuàng)建了自己的無損ALAC格式，并且在iTunes商店中選擇了AAC而非MP3格式。

原文鏈接：https://yivian.com/news/77897.html