美國專利及商標局今天公布了一份蘋果專利，與用于全向和多向圖片與視頻有關的編碼技術。映維網早在2017年10月就報道了一份與這一話題相關的專利。當時的專利涉及VR應用的后期制作，而今天的專利Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections則涵蓋編碼方面的技術。

延伸閱讀：蘋果申請新VR專利，可用于VR攝影和后期制作

對于今天公布的專利，蘋果指出當前的指出編碼應用程序沒有考慮在處理全向或多向圖像時可能出現的圖像畸變。這種畸變會導致普通視頻編碼器無法識別圖像內容中的冗余，從而導致編碼效率低下。蘋果的發明正是為了克服編碼效率低下的問題。

為了更好地理解蘋果項目的背景，我們可以把目光放在2017年的VR應用后期制作專利。在去年的專利申請中，蘋果指出傳統的180度或360度視頻或圖像是以平面格式進行存儲，使用等量矩形投影或立方體投影來表示球形空間。如果在傳統的編輯應用程序或圖形應用程序中編輯這類視頻或圖像，當視頻或圖像以圓頂投影，立方體投影進行分發和渲染時，或者在VR頭顯內進行球形映射時，用戶將難以解釋最終結果的體驗。在平面投影中編輯和操縱圖像需要特殊技能和大量的試錯。

另外，在用球形合成或編輯圖像或視頻后，出現后續鏡頭未對準，或者立體視差點無法以自然方式匹配，這是一種常見的體驗。

對于蘋果在2017年的發明，其主要是將單視場和立體視場的180度或360度靜態圖像或視頻從主機編輯軟件或視覺特效軟件傳輸至相同設備上同時運行的軟件上，以等量矩形投影或其他球形投影的方式進行。相同的設備可以持續獲取有線或無線頭顯的方向傳感器的方向和位置數據，同時向頭顯實時渲染這一方向的單視場或立體視場視圖。

圖5是2017年的專利，說明了3D顯示設備呈現一張預覽圖像。我們看到了視頻或圖像編輯或圖形處理軟件程序#501的用戶界面，等量矩形投影的球形圖像顯示在畫布#502之上，以及合成或編輯時間線#503

對于今年的蘋果專利，他們指出一些現代成像應用程序可以從多個方向捕捉圖像數據。一些相機在捕捉圖像時會沿著樞軸旋轉，這允許相機通過掃視捕捉更多的圖像數據，從而擴大有效視場。其他相機則包含多個成像系統，能夠在多個不同的視場中捕捉圖像數據。在任意一種情況下，相機系統都可以創建一種聚合圖像，代表從多個視點捕捉的融合或“拼合”圖像數據。

文件指出，視頻可以從多個視點捕捉主題或場景，例如令多臺相機指向同一地點，或根據最近的行業發展，使用能夠錄制場景所有方向的球形相機。對于手持式視頻，或對于能改變相機位置和視點的圖片而言，圖像可以提供許多可以合并至場景的額外數據。

蘋果寫道：“許多現代編碼應用程序并不是為處理這種全向或多方向圖像內容而設計。”這表明應用程序是假設圖像數據屬于“平面”或從單個視圖捕捉，意味著如此應用程序沒有考慮處理可能出現的畸變，因此無法識別圖像內容中的冗余，反過來又導致效率低下。

因此，蘋果專利的發明人意識到行業需要一種能夠處理全向和多向圖像內容，同時能限制畸變的編碼技術。簡而言之，編碼器將視頻分成像素塊，而對于每個像素塊，編碼器可能將其與參考圖片中關于場景的其他數據進行比較。利用對搜索塊和參考數據的預測搜索，編碼器可以對像素塊執行不同的操作，使其看起來更適合于用戶。

圖1中的系統#100包含至少兩個通過網絡#130互聯的終端。第一個終端#110擁有一個生成多向和全向視頻的圖像源。這個終端同時包含編碼系統和傳輸系統，用于向第二個終端#120傳輸編碼的多項視頻。

例如，第二個終端在本地顯示器上顯示球形視頻，它可以執行視頻編輯程序以修改球形視頻，或者將球形視頻集成到一款應用程序中(如一款VR程序)，然后在頭顯中進行顯示，或者存儲球形視頻供以后使用。

公開的實施例可以應用于筆記本電腦，平板電腦，智能手機，服務器，媒體播放器，VR頭顯，AR顯示器，全息顯示器，以及專用的視頻會議設備。

圖2則與編碼系統有關。系統200包含一個圖像源，一個圖像處理系統，一個視頻編碼器，一個視頻解碼器，一個參考圖片存儲器，一個預測器，以及一對球形變換單元(#270和#280)。

圖像源可以生成作為多向圖像的圖像數據，包含在多個方向上圍繞參考點延伸的視場的圖像數據。圖像處理系統可以根據需要轉換來自圖像源的圖像數據，從而適配視頻編碼器#230的要求。

視頻編碼器可以生成輸入圖像數據的編碼表示，這一般是通過利用圖像數據中的空間沉余和臨時沉余。視頻編碼器可以輸出輸入數據的編碼表示(在發送或存儲時消耗比輸入數據更少的帶寬)。

如果你進一步深入專利文件，你將發現蘋果詳細地描述了這個“編碼系統”，從專利點#0022一直到專利點#0026。

圖3說明了可用于專利實施例的3個圖像源。圖像源#310和#340都可用于專利披露的實施例。

第一個圖像源是相機#310，如圖3a所示。其包含單個圖像傳感器，能夠沿樞軸旋轉。在操作期間，相機可以沿著預設轉動范圍(最佳是全360度)捕捉圖像內容，并且將捕捉的圖像整合成一張360度圖像。

捕捉操作可以生成等量矩形圖像#320，預定尺寸是M×N像素?？蛇x地，等量矩形圖像可以轉換成球形投影。

圖3b說明了另一種圖像源(全向相機#340)的圖像捕捉操作。在這個實施例中，相機系統可以執行多向捕捉操作，并輸出立方體貼圖圖片#360，尺寸是M×N像素，其中圖像內容根據立方體貼圖捕捉#350進行排列。

圖3c說明了另一種圖像源(魚眼相機#370)的圖像捕捉操作。在這個實施例中，每個透鏡系統在不同的180度視場中捕捉數據，表示相對的“半殼”。

相機可以從每個透鏡系統中圖像拼合中生成圖像#380，根據每個半殼視場的對象位置，魚眼透鏡通常會引起畸變。

需要注意的是，蘋果每周都提交大量的專利申請，但很少能真正成為產品或服務。專利申請無法確保一個概念能出現在未來的消費者設備中。

專利文件中的概念可能存在一定的前景應用。首先，這可以允許用戶通過360度相機錄制視頻，合理地拼合視頻，從選定區域創建剪輯，進行轉換，使其看似最初就是通過“平面”相機錄制。

第二種前景應用是VR，可用于創建球形視頻，以及提供頭顯用戶的平面視圖。使用360度相機制作的視頻可能是未來VR用戶的主要內容來源，但能夠修正畸變，偽影的能力將能提高內容的觀影質量。

來源：yivian