杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

2020年WWDC上,透過iOS14作業系統釋出,蘋果宣佈在AirPods Pro下提供空間音訊Spatial Audio的支援,一年後WWDC 2021,蘋果宣佈Apple Music可提供支援Dolby Atoms杜比全景聲的音樂內容。業界認為,在杜比公司的Dolby Atoms技術問世近十年後,蘋果的姍姍來遲反而是打通了兩聲道杜比全景聲體驗的最為重要的內容一環。但實際情況如何?我們今天一文先透過在蘋果iPhone、iPad和Apple TV下杜比全景聲和蘋果空間音訊不同體驗來聊一聊現在兩聲道虛擬環境聲的體驗。

在開始全文之前要明確蘋果公司對空間音訊技術體驗的定義:一種劇場般體驗的心理聲學技術[Theatre-like experience, Pyschoacoustic technology]。

一、透過Apple Music的Dolby Atoms音樂

2021年6月蘋果宣佈Apple Music支援無損與高畫質無損,同時推出了支援杜比全景聲Dolby Atoms效果的音樂內容,並且半年來保持著更新。在音樂內容中,杜比全景聲效果並不僅針對蘋果公司的耳機產品,任何耳機,包括有線耳機都可以支援該效果。只不過,在系統預設下杜比全景聲播放設定為“自動”,可識別AirPods耳機後自動開啟,而第三方耳機產品可使用強制“始終開啟”來實現。

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

蘋果 Apple Music 杜比全景聲播放介面

如圖所示,我們在iPhone、iPad、Apple TV連線AirPods耳機後,可以在app狀態中看到“杜比全景聲”字樣,就說明真正開啟此效果了。而第三方耳機沒有任何UI上提示,但其實效果確實也是起效了。

關於效果:

大家評價褒貶不一,但肯定談達不到“大多好評”。但值得一提的是,這個渲染器可以將原本兩聲道內容加入空間資訊,也可以將原本本身就是多聲道內容加上空間資訊。另外考慮到,兩聲道虛擬環境聲所謂的心理聲學,其實是需要人類大腦的一些想象力和關聯能力。所以,目前場景固定易於大腦產生反應的古典音樂效果更好,同時,杜比公司本身擁有不少的多聲道錄音古典音樂資源,也讓一些古典音樂的杜比全景聲表現相當不錯。

實現方式:

杜比全景聲在音樂中的應用的提交併不困難,可以透過蘋果自家的Logic Pro中的Renderer for Dolby Atoms外掛來製作完成。而非蘋果平臺也可透過Renderer for Dolby Atoms的VST外掛在音訊編輯軟體上完成。只要製作足夠精心[比如非常豐富的錄音軌道都可以單獨指定空間資訊,3D圖形化操作等等比較方便],會有一定的效果。

這套內容的本質,與Android、Windows幾年前就提供的杜比全景聲方案几乎沒有差別,它在內容生成時已經透過杜比公司的渲染器做好了源內容對空間資訊錄入,所以對輸出裝置並不挑剔。不僅耳機可以聽出效果,立體聲喇叭也可以聽出效果。

二、透過蘋果官方《TV》app

這個app的服務目前在國內無法使用,我們以美服內容為例。杜比公司與大量線上影片流媒體內容合作,目前支援杜比全景聲的內容已經非常可觀。要確認自己是否在Dolby Atoms訊號下,如圖要參考AirPods Pro等耳機連線下的相關字樣為“杜比全景聲”,如果訊號頻寬不允許,此處有可能會跳為“立體聲”。

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

蘋果 Apple官方《TV》app 播放杜比全景聲電影介面

內容版權保護,所以底面是純黑……

關於效果:

如果你真的體驗過在Apple TV連線電視機後[當然,iPad也可以],使用AirPods Pro來聽杜比全景聲的效果,只能用非常震撼來形容。此時耳機的低頻動態,聲音風格都發生了非常明顯的變化,聲音的平均響度也比普通立體聲下有了不小的提升。雖然不敢說後方環繞聲有多麼逼真,但前方結像的位置已經可以精確的放在身前兩三米電視機的位置,而且動態表現遠遠超出AirPods Pro在普通立體聲模式下的水平。頂部空間與後側空間環境聲效果,超越電視機音響問題不大。

實現方式:

在播放線上流媒體影片內容中的杜比全景聲音軌時,它的工作方式已經和我們第一條談到的音樂內容中的全景聲大不相同。蘋果技術課程中明確提到,在杜比全景聲內容時,向藍芽耳機傳輸的是超出立體聲AAC訊號的多聲道訊號,所以此處也需要AirPods Pro、AirPods3、AirPods Max等特別的耳機才可以支援,播放的機型也有一定的限制。值得一提的是,即便在多聲道模式下,蘋果仍然可以支援2條AirPods耳機的音訊共享。這套多聲道傳輸技術似乎是在2021年的iOS15/TVOS 15上才加入的。

補充一點,如果沒有官方《TV》下的電影,也可以去看看蘋果的各廠釋出會內容,它的空間音訊效果也是絕對的典範級,定位效果不比電影差。

三、透過支援多聲道的第三方app,如《Infuse》

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

《Infuse》app在iPad下播放杜比全景聲或多聲道電影音軌下介面

關於第三方app如何支援杜比全景聲,iOS15上也提供了方便實現方法,只需要標記為標準的多聲道內容,就可以被識別。遺憾的是,我們國內的優酷、愛奇藝、騰訊等app,即便在特別會員下,杜比劇場等類似內容的音軌也是透過上文所說第一種方式事先合成的,所以無法實現第二條談到的實現方式。

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

《騰訊影片》app在iPad下播放介面截圖-僅為立體聲狀態

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

《優酷》app在iPad下播放介面截圖-僅為立體聲狀態[幀選劇場]

而我們找到了原本在Apple TV上最常用第三方影片播放app《Infuse》在最新版本下提供了多聲道音訊向AirPods Pro等耳機傳輸的功能。如圖所示,我們看到這裡顯示的不是“杜比全景聲”而是“多聲道”。這點應該是杜比公司和蘋果公司的限制,關於細節本文不再展開。

關於效果:

像《Infuse》這樣,可以將杜比全景聲甚至DTS、AC3等傳統多聲道內容,輸出給耳機以“空間音訊”方式來播放的第三方app,效果同樣不錯,在聲音整體動態方面仍然明顯優於耳機立體聲模式。低頻的量感、風格也和普通立體聲音樂模式下差別很大。但是,在結像準確性,空間感,低頻的動態等方面要落後於流媒體內建的杜比全景聲音軌還原,即不如上文的第二種方式。

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

《Infuse》app在iPad下連線第三方耳機播放杜比全景聲音軌介面

實際聽感沒有空間音訊

實現方式:

關於第三方應用實現,準確的說應該稱之為多聲道渲染下的空間音訊,如果影片內容有5。1以上規格音軌,第三方應用可以方便的匯入該音軌,空間音訊可以自動識別,並且完成渲染和傳輸。它的傳輸方式與第二條談到的一樣,與第一條音樂的全景聲不同,所以,仍然需要蘋果特定耳機支援,播放裝置也有一定限制。

四、遊戲和app的支援

在iOS15這一代作業系統中,蘋果的空間音訊最大的擴充套件來自於PHASE音訊架構。它從音訊架構底層進行了重建,將音訊事件渲染與3D圖形渲染處於同一級別,將幾何資訊、事件觸發資訊等圖形渲染與音訊同步,真正的將物理資訊對聲音的影響加入到了環境聲之中。

試想,身處一個小河旁山腳下的第一視角主人公,原本週邊的聲音需要透過預設多個點,透過渲染路徑運動路徑觸發實現。環境音,透過多個點聲源來配合完成。而在PHASE下,所有環境聲為體積音源,環境中可以加入不同影響聲音的物體,物體形狀、材質等聲學物理特性可以被定義;人物移動如踩到泥、踩到砂子等物理特性同樣被聲學物理特性以及事件渲染相關。

這套設計主要針對未來的app應用和遊戲應用等,我們目前沒有找到明確了使用該技術的遊戲。沒有具體體驗。關於這方面技術,我們並不專業,也許描述的不夠精確,敬請諒解。

最後,對比Android與Windows

2012年,杜比公司便釋出了Dolby Atoms技術,關於技術的描述一直以來都神神秘秘,說法大概就是在音訊資訊中加入了空間資訊,在家庭應用中我們可以看到7。1。2、7。1。4等配置,頂部聲道加入可能是以往大家關注的亮點。而頂部聲道的錄製,現在也成為了目前行業最主要規範之一[比如奧運會轉播等]。

但Atoms的核心在於將內容源編碼加入空間資訊,無論是家庭的7。1。4還是電影院的64個通道,甚至傳統立體聲小喇叭如手機,或耳機。它都由特殊的編碼來定義空間資訊,然後再做分配。

為了推廣Atoms,其實早在五六年前,杜比就在Windows下推出了atoms for Headphones的應用,它不但可以支援立體聲的虛擬化環境聲,還可以支援傳統杜比多聲道到耳機兩聲道的渲染。但由於杜比音軌和Windows下影片源內容生態較為複雜,願意體驗的人可能不多,其實今天,我們透過第三方播放器呼叫,經過一通設定也是可以感受到該應用的效果。

同時,杜比公司還早就在Android手機上推出杜比全景聲認證的外放,這種效果的實現方式與我們談到的第一種方式類似,就是將內容透過杜比的渲染器渲染後,兩聲道輸出。這種配合的方式,除了一些Demo效果不錯外,顯然不可能做到各種各樣影片內容都有好的表現。

杜比全景聲與空間音訊在蘋果生態下的四類應用 「SOOMAL」

《Bilibili》app在iPad下播放帶有杜比全景聲標誌內容截圖-僅輸出立體聲

該標誌只說明影片內音軌為杜比渲染器標準的ADM音軌

這裡我們要提一句Bilibili的大會員下杜比全景聲支援,透過MP4封裝真正的來自Renderer for Dolby atoms渲染器得到的ADM音軌,就可以點亮全景聲的標誌。但正如我們介紹的,該方法屬於第一種預渲染的機制,所以對於AirPods等耳機並無加成。而即便沒有ADM音軌,但是原本立體聲AAC音軌已經是透過渲染器渲染的,理論上效果並不會有什麼差異。這種效果,其實還停留在目前Apple Music、以及安卓杜比全景聲的大部分應用的檔次。與iOS15下的杜比全景聲+空間音訊加成沒有關係。所以,我們會發現很多在B站沒有點亮大會員杜比Atoms LOGO的影片,其實也是有效果的。

總結

透過今天的文章,主要想表達有幾個方面內容。

第一,杜比全景聲音樂是傳統的渲染和傳輸方式,它的效果好壞與渲染前本身是否為多聲道,以及製作中是否特別精心相關,這種方式不挑回放耳機。理論上它與Android、Windows下的杜比全景聲沒差別,只不過蘋果現有內容可能更為精良。

第二,蘋果空間音訊+杜比全景聲的組合在於多聲道內容到蘋果特定耳機的回放,這包括蘋果官方《TV》app和遊戲等應用可以支援的全景聲或多聲道空間音訊;也可以包括向空間音訊輸入傳統的多聲道訊號後,連線蘋果特定耳機回放的空間音訊內容。這種方式下,聲音效果極為出眾,以AirPods Pro為例,已經遠超該耳機在普通模式下表現。可以認為,這才是“空間音訊”正確開啟方式。

第三,蘋果在iOS15系列作業系統下為音訊架構加入了“物理引擎”PHASE,對於未來空間音訊應用,以及VR+AR應用來說,理論上有很高價值。

第四,有沒有發現我們全文都沒有提原本大家都認為重要的“頭部跟蹤”?雖然它看似酷炫,也最容易被體驗到感受到,但它只在第一步人腦建立預想的心理聲學環境時有很好的作用。但空間音訊在目前影音應用中效果好壞,與“頭部跟蹤”並沒有因果關係。