Gorillaz的《Saturnz Barz》360度視頻和Lytro的《Hallelujah》體驗等知名VR作品都專注于聽覺體驗。音效不僅只是用于漸漸推進聽覺體驗的一種線索,它可以完全改變VR冒險,甚至能夠影響整個故事線。
一.行業將會在各種類型的體驗中擁抱基于對象的音頻
如同360度相機可以從單點捕捉整個3D場景,一個環境立體聲(Ambisonics)麥克風可以在給定時間內描述出360度場景中的音頻快照。環境立體聲信號十分適合傳輸大體環境,但難以精準定位單體聲音。這個缺點困擾音頻工程師已有相當一段時間。
從今年年初開始,更多的音頻工程師開始使用基于對象的音頻和基于場景的音頻來創建更為逼真的聽覺體驗。基于對象的音頻是指被領夾式麥克風捕捉的單體聲音;而基于場景的音頻則是指被環境立體聲(Ambisonics)麥克風捕捉的大體聲音層。在物理現實中,你可以詳細聽到接近于你或對你十分重要的聲音(基于對象的音頻),而其他則被感知為背景聲音(基于場景的音頻)。對象音頻和場景音頻的結合成為VR音頻工作流程的行業標準只是時間問題。
由于對單體聲音進行后期處理更加容易,基于對象的音頻為內容創作者提供了更多的創意內容(我們可以想象單個原始元素與一個大型凌亂的聲音組合之間的比較)。另外,基于對象的音頻完美適配6自由度VR內容,而這種內容正變得越來越受歡迎。
6自由度內容就如同游戲,角色可以在空間中任意走動,同時可以與環境中的對象交互。當角色進行任意這種活動時,聲音需要相應地發生變化。因為可以更好地在游戲中定位聲音,以及可以輕易表達出變化,所以基于對象的音頻實際上早已用于3D游戲引擎中。
二.更多企業將擁抱空間音頻,高質量VR內容也會隨之出現
空間音頻是傳達逼真VR體驗的關鍵。空間化的聲源提供了三維位置數據,讓用戶感覺聲音好像真的是從這些聲音位置中傳來。就目前而言,YouTube和Facebook是唯一支持空間音頻的知名播放器平臺。
發行平臺數量上的限制使得內容創作者在制作中全面擁抱空間音頻的熱情大為降低。不過,隨著人們越來越意識到聲音的重要性,渲染器或播放器將最終支持空間音頻。當視頻播客網站Vimeo在3月份推出Vimeo 360以支持360度內容時,來自用戶大量的請求包括了對空間音頻功能的渴望,而官方幫助頁面表示他們計劃在不久的將來支持空間音頻。相信更小的播放器和平臺將會沿著Facebook、YouTube和Vimeo的路徑前進。隨著VR內容質量的用戶標準不斷上升,空間音頻將會普及開來。
有許多因素阻礙了發行平臺采用空間音頻,主要原因是缺少專門的VR音頻格式,以及兼容的渲染器。隨著行業越來越注重基于對象的音頻,單純的環境立體聲將會逐步淡出舞臺。
為了統一空間音頻工作流程,我們在今年年初看到了GAO格式的出現。GAO格式由位于美國洛杉磯的空間音頻公司G’Audio Lab開發,其把對象和環境立體聲整合成單個和立體信號。
G’Audio Lab的商業開發總監布魯克林·埃爾里克(Brooklyn Earick)表示:“許多人觀看了我們的演示作品。當他們看到聲音空間化并在環境立體聲格式下傳達的部分時,他們通常會開始微笑。然后在看到GAO部分的時候,許多人都會因驚喜而不由自主地嘴巴上揚。”由于GAO配備了兼容的渲染器SDK,所以不同大小的平臺將能更容易采用空間音頻。
三.創作者將探索后期制作并創建新的聽覺體驗
VR音頻在通過相應的聲音匹配視覺上已經有了精度,下一發展階段將是在后期制作上探索令人興奮的新技術,把專屬于VR的所有潛能都發揮出來。
聲音不僅只是一種用于引導VR用戶視線的故事敘述線索。在部分新用例中,如果你愿意,你實際上可以在相同體驗中聽到特定的聲音。
這種聲音新浪潮不僅只是當前技術進步的一部分而已。在許多情形下,這將會給革命性的新娛樂形式讓步。對藝術家而言,虛擬畫布使得現實生活中的物理維度在水平和垂直上擴展了360度。音樂家現在可以把玩“虛擬位置”,然后再配合以對音高、響度和時間的傳統考量。他們同時在學習如何利用人類的聽覺感知,并在更深的層次影響這些體驗。你在現實生活中體驗過的部分心理聲學可以應用在VR中,這使得體驗在個人層面上有所不同。
VR音頻的進步將會變成為主流消費者優化體驗的關鍵,并賦予開拓者創新體驗的必備工具。這三種趨勢在達到目標之前仍有一段很長的路要走,但在未來幾年內將會幫助塑造整個行業。
(審核編輯: 智匯張瑜)
分享