3D效果图 百分网手机站

浅析3D音频技术拯救VR的寒冬

时间:2017-10-16 09:57:11 3D效果图 我要投稿

浅析3D音频技术拯救VR的寒冬

  最近人们常说:VR 的寒冬来了。最近看到一句非常好的描述:“一度承载着创业者和投资人太多期待与热情的 VR 行业,经历了如过山车般的一年。”核心技术瓶颈突破之前,VR 还将在泡沫收缩过后进行理智思考。而 3D 音频,作为 VR 产业的关键性技术节点,值得在今天被关注。小编在此为大家带来3D音频技术拯救VR的寒冬的理性分析。

  在百度上搜索 “VR 寒冬” 有 1,660,000 个结果。

  《资本变脸:6 个月,VR 从狂欢到惨淡》(极客公园, 2016 年 09 月 07 日),《吸引了无数资本和创业者的 VR 行业,似乎已进入寒冬》(中国企业家,2016 年 08 月 26 日),《 VR 创业公司的寒冬来了?听听资本大咖怎么说!》(网易新闻,2016 年 05 月 27日),《小心被套! VR 将迎来寒冬》(搜狐新闻,2016 年 05 月 11 日)……

  人们犹记得 2015 年下半年到 2016 年年初的 VR 热:从创业者到投资人,大家都对 VR 有着无限的热情与希望。而从计算机背景出生转行做 VR 的人真不在少数:他们正是看准了这块 “热土”, 从大公司走出,一头钻进 VR 行业。

  行业缺少优质标的,关键性技术节点远未突破,VR 如同一个牙牙学语的婴儿,尚在襁褓之中,远未成熟。与其说 VR 凛冬已到,不如说之前的泡沫正在合理地被挤破。

  这里的 “关键性技术节点” 其中之一,就是空间音频技术。在今天,人们更愿意叫它 3D 音频。

  正如著名 VR 制作公司 Jaunt 的音频首席工程师亚当·桑默(Adam Somers)说的:“(在 VR 这件事上面),听觉占了五成,视觉占剩下五成。”

  听觉决定了人类对空间的定位、对物体距离的感知等等。视觉给出一个线索,听觉则去证实这个线索是否真实存在。如果少了视觉的沉浸感,那么一切画面的真实性就荡然无存。不解决听觉问题,虚拟现实就不能成为虚拟现实。可以这么说,3D 音频决定了我们念叨着的 VR 时代是否真正到来。

  首先科普一下 3D 音频

  什么是 3D 音频?简单来说,3D 音频是对声音最逼真的模拟技术,能让听众完全还原到与现场相似的声场。类似的叫法还有全景声方案、Immersive Audio(沉浸式音频)。你能到完全听到逼真到 “现实” 的声音,而不是 “现实主义” 的。

  目前世界范围内最成熟的空间音频制作公司之一,VisiSonics 的创始人之一拉玛尼 · 杜瑞斯沃米(Ramani Duraiswami)有一句话:“当你听到的声音是极度真实的时候,耳机就消失了。”

  人耳对声音信号有一套自己的分析系统,来得以对声音进行分析与定位。从空间任意一点传到人耳(鼓膜前)的信号都可以用一个滤波系统来描述,音源+滤波器(传递函数)得到的就是声音到达两耳鼓膜前的信号。

  我们不必关心声音是如何传递到双耳的,而只需要知道:音源与到达我们双耳之前的信号是有差别的;并且我们的左耳和右耳听到的声音是不一样的。这可能是源于我们的'进化,视觉没有办法在黑夜中定位,而耳朵可以通过左右耳的声音不同,进行定位与防御。

  这个滤波器(传递函数)叫 HRTF ( head-related transfer function )。如果我们有空间所有方位到双耳的滤波器组,就能得到一个滤波矩阵,从而还原来自整个空间方位的声音信号。

  HRTF 是极具个人性的。每个人成长中都会形成一套自己对听力的感知。并且,我们每个人的头部大小不一样、耳间距不一样,耳朵的轮廓、里面的旋涡状也不一样。加上,我们在成长当中养成了自己独特的听力习惯。可以这么说,每个人听到的同样物体发出的声音,其实都有细微差别。

  如何还原人耳真实听到的声音?科学家对此的探索不是今天的新事。在将近一个世纪之前,1933 年,AT&T 贝尔实验室就把这项技术带到了芝加哥世博会上。这家公司的人声研究部做了一个机械化的仿真人头——他们把这个假人取名叫 “Oscar”。Oscar 的耳朵里装上了两个麦克风,坐在展示房间中,录取周围的声音。Oscar 听到什么,他就能录到什么。

  AT&T 贝尔实验室提供的解决方案叫做双耳录音技术(Binaural Audio)。

  双耳录音技术模拟人类真正的头部的形状、左右耳的耳间距,可以收录到近乎于真正的人类听到的声音。这是一种有效的“笨方法”,物理层面上即还原了 HRTF。沿着这条路径,德国麦克风公司纽曼(Neumann) 在 1973 年到 1992 年间,连续在双耳录音技术上做出了各种突破——更好的收音设备、把麦克风放置于仿真假人耳内鼓膜上等等。

  双耳录音技术在这个世纪中一直处于缓慢的速度发展,原因在于,没有强大的产业需求。一直等到这一波 VR 热潮的来临,它才重上舞台。 由于 Oculus Rift , 索尼 Morpheus 以及三星 Gear 带来的 VR 普及,3D 音频技术迎来了它的 “文艺复兴” ——于是它又被称作了 VR 音频。