VR如何复活沉寂已久的3D音效？

本篇文章4964字，读完约12分钟

大脑太神奇了。只需要两只耳朵和大脑周围的一些软骨，并且只有通过声音线索才能在3d 空房间中准确定位物体。你可以倾听周围的声音。说真的，停下来听听你周围的声音。即使那些声源完全不在我们的视线之内，我们也应该知道声源的位置。这是声音的定位效果。这是一种非常强大的能力，虽然大多数人认为这是理所当然的，但正是这种能力帮助我们完成生活各个方面的一系列活动，比如安全地过马路而不被凶猛的狗伤害，当然还有创造游戏的身临其境的效果。

让我们解决它

在现实生活中，我们有五种感官(如果你生活在m. night shyamalan导演的电影中，你会有第六感)。这五种感官是触觉、味觉、嗅觉、视觉和听觉。然而，在虚拟现实的游戏世界中，我们只能自由使用两种感官，即视觉和听觉。

在某些方面，这是更好的(例如，在僵尸游戏中可以品尝，有人想试试吗)。既然现在只有两种感官可以使用，那么制作一个真正的沉浸式游戏就意味着将它们发挥到极致。简而言之，它需要高质量的3d图像和3d音效。

虽然近年来图形领域不断发展和升级，但pc端音效的发展历史似乎特别混乱，新发明层出不穷，停滞不前，甚至完全倒退。然而，随着虚拟现实产品的出现和不断发展，真正的3d音效似乎又兴起了。这一次，他们从过去层出不穷的新发明中吸取了教训，虚拟现实应该把沉浸式声音体验推向一个前所未有的高峰。

音效急需恢复

3d音效很恶心。正确执行的3d音效仍然很酷，但是最近几十年来，3d音效的整体质量并不乐观。毫不夸张地说，要理解为什么虚拟现实可以恢复3d音效，我们必须理解为什么3d音效需要恢复。

3d音效使用每个声音和听众在空.之间的坐标轴(x，y，z轴)上的坐标位置然而，大多数现代游戏将声音定义为水平扩展，但在垂直方向几乎没有高度和距离感。这意味着我们定义的声音对听众来说就像一个静态呼啦圈，只能提供微弱的伪3d效果。

音频历史

从某些角度来看，音效在过去几十年里发生了突飞猛进的变化，尤其是从保真度和信噪比的角度来看。自19世纪晚期托马斯·爱迪生第一次通过留声机播放一段声音以来，我们在音频领域取得了很大进展。然而，尽管在保真度和预录制方面不断改进，3d实时声音建模还是有些不尽人意。

那么，在游戏中创造出色的3d音效有多难呢？为什么我的游戏没有3d音效？再现高保真音效并不难，但要再现3d 空房间的动态行为却非常困难。

空

首先，我们预先录制了一个声音效果作为样本。它可能是僵尸的呻吟，射击的声音，或者是你朋友在雪地里的脚步声。不管声音效果是什么，它必须有一个声源和一个听众。

声源和听众都需要在3d 空房间中占据一个位置，这被称为空房间定位。本质上，这意味着声源和听众都有一个完整的动态xyz轴坐标，从左到右，从上到下，从前到后。随着它们位置的改变，预先录制的声音样本也必须随着它们位置的改变而改变。从左到右、从前到后的关系也有专门的术语来描述，称为方位角，而从上到下的关系除了称为距离之外，还称为仰角。虽然空之间的定位对于声音的沉浸效果非常重要，但这只是冰山一角。在声音到达听众的位置之前，它需要沿着空.复杂的弯曲路径传播一段距离

就像光一样，声音很少在直线上从A点到B点。根据周围的环境，他们可能会在穿梭过程中经历数千次路径变化。光可以被反射，声音也可以被反射，并且反射可以被细分为早期反射和晚期反射)；。它也可以被吸收(或削弱)；甚至可以完全隔离，如声音闭塞。空范围内的声音也能产生回声(盘旋混响)，这取决于声音在传播过程中的路径。将这些环境因素结合在一起就是人们通常所说的音频环境。

由于这些环境因素对声波传播的影响，计算机也很难处理这种影响。举一个不恰当的例子，这可能就像给你的游戏增加了另一个物理引擎，比如声音跟踪系统，这也是硬件加速音效的一个常见而实用的借口。因此，到目前为止，大多数游戏还没有把空或声音氛围之间的定位发展到极致。

金色

把所有这些环境因素都记在脑子里有点困难，所以你最好现在戴上一副耳机听听这个。这是一种诞生于20世纪90年代末的即时3d声音技术。没错，大约20年前，科技已经能够创造出身临其境、栩栩如生和有方向性的3d音效。这项技术被称为3d 2.0，它可以实时实现上述大部分音效。这项技术的所有者是奥雷亚尔。

这项技术在很大程度上依赖于头部相关传递函数(hrtfs)和用于计算3d声源如何进入人脑的数学算法。该算法还需要考虑耳朵和上身的形状。这在本质上可以帮助我们复制声音线索，这样我们就可以准确地定位声源，或者将声源限制在某个区域。我需要再次提醒你，这项技术是在20世纪90年代末实现的。

说了这么多，如果你听了上面的链接，觉得你的耳朵被骗了，你可以理解！这是一种非常正常的感觉。但是如果这项技术在很多年前就存在了，为什么游戏的音效在今天没有这么强呢？原因可以用两个词来概括:竞争。

竞争

从理论上讲，竞争是一件好事，它可以使产品的质量越来越高，就像当别人在赛跑中要赶上你时，你决定加快速度。然而，不幸的是，竞争也可能产生“坏钱赶走好钱”的负面影响。例如，在跑步比赛中，你很快就会赶上别人，他会把你推倒。有时候市场竞争就是这样。

Aureal是历史上最早探索3d音效领域的公司之一。即使他们非常保守，他们的声音技术也是优秀的，特别是考虑到他们在20世纪90年代末已经达到那个水平。但是后来，奥莱尔最大的竞争对手，创意公司起诉奥莱尔侵犯专利。虽然人们普遍认为奥莱尔的音频技术比创意更好，但这起诉讼耗费了奥莱尔大量的财力，使其无法继续运营。

总之，这两家公司之间没有友好的竞争，音频技术只能埋在这种恶性竞争中。可以说，这种恶性竞争不仅阻碍了3d音效的发展，也增加了消费者的支出。最可恨的是高价格使产品质量比以前更差。

在3d音效的黄金时代，creative也在不断创新，但他们的大部分创新都是基于微软的核心技术directsound和directsound3d。

前任

首先，让我们理解一个常见的名字。你一定经常听到directx(微软创造的多媒体编程接口)这个名字，它通常用于描述一些很酷的图形特性。虽然directx经常与3d图形联系在一起，但它实际上是由大量的多媒体应用编程接口(api)组成的，这仅仅意味着有几个层次的软件，将功能强大的软件与功能较弱的软件连接起来。

directx的图形api是direct3d。当大多数人说directx时，他们实际上是指direct3d。directsound相当于相应的声音api。directsound还有一个扩展，叫做directsound3d。

directsound(和directsound3d)有两个核心功能。首先，它可以为3d音效的开发创建一个标准和统一的环境，软件开发人员可以轻松使用。第二个功能是它可以加速3d音效的硬件，这是一个非常复杂的计算任务。直到2006年，directsound和directsound3d一直是许多音频应用的支柱。然后维斯塔诞生了。

秋天

随着windows vista系统的发布，微软立即切断了directsound3d，抹去了近年来创造性音频开发的基石。标准声音api和硬件加速都会立即失去活力。为了理解这造成了多大的混乱，想象一下微软突然决定停止使用direct3d的那一天。

当然，图形行业很有可能会迅速复苏，但这样做肯定会对图形行业产生巨大影响。directsound和directsound3d的去除从某些角度来说是有益的，但它对当时的音频条件是一个很大的打击。这段历史就像创意泄气的光环的轮胎，当创意准备上路时，微软直接卸下了创意的轮胎。

在directsound3d被唤醒的早期阶段，许多人说硬件加速是不必要的，也是完全不必要的。这是有一定道理的，但除此之外，多年来游戏中的软件执行似乎很少，这背后的原因是他们无法计算出足够的计算组来创建真正的3d音效。从乐观的角度来看，在上个世纪，3d音效已经退步了，但是在替换软件来填充空·怀特的帮助下，至少他们正在跌跌撞撞地回到自己的节奏。

后果

尽管vista的替代产品基本上是基于软件的，但也有一些硬件加速解决方案，比如amd的trueaudio技术(一种免费且简单的实时无损音频编解码器)，它使用gpu来计算和创建精确的3d音效。当我们认为声音是一种物理现象，并且考虑到gpu在物理渲染中的作用越来越大(比如nvidia的physx)，说gpu也能计算精确的沉浸式3d音效似乎并不牵强。然而，今天的3d声场仍然是支离破碎的。

现在，当我们回头看时，解决方案是软件还是硬件并不重要。重要的是实现真正的空定位，营造环境氛围。可以说，近十年来，这些过程经常是敷衍了事。随着虚拟现实技术的出现，对真实3d音效的需求终于结束了(现在3d音效真的可以到达你的大脑了)。

欢迎

虚拟现实的一切都是关于沉浸。Oculus rift强调存在的概念，或在特定环境中的身体感觉。视觉和听觉都能使这种感觉更加真实。

在虚拟现实中，实现沉浸感和存在感的主要方法是低延迟地跟踪你的头部。当你转过头在地上爬行时，显示屏能以几乎察觉不到的延迟匹配你的实时视觉。有趣的是，头部跟踪系统也恰好是真正的3d音效非常重要的原因。

在现实生活中，我们经常会稍微转动或抬起头来确定某个声音的确切来源，我们的大脑会记录这些声音的差异。鼠标视角可以在一定程度上模仿这种行为，所以3d音效是鼠标游戏的好选择，但是头部跟踪系统对3d音效的需求几乎是强制性的。

3d音效:虚拟现实的必然

虚拟现实中的声音效果可能是存在的最高境界，也可能是一种失败。正确执行的3d音效可以增强场景的呈现，并将各种对象的位置信息和环境信息传达给玩家。能够通过头部运动来跟踪移动的物体是很重要的，能够听到与物体的实时位置相匹配的声音也很重要。视觉和听觉可以互相增强。一旦这两种感觉相互冲突，沉浸感就会消失。

想象你看到一个物体在你的身体上方，但听起来它好像在旁边；或者你正在听一个角色，但是不管你的头转向哪里，声音似乎总是来自前方。如果是这样，沉浸将成为一个笑话，更不用说一种存在感。

3d音效非常重要，因为当我们听到那些可以感觉到的声音时，听觉几乎可以取代我们无法实现的触觉，例如，我们听到风吹过我们的脸的声音或周围下雨的声音。看看这个oculus connect会议的视频(看墙那边~)，你就能更好地理解3d音效对虚拟现实的重要性。

但这并不是说没有出色的3d音效，沉浸感就会消失，但真正的3d音效可以将这种感觉放大到无限。这就是为什么vr如此坚定地倡导真正的3d音效，将空.的定位和环境融为一体

然而，使用hrtf的耳机似乎总是比扬声器提供更逼真的3d声音效果，这有点不正常，因为它的持续判断和耳朵的精确定位。

音频恢复

2014年，oculus授权visisonic的音频技术，并最终将其集成到oculus audio sdk中。这项技术在很大程度上依赖于定制的hrtf，它通过耳机再现空之间的精确定位，这实际上是aureal 20年前引进的技术。

最棒的是，oculus不仅将这项技术集成到他们的音频adk中，而且他们还免费提供这项技术，不仅在vr平台上，而且在任何其他平台上，包括传统的pc平台。尽管市场上有许多种三方音频解决方案，oculus为3d音效提供了一个高质量且易于使用的基准，甚至为游戏中真正的3d音效设定了起点，而这一点在directsound3d近十年前衰落时就消失了。

一段时间以来，3d音效一直处于“垂死”状态，或者你可以乐观地说，它需要恢复。由于虚拟现实的到来，人们终于确认了3d声音恢复的重要性。3d声音不再是另一种调味品。它是一种非常重要的原材料，一种可以扩大和增加整个虚拟现实体验的重要元素，可以将存在感和沉浸感提升到图形永远无法达到的高度。

请注意Mordor vr微信公众号:modo ver。

*本文是作者的独立观点，并不代表老虎嗅探网络的立场

本文由moduo Modo授权的老虎嗅探网络发布，老虎嗅探网络编辑。转载这篇文章必须得到作者的批准，并请附上来源(老虎嗅探网络)和本页的链接。原链接户县/文章/138369/1