好家伙！如何为AR、VR应用程序设计声音（深度分析）

在增强现实（AR）和虚拟现实（VR）中，音频占体验的51%。正确的声音将为你的AR/VR应用程序提供一个更加真实、身临其境的体验。

沉浸式音频是360度音频，可以将真实世界的声音环境映射到XR环境中。它也被称为空间音频（spatial audio），这种形式的声音使用户在XR中的体验时间延长40%。

空间音频是如何工作的？

声音来自四面八方，是非线性的。例如，如果在XR中有一只狗在你的右侧吠叫，则当你在虚拟空间中移动时，空间音频需要将吠声的位置与狗的视觉位置相匹配。

对于用户来说，精确定位声音来源的能力可以让人们感觉到他们可以控制自己的环境。从设计的角度来看，你可以通过添加基于对象的听觉提示来定位定向音频，从而增强沉浸感。

心理声学（Psychoacoustics）定义了人类如何感知声音，以及声音如何成为实现交互的渠道。无论AR/VR技术中的运动控制或图形效果如何，如果不注意心理声学，就无法实现真正的沉浸感。

在这篇文章中，我们将学习：

XR声音设计的六个关键准则

以下是为XR体验设计声音时应考虑的六个基本准则：

1、包围

你必须将有关场景的信息传递给用户。当他们戴上头显，你就把他们放在了你创造的世界里。要实现这些，请自问以下问题：

1) 这是哪一年？

2) 地点在哪？他们是在建筑物里还是在外面？

3) 现在几点了？是晚上还是白天？

你必须立即用这些信息把他们包围起来，让他们了解到一部分故事背景。

2、落地

向用户展示你的世界是一个开始，你还必须迅速地让人们落地，以加强他们与内容的关系。如果感觉不真实，可能会影响体验。在测试过程中，询问：

1) 我是不是只是站在一个全息图旁边？

2) 我是否处在环境中，或者有没有纱窗效应？

我能做些什么使声音更真实，就像我真的在那里？这是空间音频的一个重要方面，它可以强化用户体验。

3、情绪

如果你正确地掌握了前两个原则，你的XR体验还可以在情感层面上影响用户。以下还有一些需要思考的问题：

1) 要想复制或改变我们所看到的东西，声音是否起到了重要作用？能改变它吗？应该改变它吗？

2) 如何使用声音来传达正确使用的奖励？

3) 如何使用声音来传递快乐、恐惧或悲伤？

4) 如何使用声音来推动或减慢体验的节奏？

想想你要如何引导玩家的情绪，你可以在XR中借助空间音频来增加或减少声音，进而影响用户的感受和情绪。

4、引导

有时会需要空间音频做引导（即使是在简单的游戏中也需要）。在用户需要帮助时引导用户重新定向，即通过声音向人们传递信息。例如：

1) 引起他们的注意，因为你需要他们看“这里”；

2) 告诉他们电池电量不足；

3) 控制或分散用户的关注点。

当你想通过声音告诉玩家一些事情时，问问自己你是否把他们指向正确的方向。想想什么时间使用、为什么使用，来确保你不会误导用户。

5、普适

你的XR功能应该是大家都能享受的普适性体验。设计时，请考虑以下几点：

1) 每个人都能享受这个体验吗？

2) 我们如何帮助那些不能理解体验的人，或那些与我不同的人？

3) 我们可以做些什么样的调整，使体验能包容一些条件有限的人？

理想情况下，你的体验应该适用于生活中的所有人。

6、桥梁

虽然混合现实正逐渐成为主流，但与现实生活相比还是一个飞跃。首次使用XR的用户很难完全融入XR体验。你需要帮助他们到达那里。

1) 用户现在感觉如何？

2) 如何传递各种信息？

3) 我们能让体验感觉不那么奇怪吗？

在设计过程中请记住，声音在使体验正常化或者消除心理障碍方面起着至关重要的作用。

HRTF在空间音频中的关键作用

头相关传输函数（head-related transfer function, HRTF）可以反映每个耳朵如何接收空间点的声音信息。HRTF可以模拟空间音频，因为我们的大脑、内耳和外耳是同时工作来确定声源的位置。

我们的大脑不断地处理声音信息，我们可以将这些信息分为两类：

如何计算XR声音设计项目的HRTF

我们已经大致了解了这门科学，那么如何将它应用到XR声音设计中呢？以下是计算HRTF的过程：

1) 在房间里设置一个声源——一个扬声器。

2) 声源播放声音，同时录制。

3) 将声源移动30度。

4) 播放声音，然后重新录制。

5) 在房间的12个不同位置重复这个过程。

完成上述过程，你就可以很好地模拟出声源在用户周围的任何给定位置发出的声音。

举个例子，假设我们要在XR环境中演示鸟的声音。为了做到这一点，我们先判断玩家的方向，声音在这个方向平移。然后，我们再确定小鸟到玩家的距离，根据该距离计算出音量。

使用空间音频有一个优势。我们可以只给出方位，比如向右30度、向上50度、10米外，然后就可以用HRTF文件来播放那个声音了。

HRTF在空间音频中的优势

1) 它有助于用户集中注意力。HRTF帮助我们的大脑解析信息，过滤掉不重要的信息，或者确定某些声音只是背景噪音。这样的话，这些声音就不会使玩家的注意力从混合现实环境的主要声音中分散掉。

2) 它使体验更容易。通过更好、更真实的音频，提高了用户体验。

3) 它可以导航。HRTF为用户提供线索，以便清楚地告诉他们事情发生在哪里。

4) 它有助于沉浸。可以引导用户并将他们带入故事中。实际上，HRTF是一个强大的空间音频工具，它让沉浸感倍增。

如何在Unity中使用空间音频

Unity3D是一个免费的3D开发引擎，用于构建游戏、模拟和体验，是制作XR应用最简单的方法。然而，尽管Unity在XR设计方面很强大音频应用，但它并没有太多的空间音频功能。

你可以使用第三方工具来增加体验，例如：

1) Microsoft Acoustics

2) Valve Steam Audio

3) Resonance Audio

在这些工具中，主要功能包括：

1) 可变声学建模技术

2) 自定义HRTFs

3) 定向

4) 封闭

5) 中间件支持

XR声音设计中的重要空间音频注意事项

实现空间音频在任何混合现实平台上都不贵。不管你要用到什么设备上，要想建立最好的体验，制作空间音频都是值得的。以下几点要记住：

1) CPU预算：确保你选择正确的游戏引擎和输出平台，以最大限度地利用你的资源。

2) 特性：在提交到特定设备或引擎之前，请考虑它所需的特定功能。

3) 空间化选项：一定要勾选这个选项，才能使声音空间化。

4) 衰减：声音和距离的相对关系。

5) 传播：信号在两个耳朵中的传播程度。巧妙地使用传播是调整感知强弱的好方法。

当一切都设置好，你可以用观众预览来感受你的空间化和衰减设置。

音频中用户界面的作用

在一个硬件和外界输入不断变化的系统中，UI音频在用户导航和体验感受方面扮演着至关重要的角色。声音设计通过多种方式改善用户界面和用户体验：

1) 向用户传递信息

2) 输入（确认、取消、返回、下一步、上一步等）

3) 凝视、触摸、声音、按钮、滑动等。

4) 整合声音

5) 展示体验目录

6) 实现过去难以实现的交互

7) 让体验变得更熟悉

8) 提供保障、增强用户信心

例如，在任天堂Switch的用户界面上，你会听到简单重复的声音。这些无伤大雅的嘟嘟声听久了也像音乐一样，主页的声音也能唤起一种熟悉的归来感。这些声音一起被设计成一个更大、更统一的用户体验。

但混合的现实呢？音频如何帮助用户界面？这是问题的关键所在。

AR/VR有非常规的输入模型

每个人都熟悉智能手机的用户界面。即使它不是你的手机，你也知道大致怎么操作。但对于AR/VR设备，登录就不那么简单了。如果我告诉你戴上头戴，看着某个物体直到它停止转动，你可能会觉得有点奇怪。对一些人来说，这个操作没有任何意义。

与嘈杂搏斗。在XR环境中，可以有多个触发动画、画外音和图形，所有这些都在争夺用户的注意力。设计师必须切断噪音，创造出最具凝聚力的体验，并且只传递此时最需要被听到的声音。

更多控制轴。用户界面信息和控制面板可能不在屏幕上。设计师需要优先考虑他们试图传达的信息，并在需要时展示面板。

XR 声音设计准则的应用示例

好的，让我们先简单回顾一下为XR创建声音总共分几步。第一，我们必须明确目标。你为什么要创造这种特殊的声音？背景或目标是你的Why；设计是你的What；整合是你的How。

例如，我们想象我们正在参观西雅图水族馆。恰逢鲨鱼活动月，需要设计一个应用程序来教人们鲨鱼的知识

以下是我们要做的“Sharkland XR”APP的一些注意事项：

1) 这是一个适合所有年龄段的有趣的应用程序。

2) 它应该有一个风格化的设计，而不是真实的鲨鱼。

3) 我们将在鲨鱼缸旁边放一台Hololens 2。人们可以戴上它环顾四周，看看我们酷炫的XR鲨鱼，了解有关鲨鱼的信息。

4) 我们假设这些人以前从未使用过MR

5) 这将是一个嘈杂的环境，假设是水族馆忙碌的星期六。

那么，我们该怎么做呢？使用XR 声音设计准则来指导你的项目：

1) 包围：这是一个嘈杂的环境，所以我们无法完全包围他们，有背景噪音。

2) 落地：包围不了，我们就在这一点上努努力。所以，不必过分担心。

3) 情绪：这个APP应该做的有趣。我们可以使用有趣的声音，目的是让第一次使用的人开心。

4) 引导：让激活按钮面板的过程变得明显。

5) 普适：它要非常容易上手，要区分按钮和菜单。

6) 桥梁：假设这是让用户感到奇怪、疯狂的首次体验，不要难倒别人。

你可以用“Reaper”编辑录制的声音。以我们的“鲨鱼”APP为例，可以录制一段用吸管在水中吹泡泡的声音。

使用“Reaper”，你可以通过降低音调、添加延迟或反转声音片段来编辑音频。在XR 声音设计中，正向播放声音，再反向播放并改变音调，是应用程序中打开和关闭菜单的经典音效。

使用控制器执行特定菜单操作时，使用特定的声音效果会很好，例如：

1) 触摸

2) 松开

3) 移动

当你使用音频编辑时，还要考虑一下你的应用程序按钮或菜单的声音播放位置。

XR声音设计中的重要原则

随着你在这个领域的经验积累，你很快就会意识到哪些方面是高质量声音制作不可或缺的。为了让你少走弯路，告诉你几条XR环境声音设计的重要原则：

（1）声效：环境声效对于在沉浸在虚拟世界里的玩家们来说至关重要。正确的声效设置，可以让他们真正感觉他们身处浴室、音乐厅或金字塔里。

（2）动画：要设计声音特效，在XR体验中与动画一起播放。比如脚步声、车祸或有人开枪。为此，需要写个脚本来调用关键帧上的特定声效。

（3）语音：你可以用语音向用户传递信息。比如旁白、教程、甚至上帝的声音。或者可以直接将声音附加到游戏对象上，让它们栩栩如生。需要考虑语音定位对用户的影响：

（4）音乐：“在混合现实环境中使用音乐很容易出错。注意不要分散用户对重要信息的注意力，例如语音所传递的重要信息。

如果使用音乐，不能很突兀，也不能只是为了加点音效，而是要考虑以下几点：

1) 我们想表达什么？

2) 我们是在驱动故事发展吗？

3) 对于新手用户，我们的音乐能否缓解他们使用XR时的困惑或不适？

推荐工具

下面是微软技术声音设计师Travis Fodor推荐的一些XR声音设计基本工具名单。除了要有副好眼镜，特拉维斯还推荐了：

1) Reaper：音频编辑

2) Sony M10：便携式录音机也可以用LOM Mikro Usi或Rode NTG3

3) Izotope RX：音频降噪

4) Fabfilter Suite，以及混响插件，如Altiver或Blackhole

5) DearVR：全能空间音频套件

想要尝试更多的XR声音设计，他还推荐了一个SDK：Google Resonance。

为混合现实体验设计声音，用户界面可以决定应用程序的成功与否。一个好的用户界面使应用程序成为一个更简易、更愉快的体验，用户可以积极参与其中并为此感到兴奋。对于首次使用的用户来说，这是最重要的事情之一，因为我们希望打破隔阂，使XR体验对他们来说稀松平常、乐在其中。出色的音效设计也在营造沉浸感、传递信息、引导玩家等方面起到了至关重要的作用。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!