提及AR/VR机器设备你能想到什么？

赛博朋克风的界面，或是虚拟现实累加产生的科幻感？

当我们的眼光仍专注于视觉效果互动方面时，业界一场相关听觉方面的转变早已应运而生。

中国人机交互技术产品平台企业Rokid近日公布的一组用于AR眼镜的6DoF空间声场技术Demo视频。

有别于传统式双声道、立体音产生的听觉感受，6DoF空间声场技术能够在混合现实中仿真模拟声源处与人耳能中间因空间部位转变、有没有遮挡物等产生的声音强弱与方位的转变，进而让AR眼镜为客户产生更具有临场感的听觉感受。

什么叫6DoF空间声场？

6DoF空间声场其实就是响声在三维行业的反映。但这不是简单地根据更多声道让响声更有层次感，反而是视频空间化同步的音频空间化全过程。所以包括了2个必不可少因素——3D音频和头部运动的即时意见反馈。

最先看6DoF空间声场的第一个必不可少因素——3D音频。传统式的5.1音道可以把响声呈现在一个水准表面，声音定位因而具有前后左右、上下两个维度，这被称作2D音频。当一个音频与此同时还具备左右层面的时，这一音频便是3D音频了。

6DoF空间声场的第二个必不可少因素——对头部运动的即时意见反馈。在现实世界中，当他们的头顶部产生旋转或偏移，声源处自身的绝对位置始终不变，而声源处与头顶部相对性方位会发生转变。

举一个例子：在你正前方有把吉它已经弹奏音乐，假如你转为右侧，音乐声便会相对性地起到你的左侧；假如你转为左侧，音乐声便会相对性地起到你的右侧。因而，要在混合现实中达到更接近于现实中的听觉感受，就必须准确定位声源处与客户头顶部中间的空间部位，即完成对客户头部运动的实时追踪。

6DoF空间声场的完成必须硬件软件相对高度协作

要达到6DoF空间声场技术的2个必需原素并非易事，在技术方面，这必须空间模块（Space Engine）和音频模块（Audio Engine）相对高度结合，并灵活运用硬件平台。

空间模块的关键工作是实虚空间结合。模块事先运用三维重建技术搭建地形图，创建虚幻世界平面坐标，并提升虚似物件，设定位姿、样子、材料等特性。

运行中，根据解决传感器数据获得观测者（如配戴AR眼镜，观测者便是人的头部部位）的真正空间位姿和当地地形图，从而根据地形图配对获得真正空间和虚似空间的位姿转换，就可以把位姿统一在虚幻世界平面坐标里。

依据不一样的传感器种类和总数，空间模块能够得到观测者不一样种类的可玩性（Degrees of Freedom-DoF）信息内容，进而为音频模块给予需要的空间信息内容。

例如人头数的可玩性分成：不仅有偏移又有旋转的6DoF、仅有旋转的3DoF、人头数没动的虚似空间，那相应的音频也就能够分成6DoF空间声场、3DoF空间声场、环绕立体声。因而，6DoF空间声场技术就必须得到更复杂的人头可玩性。

音频模块的核心工作是对音频数据信号和 HRTFs（Head Related Tranfer Functions，头有关传函，通称头传函数公式）做卷积和，形成两耳音频。HRTFs是在水平角（azimuth）、俯仰角（elevation）和间距（distance）这三个衡量层面做座标取样精确测量出的全连接层结合，其精确性是6DoF空间声场展现作用的主导因素。

但现阶段可商用的HRTFs数据库能做到的精密度还未完全和人耳的听辨工作能力所匹敌，具有考验的是每个人的人体工程学主要参数和心理声学系统软件都不一样，乃至会随着年龄提升而转变。

精确精确测量每个人的HRTFs主要参数显而易见不现实，怎样才能成本低地 成人性化HRTFs？早已完成6DoF空间声场技术落地式的Rokid技术精英团队得出了一个解决思路，即在考虑到做好端上NPU/GPU等测算特性的前提下，融合深度神经网络技术，对更标准化的成份作出更细致的形成。

除此之外，为了能提升挡住、反射面、混音等实际效果，让6DoF空间声场更具有现实感，还要使用例如几何图形声学材料（Geometric Acoutstics）的光线追踪和波动声学（Wave Acoustics）的球谐函数（Spherical Harmonics）溶解等技术。这对机器设备的算率拥有极高的需要，还会给机器设备产生更高的功能损耗负载，提升设备成本和安全隐患。因此在实际应用中，通常必须在球谐函数的级别、视频语音品质及其空间精确度中间做对应的让步与均衡。

除开优化算法方面，6DoF空间声场技术的使用也需要考虑到机器设备的硬件配置形状。现阶段的许多音频优化算法全是根据入耳式耳机或头戴式耳机音响喇叭，但AR眼镜做为将来客户长期性配戴的可穿戴式机器设备，假如选用入耳式耳机设计方案不但会比较严重地损害客户英语听力，也是违背了AR对物理学和数字的结合重任，因而，在维持敞开式音响喇叭设计方案的并且，怎样确保6DoF空间声场的展现实际效果和安全就变成了新的挑战。

现阶段，Rokid技术精英团队采用的方法是，根据定项声技术的科学研究与应用，来处理隐私性难题。与此同时，因为让6DoF空间声场的声效更丰富圆润，根据音腔构造的设计方案、声音频率的修补、依据人耳能听觉做响声谐波电流及混音等方法提高音色，降低音频实际效果的损害，让消费者真真正正体会到“身临其境”。

一场响声改革，已经应运而生

6DoF空间声场技术在AR机器设备里的运用落地式，让我们看到了响声在混和现实中的宽阔运用空间。根据6DoF空间声场技术，AR眼镜等设施能够解决视场角（FOV）限定，让消费者根据响声发觉界面以外的具体内容，为此完成360度范畴的信息展现。

与此同时，除开视觉效果方面的互动，6DoF空间声场技术的使用让听觉也变成了一个新的互动层面。融合6DoF空间声场，客户能够在混合现实中迅速准确定位发音物件的方位，清楚区别接受到的响声信息内容，体会响声距离和部位的改变……这将让客户在混合现实中得到更为贴近现实世界的感受，因此进一步减少混合现实中数字世界和现实世界的隔断感。

6DoF空间声场产生的全新升级听觉感受已经冲击性头领了大半个世际的传统式立体声音，但一切一项新技术的运用和推广都并非只靠某一精英团队、某一企业力量，这必须不断地减少准入门槛，招引大量领域能量的添加。

如Rokid就透露将把6DoF空间声场集成化到升级版版的YodaOS-XR电脑操作系统中，做为YodaOS-XR电脑操作系统的基础能力供领域开发人员们开展启用。与此同时，Rokid还方案推动大量用于AR眼镜的音效素材的开发设计，如围绕与微超重低音的高保真音响声效等，以高效率实用的SDK让开发人员真真正正完成即拿既用。

有消息称，Rokid升级版的YodaOS-XR电脑操作系统或将于今年下半年对外开放公布，包括众多当然互动模块、友善的UI操作界面、原生态XR运用及其运用开发框架等。到时开发人员们可以致力于精典具体内容的打磨抛光，开发设计出各种具有创造力的运用和具体内容，例如XR手机游戏、XR大会、XR社交媒体、XR电影院等，和众多客户携手并肩进到真真正正的AR全球。

XR时代的发展最终目标是虚幻世界和物理世界的完美融合，这类结合目的是为了对我们与外部开展信息交换的一些方法，如触感、听觉、视觉效果、味觉、味蕾等做好仿真模拟和提高。

6DoF空间声场等技术的使用扩展了XR机器设备的遐想界限，也悄悄地掀起了一场认知互动改革。咱们也许能够预料，在视觉效果和听觉以后，触感、味觉、味蕾等“感官体验”也将于XR时期被彻底改变。