在耳机上运行动态空间音频算法 – IDUN audio
发表于 2023-03-08 10:33:54

骁龙和Qualcomm 品牌产品是 Qualcomm Technologies, Inc.和/或其子公司的产品。

需要什么条件才能让耳机音频听起来就如同真实世界的音频一样?

丹麦IDUN audio 的音频工程师给出了一个答案:动态空间音频。他们在 Qualcomm QCC5171Qualcomm QCC5141 芯片组上运行的软件中部署了交互式声学模拟,制造商使用上述两种芯片组生产无线耳机和耳塞。本文将介绍耳机音频固有的问题,IDUN audio 的解决方案,以及实现音频算法的方法。

戴上耳机聆听真实世界的声音

像大多数动物一样,人类能自然分辨出声音的方向,以及发出声音的距离。我们将头部(“头部跟踪”)转向声音的方向,不仅可以更好地听到和阐释声音,还可以捕获有用的背景信息,如方向、距离和速度。

但是,在使用耳机或其他听音设备收听数字音频时,这些背景信息基本消失殆尽。因为声音在我们的头脑里,也就不能发挥出我们在现实世界中的听觉能力。事实上,使用耳机聆听任何类型的音频(对话、播客、音乐会、电影、游戏),体验基本上都不会自然,长时间会导致疲劳。

IDUN audio 开发出一种虚拟和增强现实(VR/AR) 音频算法 -动态空间音频,听众在使用耳机聆听音频时,自身的自然听觉能力也有了用武之地。模拟声学环境是完全交互式的,听众可以移动和转头,耳朵听到的声音过渡就像在现实生活中一样。模拟经过配置,可以在许多日常情况下改善聆听体验,例如:

  • 在线会议期间。听到每一位参与者从不同方向的讲话要比只能在头脑内听到讲话要自然得多。当人们同时交谈时,语音清晰度也大大提高了。

  • 在聆听音乐、电影、音频书籍或播客时,可以在听众的前方和周围放置声音图像,以增强参与感。

  • 玩游戏时,动态空间音频也是有优势的,玩家可以听到不同方向的声音,而且头部跟踪能更精确地定位声音的来源。

关键当然是将技术融入到耳机中。

在软件中实现空间音频

IDUN audio 打造了一个三维声学空间,听众在聆听数字音频时可以利用他们的自然空间听觉能力,从而享受到更高的参与感。声学空间可以与复杂的房间模拟模型相配合,可以形成任何类型的空间——从小小的干燥室到大型音乐厅。

IDUN audio 通过大量配置选项,优化整个空间化算法,只需极低的处理能力和内存要求。但是,他们不是在计算机或智能手机上实现动态空间音频,而是更喜欢在听音设备上运行他们的算法。这样,听者就可以不需要借助播放设备也能享受空间音频。此外,还避免了听音设备和播放设备之间的延迟,从而实现更灵敏的头部跟踪。根据听者的头部动作实时更新听到的音频,对于提供精确、稳定的声音图像至关重要。

利用Qualcomm Technologies, Inc. 的硬件,Idun Audio 已经在 QCC5171 中的Qualcomm Kalimba 数字信号处理器(DSP)上实施了动态空间音频软件。QCC5171 是由无线听音设备制造商选择的音频平台。

对于无线设备而言,电量极其重要,而IDUN audio 解决方案仅使用了 QCC5171 上两个 DSP 其中一个的一小部分资源。该解决方案功耗低,占内存小,吸引了那些希望推出与众不同产品的制造商。

为充分利用头部跟踪功能,IDUN audio 使用包含一个加速度计和一个陀螺仪的惯性测量单元(IMU)。惯性测量单元体积小,精度高,价格相对低廉。因此,在耳机中使用 IMU 也是水到渠成的事情。然而,将它添加到耳塞上又有所不同了。由于每个耳塞的 IMU 要单独处理信号,因此需要使用通信协议来同步两只耳塞之间的头部跟踪信息。

IDUN audio 利用 QCC5171 中的 Qualcomm 技术,将动态空间音频添加到两种听音设备中。第一个优势是传感器融合,它包括一个库,用于将加速度计和陀螺仪数据转换为可用于头部跟踪的组合格式。另一大优势是同步机制,用于在两个耳塞之间调整头部跟踪数据。这些优势确保了稳定、可靠的头部跟踪,而这也正好是动态空间音频所需要的。

关于QCC5171 的经验教训

IDUN audio 的工程师在硬件及支持方面与我们的团队密切合作,短短几个月就完成了部署任务。

对于IDUN 来说,能够在各种 DSP 和微控制器单元 (MCU) 上运行其空间音频软件非常重要。他们使用 100% 的 C 语言编写代码,不依赖于任何外部库。

通常情况下,拥有浮点运算组成的实现是非常有用的,可以逐个样本进行应用。不过,他们为QCC5171 重构了算法,以使用逐块定点运算,并且为裸机编写了自定义块运算。他们发现后一种方法复杂程度稍低,具有更好的性能,也适合其他平台。

空间音频和未来

我们在2022 年声音状况报告中强调了空间音频的重要性。超过一半的受访者表示,空间音频将决定他们是否购买新的真无线耳塞。此外,41% 的受访者表示愿意为该功能付出更多资金。

随着耳机和耳塞的快速普及,它们与许多可穿戴设备一样,处理能力和传感器的数量也是水涨船高。这种趋势将导致用户更少依赖计算机和智能手机作为处理中枢;相反,处理任务将被推到除耳机等边缘设备。而边缘设备将直接连接到网络,而不再是默认依赖于一台联网设备。

IDUN audio 相信这就是为什么在耳机中执行处理任务是如此重要的原因。他们还相信,借助动态空间音频和 QCC5171 或 QCC5141 等组合技术使,耳机制造商可以自定义用户体验,从而使产品与众不同。

有关IDUN 正在进行的伟大创新的更多信息,请访问他们的网站。

https://www.idun-audio.com/

骁龙和Qualcomm 品牌产品是 Qualcomm Technologies, Inc.和/或其子公司的产品。

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】