语音隔离技术:一项不言自明的特性
发表于 2022-05-18 10:23:10

本文提及的 Qualcomm 产品由 Qualcomm Technologies, Inc./或其子公司提供。

本周使用过视频通话的,请举手,通话时被别人打字、狗叫、孩子玩闹或其他背景噪音分散注意力的,请继续举手。可以肯定的是,举手的人数不在少数。

过去几年,这些体验在我们的工作环境中已经成为常态,这也是我们在2022年世界移动通信大会(MWC)Windows ACPC演示大受欢迎的重要原因。我们在新款联想ThinkPad X13上展示了最新的AI噪声抑制功能,可以在有人说话时有效消除背景噪声。

以下视频展示了该技术如何将说话者的声音从不同的背景噪音(从零食包的沙沙声到鼓声)中分离出来。

Qualcomm 音频和语音通信套件中集成的这些算法,在音频和语音增强方面有了巨大的进步。我们的机器学习算法可以隔离用户的声音,而非抑制背景噪音,不需要像传统技术那样需要配备多个麦克风。

它们由骁龙8cx第三代移动计算平台支持,这是我们面向高端Windows设备的最新计算平台 搭载骁龙芯片。这只是可用于Windows开发的Windows on Snapdragon解决方案之一。

在“幕后”,为识别背景噪音而训练的神经网络实时分析传入的音频流。这些神经网络由Qualcomm AI引擎提供支持,更具体地说,是Qualcomm Hexagon DSP(经我们优化的神经处理单元,即NPU),以最优功效执行语音隔离任务。异构设计允许丰富的并发控制,并释放 SoC 中的 Qualcomm Kryo CPUQualcomm Adreno GPU,可以处理其他任务,比如演示文稿。最重要的是,这种架构允许并行运行若干人工智能模型,具有较高的每瓦性能水平,可以延长移动设备的续航时间,减少发热量。并行运行人工智能模型的例子包括背景模糊或凝视校正,以及自动人像构图,以帮助将脸部保持在定位框内。下面这段精彩的视频就演示了自动人像构图是如何工作的。

由于今天对视频会议和远程会议的依赖,清晰的音频至关重要。但是并不止步于此。还有更多的可能性——从多人游戏时玩家间清晰的沟通到噪音较大环境下更易发送语音或者使用语音助手。

开发
从骁龙8cx第三代开始就有了这项功能,对于希望打造移动Windows设备的硬件开发商和为其开发应用程序的软件开发者来说是一个福音。最近微软宣布,配备专用NPUWindows 11设备(如骁龙8cx Gen3上的Hexagon)将原生支持视频通话时的目光校正和噪音抑制等效果。敬请关注Microsoft Build 2022目前我们正在规划将要在大会上发布的有关Windows on Snapdragon的新闻和令人振奋的消息。我们在此次活动上安排了两场精彩会议,欢迎您到时参与:

  • 利用Qualcomm人工智能引擎——设备端人工智能推动改善及创建全新Windows体验
  • 探讨设备端AI的性能、效率以及Windows体验

Windows on Snapdragon开发感兴趣的开发者也可以查看骁龙开发工具包(即 ECS LIVA Mini Box QC710 Desktop),以帮助将应用移植到该平台。该款具有成本效益的小尺寸开发工具包(可从微软购买)允许您远程测试和调试应用程序。在开发过程中等待搭载骁龙的Windows设备最后定型或补充现有开发硬件时,这种开具包可以提供很大的帮助。

除此之外,骁龙计算平台的开发还有一整套补充工具,都是出自微软的开源工具,包括LLVMSysinternals for ARM64当然还有深受开发者喜爱的Visual Studio IDE。您可以使用Visual Studio 2022Visual Studio Code开发Windows 11应用程序,在搭载我们计算平台的设备上运行。

结语
随着社会对远程交流的依赖性越来越大,以及新的语音隔离应用的潜力,清晰的音频成为确保优质用户体验的重中之重。骁龙8cx第三代产品采用了Qualcomm cVc回声消除和噪音抑制(ECNS)技术,有望在高端Windows on Snapdragon移动终端(如笔记本和平板电脑)上实现这些功能。请务必查看本博客中的各个链接,以便您也能清晰听到不言自明的声音效果。

如需了解有关Windows on Snapdragon开发的更多信息,请观看以下来自ARM DevSummit 2021面向开发人员的视频:

  • Windows on Arm开发和调试
  • Windows on Arm开发简介
  • 下一代Windows on Arm开发

另外,也请浏览以下资源:

  • 将应用移植到 Windows on Snapdragon
  • Qualcomm cVc回声消除和噪声抑制技术
  • QDN页面的Windows on Snapdragon
  • 骁龙开发工具包现可用于在ARM平台测试Windows应用
  • 始终开启、始终连接:促进Windows 10 on ARM的应用
  • Windows on ARM开发如何使用这些工具?
  • 游戏开发人员:Windows 10 ARM64支持Unreal Engine


 

骁龙、Qualcomm音频和语音通信套件、Qualcomm HexagonQualcomm AdrenoQualcomm AI引擎、Qualcomm KryoQualcomm cVcQualcomm Technologies, Inc./或其子公司的产品。

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】