Snapdragon平台上Windows的AI加速体验及安全性
发表于 2021-11-18 11:24:45

在本帖中提及的Qualcomm产品均由Qualcomm Technologies公司和/或其子公司提供。

2021年ARM开发峰会于2021年10月19日至21日举行。在此次峰会上,我本人参与了微软Windows团队首席工程师马库斯·佩里曼(Marcus Perryman)进行的一场名为“骁龙平台上Windows的AI加速体验及安全性”的报告。我们的报告生动剖析了如何将各种应用程序中的人工智能用于本公司Snapdragon®计算平台驱动的始终在线、始终连接的Windows个人电脑。

我们在报告中承认,社会对移动设备尤其是个人电脑的依赖性在持续增加。从远程和混合工作环境到随时随地与所爱人保持联系,我们生活的诸多方面都在感受着这种影响。为了满足这些需求需要提供各种强大而节能的平台,可以在任何地方运行类似Teams这样的视频聊天应用程序,以及像Microsoft 365这样的生产力程序包,同时该类平台的电池可以使用一整天。

人工智能是丰富、个性化和连通性用户体验的关键

马库斯和我讨论了为什么利用人工职能增强应用程序是在目前远程环境下提供丰富、个性化、连通性用户体验关键。如果需要利用最低功耗达到最快速度和最高性能,则可以利用设备上的硬件引擎加快实时人工智能计算;而且,通过5G和第六代无线网络等高速链接可以获得基于云计算的推理,从而可以利用近实时性能为设备上的人工智能提供补充。

例如,与Qualcomm Technologies公司合作开发并用于微软Surface Pro X的微软SQ1处理器可以在设备上运行,并针对实时视线校正进行硬件加速推理。此项功能可以跟踪与会人员双眼,并在每一帧中对其进行数字校正,使与会人员看起来就像在看着摄像头一样,从而形成更具个性化和连通性的互动效果,如附图1所示

附图1  使用人工智能进行实时视线校正,使与会人员看起来就像在看着摄像头一样的实例。 

马库斯指出,如在传统情况下使用中央处理器和图形处理器实现这一功能,则功耗为15瓦。相比之下,SQ1的人工智能加速只需要0.3左右的功率,效率要高出50倍。此外,神经处理单元NPU的性能比传统的中央处理器快10倍,因为神经处理单元属于定制装置,可计算人工智能神经网络所需的复杂多维数学公式。

报告过程中,我们还提到了人工智能在Windows应用程序中的诸多其他现有和潜在用途,例如

  • 有关视频会议的背景以及视频增强和替代
  • 自然语言处理NLP任务,如视频会议中的实时语音翻译Word文档中的预测建议或语音用户界面的语音命令
  • 音频降噪和清理,从而只捕捉发言者的声音
  • 安全保障,包括生物识别、以及有关威胁检测的行为分析
  • 计算机视觉任务,包括用户和对象检测,从而可以用户离开电脑自动锁定内容 
  • 照片应用程序筛选(例如,改变对比度,将照片转换为素描效果

马库斯谈到了Windows 11和Office 365等应用程序是如何在Snapdragon计算平台等高性能设备上支持这种体验。该类设备始终保持连接保持最新状态,并能够保持长的电池使用寿命。

为开发人员提供的资源

开发人员可以通过访问QDN上的Windows on Snapdragon页面,以获取更多信息。在该页面,我们整理了一个QDN上Windows开发附加工具清单,您应该查看一下。

为了确保开发人员能够将其人工智能模型进行转换,以便在围绕Snapdragon处理器构建的Windows个人电脑上获得最佳性能,开发人员可以使用Qualcomm®人工智能(AI)用神经处理软件开发工具包。利用该软件开发工具包,开发人员可以导入使用TensorFlow、PyTorch、Caffe和ONNX构建的模型,从而能够利用各种垂直领域内可以进行硬件加速、并安装在设备上的人工智能。

微软公司提供了Windows on ARM工具Windows on ARM文档,开发人员可以从这类工具和文档着手。正如报告中所提到的,Visual Studio 2022程序目前处于预发布阶段,并可支持Windows 11,而且每月更新一次。

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】