在本帖中提及的Qualcomm产品均由Qualcomm Technologies公司及其子公司提供。
“图像处理”一词包含了多项不同的任务，包括计算摄影、计算机视觉算法，甚至图像压缩等基础知识。所有该类程序的一个共同点是，随着输入数据质量的提高，性能和结果也会得到改善。
但是，如果没有高质量的图像呢？图片和视频捕捉并不总是能够为现实世界中的数据处理提供高品质的数据。例如，由于缺乏光线或不适当的快门速度，图像帧可能会有噪声。当ISP（管理摄像头数据的处理器）执行转换HDR等级或简单压缩数据等任务时，重要的图像信息可能会丢失。这意味着在相机管道中的后续下游图像处理算法可能被迫处理不太理想的数据。
Qualcomm Advantage Network （QAN）组织中平台解决方案生态系统（PSE）的成员之一。NexOptic 认识到需要在捕获的地方改进图像数据。而这类
受AlexNet和U-Net的启发，NexOptic的算法建立在卷积神经网络（CNN）基础上，并且可以在设备边缘实时运行。该类算法的模型利用卷积神经网络的图像处理能力来减少低光图像中的噪声，而这正是图像和视频捕捉目前所面临的主要挑战。尤其重要的是，NexOptic利用卷积神经网络的能力，从噪声信号中提取边缘、轮廓和对象等高级图像信息，从而能够重建图像。
人工智能中的人工智能
ALIIS是摄像头与移动设备和物联网设备上摄像头管线后续下游元素之间的有效软件ISP。根据平台的不同，ALIIS可以通过在专门的处理器上运行而受益于硬件加速。附图1提供了ALIIS在典型移动设备或物联网设备体系结构中的位置示意图：
附图1 - 描述ALIIS在典型移动设备或物联网设备上作用的示意图
NexOptic表示，将ALIIS安装在收集数据的设备边缘可以带来诸多益处。最重要的是，来自ISP的未压缩原始数据为ALIIS提供了尽可能多的图像信息。与其他边缘侧人工智能(AI-at-the-device-edge)解决方案一样，将数据保存在设备上而不是发送到云中进行处理，可以提高隐私性，减少延迟，并提供了数据局域性，后两项对于实时图像处理至关重要。
在实践中，结果令人印象深刻。在一个用例中，ALIIS帮助将商业图像分类器执行的图像分类提高了400%。
当然，眼见为实。图2显示了ALIIS能够进行的图像清理类型示例：
附图2 – 显示ALIIS如何减少噪声和改善图像质量的图像
NexOptic已经有效地完成了设计和训练其模型的艰苦工作，从而确保开发人员能够从中获益。因此，该公司通常将ALIIS描述为“人工智能中的人工智能”，因为其基于机器学习的算法可以用于清理计算机视觉模型的数据，而这些数据可以在相机管道的下游运行。该公司还不断优化和重新训练其各种模型，并为不同类别的摄像头训练了特定版本。
用于Snapdragon®移动平台的ALIIS
作为QAN 成员，NexOptic已经为围绕Snapdragon移动平台构建的设备确定了优化ALIIS的实施方法，并且具有在Snapdragon 855移动平台上以30帧/秒的速率处理2K视频的能力。
NexOptic利用Qualcomm Spectra™ISP提供摄像头数据，并通过在Qualcomm® Hexagon™DSP上运行ALIIS进行补充。他们使用tensorflow构建模型，然后使用Qualcomm® 人工智能（AI）神经处理软件开发工具包对导出模型进行量化，并将其转换为深度学习容器（DLC）格式，该格式优化后可在HexagonDSP上运行。他们采用了额外的优化方法，包括架构搜索方法、模型蒸馏、混合精度网络、过滤器以及基于权值的剪枝。
与 NexOptic 合作
NexOptic正在解决一个独特的问题。通过使用机器学习可以增强设备边缘的实时图像捕获，因此下游相机流程可以使用高质量的图像数据。该公司还表示，该技术可以应用到智能安防、移动设备、汽车、增强现实与虚拟现实、医学成像、工业自动化等其他领域。
NexOptic正在解决一个独特的问题。通过使用机器学习可以增强设备边缘的实时图像捕获，因此下游相机流程可以使用高质量的图像数据。该公司还表示，该技术可以应用到智能安防、移动设备、汽车、增强现实与虚拟现实、医学成像、工业自动化等其他领域。
开发人员可以使用本公司的Snapdragon硬件开发工具包（HDK）开始构建由Snapdragon驱动、并且能够运行NexOptic技术的设备。选择使用哪种方式取决于应用程序（例如：视频还是图片）、分辨率要求和其他性能因素。例如，NexOptic建议使用中高端的Snapdragon移动平台，例如Snapdragon 778G 5G移动平台、Snapdragon 865移动平台和Snapdragon 888移动平台，以处理高分辨率视频。
如要获得更多信息和资源，请联系NexOptic。此外，一定要看看他们最近在YouTube上的网络研讨会，在此次会议上简要说明了该公司的技术和企业情况。
