本文提及的 Qualcomm 产品由 Qualcomm Technologies, Inc.和/或其子公司提供。
提到实时云后端增强边缘计算，再没有比医疗技术(MedTech)更好的任务关键型使用案例了。
想象一下，使用机器人辅助手术器械，手术修复肌肉组织。医生可以通过高帧速率高清视频流，看到纤毫毕现的肌肉细节，同时还会显示由计算机视觉AI模型推断出的实时洞察和建议。这些任务在外形小巧但功能强大的边缘设备上实时执行，边缘设备运行医疗技术平台，通过云计算加持，智能控制医疗器械。这些功能现在都已成为现实，而且使用的是和智能手机相同的节能计算技术，这一切都要归功于那些具有远见的企业，比如我们今天要提到的加州圣何塞的Innominds。
Innominds的使命是构建数字化未来，公司开发平台，并与客户合作，为医疗技术、智慧城市和其他垂直领域生产设备。现在，Innominds已经开发出一种基于视觉的边缘AI平台，搭载我们的iMedVision (iDhi)Qualcomm QCS8250系统芯片(SoC)，用于构建下一代芯片到云的医疗技术设备和应用程序。
最近，我们与Innominds战略客户总裁Raj Ganti取得联系，了解更多关于iDhi的信息。
小平台，大创新
iDhi 包括一块配备丰富I/O接口的载板（见图1）和一只搭载QCS8250的系统模块(SOM)。系统模块通过定制的智能移动架构连接器(SMARC)接口，插入载板。
图1：iDhi载板和搭载QCS8250的SOM。
iDhi 集成了计算机视觉、云连接、4G/5G、WiFi6、蓝牙5.1和若干摄像头，均使用低功耗异构计算，方便开发者构建外形小巧的医疗器械。系统模块自身尺寸仅为 50x 100 毫米。
Raj表示，iDhi 面向以下医疗技术领域：
- 诊断设备：帮助医生根据视觉图像评估相关身体状况。
- 手术辅助设备：在手术时，协助外科医生执行特定的手术程序。
- 手术第一设备：在提供最少监督的情况下执行手术。
基于Android的平台具有丰富的硬件和软件规格，支持多摄像头同时传输，视频编码 (最高 4K 120帧 10-bit HDR)，输出到多个屏幕，丰富的I/O连接（例如， GPIO、USB、MIPI、PCIe、GbE和UART）。QCS8250 提供必要的异构计算能力（多核ARM-Kryo、DSP、GPU和神经处理），针对视频流实时执行基于AI的计算机视觉推断。因此，摄像头到屏幕的延迟可低至150毫秒，为外科医生提供了实时洞察。此外，通过5G和Wi-Fi实现云连接，进一步解锁了各种可能性，包括远程操作。
在软件方面，平台支持OpenCL、OpenGL和Vulkan，以及AWS IoT和Azure IoT的集成。还支持基于云的ML服务，包括AWS Sagemaker、Azure ML和iFusion。总之，为开发者提供了丰富的异构、渲染和云计算功能。
另外，平台还可以利用Qualcomm Technologies, Inc的数个SDK。比如，Qualcomm Hexagon DSP SDK为音频、成像和嵌入式视觉提供异构处理功能。Qualcomm AI神经处理SDK优化了深度学习模型,供在边缘执行。而Qualcomm 计算机视觉 (FastCV) SDK实现了计算机视觉算法，如对象检测、跟踪和分段。
灵感
图2：iDhi 外壳。
Raj表示，移动、低功耗的计算技术在医疗领域的应用，给了公司很大的启发。因为外科手术已经在使用人工智能和机器学习，而基于视觉的机器学习推断有助于重大外科手术的成功。在此之前，大多数医疗技术硬件都具有较大的外形，耗电很高，产生了较多的热量，开发时也没有考虑到便携性。现在，低功耗且高度集成的移动计算平台推动了硬件小型化，确保了可携带性，使外科医生及医护人员拥有了亟需的灵活性。
医疗技术用例
Raj表示，该平台与符合HIPAA/GDPR的医疗级云后端完全集成，帮助医疗原始设备制造商 (OEM) 和解决方案提供商构建系统，以便：
- 与现有的医用摄像机（如腹腔镜和内窥镜）集成，获取高带宽视频馈送。
- 执行多媒体操作，例如转码并准备视频流，以供摄入到ML模型中。
- 执行实时AI建模推理，并在交互式显示器上显示结果（例如，身体组织图像分割），为外科医生提供指导。
- 通过由超大规模云服务（例如，AWS和Azure）提供支持的管理平台执行远程器械管理。
开发建议及经验教训
在回顾开发iDhi的10个月期间，Raj分享了一些重要的经验教训。
Raj表示，首先，鉴于目前的供应链环境，生产PCB所需的EM526高速材料的交货时间变得更长，因此设计师应作好相应地规划。
至于性能方面，Raj建议尽早计算摄像头到屏幕的延迟及延迟要求。然后，在项目开始时优化摄像头路径和相关计算任务。使用USB摄像头路径实现高帧速率是一项挑战，最好能在设计阶段就与Qualcomm Technologies协调处理。
由于图像处理算法的复杂性，Innominds团队需要优化ML技术，以实现跨QCS8250多个异构计算块的最佳性能。为此，他们在使用我们的SDK时，还配合使用了 OpenGL、OpenCL以及系统芯片上的Qualcomm Adreno GPU工具、Hexagon DSP和Qualcomm神经处理单元，顺利构建所需的图像和视频处理算法，最大限度地提高了帧速率和整体性能。
一个关键挑战是实现最高120 FPS的视频输出。团队将QCS8250异构设计用于CPU、GPU和DSP并发处理，以实现这一目标。其中一个重点是内存管理和缓冲区共享。
Raj表示，QCS8250是他们的首选平台，特别是，Qualcomm人工智能神经处理SDK可以优化多媒体深度学习管道。另外，他们对OpenGL和OpenCL的计算机视觉支持也大加赞赏。他还表示，与竞争对手的解决方案相比，QCS8250系统芯片的Wi-Fi功能强大，一个重要优势是其具有广泛的处理能力。
展望未来
Raj预计，远程医疗、医护人员的增强和技能提升工具、个性化治疗和可穿戴设备将继续增长。通过在边缘使用人工智能、云计算、扩展现实(XR)和物联网，开发和提供新的治疗和服务，从而实现上述需求。
他还预见了影响医院自动化的技术。利用机器人实现医院辅助和后勤活动的自动化，可以节约资金和时间，改善可靠性。护士和其他医务人员只需轻触屏幕即可呼叫机器人执行某些任务。比如，机器人可以根据制定的计划或响应实时请求，分发药品、转移血液样本、收集诊断数据以及安排亚麻织品和食品供应。此外，机器人程序还可使某些医院收入周期、会计和财务任务（例如，调度和索赔处理）受益。
鉴于支持的应用场景比较广泛，该公司计划将iDhi作为构建医疗技术解决方案的独立开发套件出售。Raj还表示，他们的技术还可以应用于其他需要将边缘计算与多个摄像机融合的场景，包括汽车安全系统、仓库机器人、行为分析和认证、工业和建筑环境下的工人安全以及智慧城市。
不论Innominds的客户使用iDhi构建了哪些项目，我们对于自身在推动相关创新技术方面发挥的作用都深感自豪。
Qualcomm QCS8250、Qualcomm Hexagon、Qualcomm神经处理SDK、Qualcomm神经处理单元、Qualcomm Adreno 和 Qualcomm Computer Vision (FastCV) SDK 是 Qualcomm Technologies，Inc 和/或其子公司的产品。
