---

欢迎查看FactoryPulse解决方案系列的第三部分。在本次技术深度解析中，我们将重点转向在高通跃龙™ IQ-9075处理器上为该解决方案提供支持的生成式AI组件。我们在上一篇文章中介绍了如何构建视觉AI流水线，而本文则将探讨如何利用高通® Hexagon™ HTP加速器的强大性能，在设备端同时运行带有检索增强生成（RAG）和自动语音识别（ASR）功能的大语言模型（LLM）。

生成式AI架构概述

在边缘侧运行复杂的生成式AI工作负载需要适当的软件堆栈。针对高通跃龙IQ-9075评估套件（EVK），我们利用了两种重要的高通AI运行时：

• 适用于带有检索增强生成功能的大语言模型推理的Genie软件库。
• 适用于语音文字（STT）转换的Whisper自动语音识别。

应用场景

为展示在设备端运行大语言模型、检索增强生成和语音转文本的强大能力，我们实现了三种不同的场景，包括：预测性维护、工厂管理和演示模式。

应用模型

该项解决方案依托三款具体的AI模型：

• 大语言模型‌：Meta 的Llama 3.2 Instruct 3B模型
• 检索增强生成嵌入模型‌：北京智源人工智能研究院BGE-large模型
• 语音转文本模型‌：OpenAI Whisper-small模型

硬件优势

上述三款模型均已专门针对Hexagon张量处理器（HTP）加速器进行了优化。通过将工作负载分配至高通跃龙IQ-9075评估套件的两个HTP核心上，我们成功验证了单台嵌入式设备即可流畅地同时运行自动语音识别功能以及具有检索增强生成功能的大语言模型。

附图1：用于工厂管理的对话面板 – 设备端大语言模型基于实时工厂遥测数据，对操作人员的查询做出实时响应。右侧以一键快捷操作的形式展示推荐执行的动作。

基于检索增强生成的预测性维护

该预测性维护应用场景展示了AI如何借助边缘侧AI技术协助进行设备维护。该系统会利用各种静态文档，例如：

• 操作手册
• 维护记录
• 巡检报告

这些文档由AI模型进行整合与解析，从而为技术人员呈现相关信息。这种操作可确保：

• 主动识别问题
• 优化检修服务时间安排

重要的是，该解决方案可以直接部署在设备或本地网关上。这样可确保即使在网络连接受限的环境中，仍然能够提供维护洞察数据。

附图2：维护需求告警界面 – 数字孪生显示了故障机器人关节的分解视图，而受损的内齿轮以红色高亮标注

— 构建AI驱动的维护工作流：利用检索增强生成将静态文档转化为可执行洞察数据。探索在高通平台上利用Qt实现检索增强生成功能。‌‌

检索增强生成架构

此项功能实现采用以ChromaDB为核心的检索增强生成（RAG）架构。其完整运行流程如下：

• 利用BGE-large嵌入模型将技术文档编码为稠密向量表示。
• 通过语义搜索检索相关的维护说明。
• 将检索到的上下文信息传入Llama 3.2 3B模型，并由该模型整合生成最终响应内容。

该方法摒弃了简单的关键词匹配，实现了对维护指令的精确语义检索。Llama 3.2 3B模型直接在高通跃龙IQ-9075 Hexagon HTP加速器上运行，从而实现以下功能：

• 完全离线推理
• 低延迟响应
• 降低对云端基础设施的依赖
• 提升工业环境中的数据隐私

附图3：引导式零件更换流程 – 基于通过检索增强生成功能获得的维护文档，大模型指导技术人员完成每一步操作（螺丝刀、弹簧卡环、内齿轮等），并在顶部状态栏显示实时进度指示器。

观看该系统如何利用大语言模型和检索增强生成功能引导完成实时零件更换。

未来扩展的可能性

当前的功能实现专注于单个检索增强生成文档源。未来的迭代可以进一步扩展，以包括以下内容：

• 历史维护服务日志
• 原理图
• 多文档知识库

这类功能扩展可实现更加丰富的上下文语义理解，针对以往发生故障的模式识别，以及更精准的维护预测。通过将集中式知识与设备端AI执行相结合，该系统可演变为用于预测性维护的分布式知识中心。

利用设备端大语言模型和自动语音识别功能进行工厂管理

工厂管理应用场景展示了生成式AI如何通过自然语言交互为工厂工作人员提供协助。连接到设备的扬声器可支持操作人员完成以下操作：

• 启动或关停生产
• 查看工厂告警信息
• 查询机器或生产线状态
• 触发其他演示应用场景

对于本场景，并未使用检索增强生成功能。

语音转文本优化

针对语音转文本（STT）引擎，我们部署了Hugging Face Whisper-small自动语音识别模型。为确保该模型能够在开发板HTP/NPU算力约束条件下高效运行，高通技术公司对该模型进行了充分优化与量化处理。所有核心运算任务由高通AI运行时SDK负责，该SDK提供了在NPU侧运行推理的接口，可同时实现实时语音转写与翻译。

为匹配Whisper模型的原生16kHz音频输入要求，我们通过Qt多媒体的私有接口对QAudioDevice组件进行了定制改造，确保经NPU加速的模型能获取高性能转写所需要的准确音频流。

注意：此处使用的私有接口并非稳定公共API的组成部分，不同Qt版本间可能存在变动。生产代码应避免依赖私有接口；目前正为未来的Qt多媒体版本研究基于公共API的替代方案。

该配置方案无需云端服务，即可实现设备端实时语音交互。

演示模式：作为嵌入式讲解器的大语言模型

演示模式将大语言模型直接集成到Qt应用程序中，以交互式方式完整展示其全部功能。该模式不再播放预录视频，而是由大语言模型直接调用实际应用程序，以动态演示各项功能特性。

开启演示模式开关后：

• 应用程序进入自主漫游体验。
• 由大语言模型驱动的讲解器播报各项功能说明。
• 该解决方案涵盖各个应用场景 – 工厂管理、缺陷检测、工人安全和预测性维护。

聊天界面仍保持可交互状态 – 用户可通过预设的聊天选项在不同应用场景间快速跳转。为避免手动交互与自动交互发生冲突，演示模式下将禁用三维虚拟工厂环境。所有应用场景展示完毕后，解决方案会自动重启，同时切换开关保持启用状态。

演示模式的目标

演示模式的设计目标如下：

• 打造连贯流畅的免手动操作演示体验
• 支持展会及客户现场演示环境
• 展示智能型自引导交互界面
• 演示AI作为嵌入式助手的功能

开发者核心收获

在FactoryPulse解决方案中实施生成式AI展示了：

• 单一嵌入式平台上实现设备端大语言模型、检索增强生成与自动语音识别功能
• 利用Hexagon HTP加速器实现完全离线推理
• 通过避免对于云端的依赖，降低系统复杂度
• 在高通跃龙IQ-9075评估套件上实现多模态用户界面支持（文本、语音、视频）

该解决方案将视觉AI与生成式AI工作负载结合在一起，凸显了在高通跃龙IQ-9075评估套件上构建多模态工业应用的可能性。

从演示到开发者API

本项目所积累的经验正被用于构建面向边缘侧AI开发的全新Qt模块及API。在撰写本文时，该Qt模块和API的概念验证版本已提供给开发者试用。请尝试体验Qt AI推理API概念验证版本。

在单一设备上运行大语言模型+检索增强生成+自动语音识别功能：构建完全离线的智能型边缘侧应用。

申请您的Qt评估许可，以便在高通跃龙IQ-9075评估套件上运行。

准备好开始实践了吗？

• ‌探索Llama 3.2部署方案：学习如何在高通边缘侧平台上实现大模型的高效本地运行。

• 了解Hexagon HTP加速器的优化情况：了解如何量化并优化AI计算图，以便在NPU上实现高性能执行。‌

• 了解ChromaDB检索增强生成：查看如何为检索增强生成流水线构建和管理向量数据库。
• 试用Qt AI推理API：测试Qt推出的概念验证版本，以大幅简化QML与C++应用程序中的AI模型集成工作。‌‌
• 构建AI驱动的维护工作流：利用检索增强生成将静态文档转化为可执行的洞察意见。探索利用Qt在高通平台上实施检索增强生成功能。

即将推出：敬请关注我们即将发布的关于Qt Onboard QBSP的技术性深度解析文章

---

在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品均为高通技术公司和/或其子公司的产品。

Qt品牌产品均为Qt集团公众有限公司的产品

我们持续创新，致力于在全场景普及智能计算，助力全球应对各类核心挑战。我们凭借前沿的AI技术、高性能低功耗计算能力以及无可匹敌的连接技术，提供经过验证的行业解决方案，推动各大核心产业实现变革。在高通，我们用技术赋能人类进步。