摄像头可以产生大量数据。使用视频管理系统 (VMS) 的各家公司希望从其生成的所有视频数据中获得更多价值，从而采取真正重要的行动。他们提出这样的问题：“我们如何提高员工的安全和保障？我们如何才能准确地追踪车辆，快速检测到入侵行为，并确保人员处于其指定位置？”
由于边缘计算的力量、生成式人工智能的创新、以及工业和嵌入式物联网 (IE-IoT) 的发展，传统VMS即将开始升级。通过与原始设计制造商 (ODM) 和独立软件供应商的合作，我们现在推出高通跃龙™ 智能视频套件，这是一套支持人工智能的视频套件，旨在帮助企业提高安全性和运营效率。
我们的智能视频套件提供本地设备的视频监控即服务 (VSaaS) 选项 – 和现场完全物理隔离–以及直接到云端的摄像头部署方案。基于摄像头的AI技术可用于物体检测、人员追踪和人脸检测。该技术在本地设备上运行生成式AI （GenAI） ，可对来自数百或数千个摄像头的视频内容进行自然语言查询。
为了进一步增强该产品，我们已经签署了收购FocusAI的协议1，FocusAI可提供尖端的端侧AI和机器学习（ML）算法，能够实现实时洞察和分析。我们的智能视频套件旨在充分利用现有的摄像头、以及搭载高通跃龙处理器的新款摄像头，在创建现代视频监控解决方案时，为原始设备制造商和原始设计制造商提供广泛的生态系统。
传统VMS：改进空间
在各行各业中，VMS在诸如对象检测、人员追踪和车牌分析等计算密集型用例中具有重要价值。传统的VMS是集中式的，有几十个或几百个摄像机将信息馈送到一个由人工审核的控制台。
但是，传统的VMS有三个主要缺点：
1. 商用摄像头系统相对昂贵，且需要大量资源。该类系统采用专门的、特定用途视频监控设备，几乎无法匹配其他用途。该类系统捕获的录像内容必须在源头进行编码，然后在目的地进行解码、监控和分析。这需要大量的存储空间，无论是在现场还是在云端。
2. 在录像内容中进行搜寻是一项繁重而低效的工作。传统VMS捕获的视频数据比人工审核可以方便研究甚至搜索的视频数据要多。人工审核员可以检测和识别来自摄像头输送的威胁内容，但没有人可以一直监控所有输送内容。而且很少有系统能够跨越多个摄像头和区域对人员进行追踪。
3. AI分析成本高昂，并且受到带宽限制。由于传统VMS已经让位于AI和云中监控，因此人为因素已经不再是瓶颈。但是，分析云中的摄像头数据会产生处理成本（计算和存储），以及网络成本（时间、吞吐量）。而且，在某些垂直领域，安全性导致根本无法与云端进行任何连接。
该技术阶段为传统VMS的现代化而设置，并针对具有以下特性的系统：
- 利用有关边缘AI摄像头的分析能力进行检测。
- 发回警报、通知和事件录像。
- 检测各种各样的事件（滑倒、摔倒、碰撞、危险）、物体（安全装置、车牌、车辆、武器）和人员（人数、面孔、移动路径）。
- 无论是否连接到互联网或云端（物理隔离）均可运行。
- 如有需要，完全存在于公司工作场所内。
- 适应传统，非AI摄像头和布线。
- 总拥有成本 (TCO) 比传统VMS或云人工智能方法更低。
- 使用GenAI和大型语言模型 (LLM) 进行自然语言搜索（“昨天有多少员工穿着安全背心？”；“上周二那个人是怎么穿过这栋楼的？”）。
退出只是这样的视频监控解决方案的市场时机已经成熟。
附图1：高通跃龙™ 智能视频套件实现的基本架构。
高通跃龙™ 智能视频套件
高通技术公司的摄像头和人工智能生态系统包括GenAI、计算机视觉、LLM、硬件加速器和网络边缘的智能摄像头设备。我们将人工智能、高性能处理器和企业解决方案方面的专业知识结合在一起，为准备改善其安全和监控系统的企业创建了我们的高通跃龙智能视频套件。
我们的视频套件解决了传统和基于云AI的VMS的缺点：
1. 高通跃龙智能视频套件的核心是专为物理隔离型本地硬件上的GenAI推理和计算机视觉工作负载而设计的高通跃龙AI本地设备解决方案。该解决方案基于行业标准PCI Express (PCIe) 架构，通过在本地运行敏感客户数据、微调模型和推理工作负载，简化和优化了视频监控。
2. 在本地设备上运行的基于LLM的智能助手可以对来自数百或数千个摄像机的录像内容进行自然语言查询，包括跨区域的多摄像头目标追踪。通过普通提示，人工审核员可以根据物体、事件和车辆等标准进行搜索。人工审核员可以对滑倒、牵手、提包和戴安全帽等模式进行高级查询，还可以对建筑物内的移动情况进行查询。
3. 使用本地AI，检测运动和物体的工作可以在尽可能靠近摄像头的地方进行。来自AI摄像头（例如，搭载高通跃龙处理器的摄像头）的输送信息在收集设备上进行分析，并将元数据发送到本地设备。来自传统相机的输送信息首先在边缘盒（同样搭载高通跃龙处理器）上进行分析，然后将元数据发送到本地设备。
4. 另一种替代方案是搭载高通跃龙平台的直接到云端摄像头。该选项消除了部署、管理和维护复杂VMS的需要，使VSaaS成为一种更经济、更易于访问的解决方案。与传统VMS相比，直接到云端摄像头同样提供了更高的灵活性和可扩展性。
5. 智能视频套件的特点是在本地设备上运行GenAI命令中心，用户可以在其中获得特定查询的答案，例如在一定时间内追踪某一个对象或生成有意义的报告（如：“过去一周发生的所有安全违规行为列表”）。
高通跃龙智能视频套件实现的基本架构如图1所示。相同的架构适用于安全、监控和员工安全等各种用例，并且可以使包括石油和天然气、制造、零售、酒店和医疗保健在内的各种行业受益。
该智能视频套件的技术效益和优势包括：
- 在边缘AI摄像头上，AI分析和计算机视觉算法在编码前运行在低压缩、高质量的视频上。因此，与依赖API调用进行推理的云AI相比，可以实现更少的误报和更准确的推理。
- 该解决方案非常适合于棕色地点环境，因为它可以容纳非AI摄像头和现有电缆，最大限度地减少了拆卸和更换部署造成的浪费和费用。我们的系统通过集成前沿技术、计算、人工智能和连接来增强旧系统。
- 即使没有与互联网或云端的外部连接，这种物理隔离式VSaaS解决方案也可以将人工智能应用于与云计算相同的常见用例。该解决方案确保企业能够充分使用和控制自身的GenAI、自然语言处理和计算机视觉模型。为各种应用程序实现工作流自动化，如智能多语言搜索、代码生成、自动起草和笔记，以及自定义人工智能助手和代理。
- 该解决方案的内部部署方法加强了企业在使用自己的模型部署生成式人工智能应用程序时所需要的隐私、个性化和定制功能。
利用高通跃龙智能视频套件，中小型企业、企业和工业组织机构能够在本地运行定制和现成的AI应用程序，包括GenAI工作负载。该套件既可以在云端运行，也可以在本地运行。
附图2：传统VMS、云AI和基于边缘人工智能的VSaaS的成本比较。
较低的总拥有成本
与传统VMS和云AI基础设施的成本相比，使用边缘AI运行推理可以显著节省运营成本和总拥有成本。附图2中的图表说明了与安装、维护安全和监控系统相关的四类成本：硬件、人工、网络/带宽和软件/SaaS。
由于传统VMS不依赖于数据网络，其带宽成本可以忽略不计。但是，由于硬件（用于单一用途的设备）、劳动力（用于安装和人工审查）和专有本地软件的高成本，这种经济效益被掩盖。
相比之下，基于云AI的VSaaS大大降低了硬件和人工成本。但将摄像头数据传输到云端会产生带宽成本。软件/SaaS的成本较低，但由于云计算（推理）和存储（视频录像），成本仍然可观。
在基于边缘AI的VSaaS中，硬件成本上升到包括边缘AI相机和本地设备。人工成本类似，因为监控是由AI完成的。但是带宽较低，因为解决方案驻留在本地，而软件/SaaS的带宽要低得多，因为计算在本地进行，所需的存储要少得多。
因此，VSaaS节省的大部分成本来自边缘AI。VSaaS的现代化是一个完整的平台解决方案，包括硬件、软件和服务，直至边缘。
多个用例和垂直行业
我们将产品组合的多样性与生态系统的多样性相结合，意味着边缘AI和智能VSaaS适用于多种用例，包括：
- 运动和物体检测/追踪（例如：人员、车辆）
- 车辆检测和分析（例如：送货车辆）
- 位置映射与鸟瞰图
- 多摄像头追踪（例如：通过建筑物的过程）
- 徘徊检测
- 滑倒检测
该解决方案可满足多个行业/垂直领域的需求：
- 石油和天然气
- 汽车
- 制造
- 零售
- 电信
- 公共空间和智慧城市
- 运输（空运、陆运、海运）
- 酒店
- 医疗保健
智能VSaaS和边缘AI具有充分的灵活性，适用于零售店、快餐店、购物中心、经销商、医院、工厂和车间等各种场所。适用于已建立适当工作流、具有可重复性、且准备好实现自动化的地方。
智能监控，自然语言视频搜索
高通跃龙智能视频套件最强大、最省力的功能包括使用VLM和LLM无缝组合的AI监控和视频搜索，可以完全在边缘或混合模式下工作。
该智能视频套件旨在通过多个摄像头和房间追踪相关人员，并提供实时追踪警报和直播。例如，如果系统检测到武器或其他危险物体，就可以将该物体与携带该物体的人员联系起来。然后，该系统可以自动追踪人员在房间、楼层或建筑物中的足迹，为安保人员绘制行程地图。或者，该系统可以在某一事件发生后追踪顾客在零售商店中的移动情况。
与传统的CNN AI模型相比，我们的智能视频套件使用VLM，可以实现更智能的嵌入，从而生成优化的元数据。该VLM可以在摄像头或边缘盒上执行，从而确保您能够进一步降低云成本。然后，LLM为智能视频助手提供动力，确保对从边缘AI摄像头收集的录像内容进行自然语言搜索。有了GenAI的强大功能，建筑管理员现在可以通过与系统聊天立即提取更多信息，否则这项任务需要繁琐的搜索和多次点击才能获得正确的数据。这类查询的实例包括：
- “显示周一上午8点到9点之间相关人员的活动情况。”
- “显示上周戴白色头盔的人员。”
- “显示今天Marco最后一次出现的时间”
在本地设备内部
AI本地设备解决方案具有可扩展性，因为该类解决方案围绕 高通云AI加速器系列和用于本地的高通跃龙 AI推理套件构建。该类解决方案提供高达870 TOPs的机器学习能力，只需一张高通云AI Ultra卡。
高通云AI 100 Ultra是一款PCIe AI推理加速卡，可以在一张卡上运行具有多达700亿个参数的GenAI模型。 各原始设计制造商正在与高通技术公司合作，以便针对专门的GenAI和LLM工作负载将加速器构建到具有不同形状因子的其他解决方案中。
该解决方案是生态系统成员之间合作的结果。在智能VSaaS的情况下，原始设计制造商构建搭载高通跃龙处理器的摄像头，包括我们的旗舰产品高通跃龙™ IQ9系列平台，以及搭载高通云AI加速卡的本地设备。我们的智能视频套件包括在本地设备上运行的VSaaS监控和自然语言视频搜索堆栈。
该模型很容易扩展到任何GenAI或LLM应用程序，因为软件和堆栈具有灵活性。对于需要的用例（例如：检测不同类型的物体），工作是增量的。
后续步骤
高通跃龙智能视频套件可确保各种规模的企业能够在本地或云中运行其AI应用程序，包括GenAI工作负载。
您是否准备好了解视频安全和监控中设备上的GenAI实例？高通技术公司与Aramco公司的合作项目改善了Aramco公司艾卜盖格石油设施的监控和安全性。通过连接到控制中心的AI摄像头和连接到本地设备的传统摄像头，安全人员可以收到有关安全漏洞的实时通知，包括入侵者检测。该项目利用了GenAI支持的自动报告生成和跨摄像头追踪功能。
了解高通跃龙智能视频套件如何帮助您的组织机构提高生产力、提高员工合规性并增强安全性：
在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品均为高通技术公司和/或其子公司的产品。
参考文献
1: 这笔交易的完成取决于常规成交条件。
关于作者
凯达尔·加拉特
高通技术公司产品管理总监
