开发者需要了解IBM Granite 3.2模型的哪些内容

Ollama公司目前在搭载骁龙X系列处理器的Windows Copilot+电脑上支持IBM公司的Granite 3.2模型。此次合作可直接在超便携式笔记本电脑上解锁先进的AI功能，而个人爱好者和企业开发者都将从中获益。

在本文中，我们将总结Granite 3.2模型的主要功能，介绍搭载骁龙X系列（和高通Hexagon NPU）的个人电脑如何增强模型性能，呈现实际用例，并强调在本地运行AI模型的优势。

目前，搭载骁龙系统的笔记本电脑可以在任何地方运行复杂的AI助手，从而确保开发者能够在移动场景中使用各种先进的模型。这些端侧解决方案将数据保存在本地以保护隐私，并确保高响应性，即使在带宽受限的环境中也是如此。

IBM Granite 3.2模型概况：推理遇见视觉

IBM公司的Granite 3.2系列是一组开源的企业级AI模型，专为实际应用场景而设计。其最新版本在保持相对紧凑的模型规模（2B和8B参数）的同时，引入了全新条件推理和多模态视觉能力：

• 思维链推理 – Granite 3.2“Instruct”模型（2B和8B）经过微调，可以通过内部推理过程遵循复杂指令。这种思维链可以根据需要启用或关闭，从而在没有牺牲总体性能的情况下解决逻辑和多步骤问题。换句话说，该模型可以为较困难的任务“大声思考”，并为较简单的提示跳过额外步骤，从而优化资源使用。值得注意的是，IBM公司将这种推理融入到核心模型中，因此开发者可以在需要时轻松使用推理。
• 视觉语言模型（Granite 3.2视觉）– Granite 3.2模型包含了IBM公司的第一个官方视觉语言模型，一种专注于文档和图像理解的2B参数多模态模型。尽管其体积很小，但Granite视觉3.2在文档问答等任务上的准确度却能与体积大五倍的开源视觉模型相媲美。该模型在一个精心策划的文档数据集（表格、表单、图表、图纸等）上进行训练，从而确保其能够从视觉资料中提取结构化信息 – 例如，阅读采用PDF格式的表格或解释图表。利用这种紧凑模型，可以在本地设备上进行视觉文档处理。
• 企业优化 – 在构建所有Granite 3.2模型时，均考虑了企业用例。利用高质量的相关领域数据对这些模型进行了训练，并针对以业务为中心的任务（从网络安全分析到检索增强生成）进行了评估。IBM公司还提供了用于内容过滤的Granite Guardian安全模型和用于预测的Granite Timeseries模型，为企业人工智能需求提供了一个完整的系列模型。需要特别说明的是，Granite 3.2采用Apache 2.0进行开源，因此开发者可以轻松地采用和集成该模型，同时没有任何许可障碍。这些模型可以通过Ollama公司获得，因此只需要极简配置即可在本地运行。

简而言之，Granite 3.2通过轻量化的高效架构实现了先进的推理能力和视觉理解能力。这些特性使其成为现代边缘设备的理想选择 – 这也正是搭载骁龙X系列处理器的电脑发挥作用之处‌。

搭载骁龙X系列处理器的Copilot+电脑：将Granite 3.2型号和NPU加速带入新型笔记本电脑

骁龙X系列是高通技术公司最新的Windows电脑处理器系列，其关键卖点是其集成的AI引擎。每个芯片都包含一个Hexagon NPU，旨在以高速和低功耗运行AI模型。这种NPU每秒可以执行45万亿次运算（45 TOPS），在使用的能量比CPU或GPU少得多的情况下可以并行执行神经网络计算。

实际上，Hexagon NPU充当了专门协同处理器的作用，可以增强机器学习工作负载：Hexagon NPU可以有效处理矩阵数学和张量运算，同时释放其余核心资源，以支持网页浏览/游戏等并行任务，并在高负载AI场景下延长电池寿命。

对于开发者而言，影响非常显著，各种模型可以在带有骁龙X系列的设备上稳定、高效运行。高通技术公司已经证明，Hexagon NPU可以在设备上直接运行大型AI模型，并具有出色的性能和效率。

Granite 3.2模型（2B和8B）完全符合该性能区间标准，这意味着骁龙X系列能够将这些模型带入新一代笔记本电脑 – 实现完全离线运行，并为未来更大版本模型预留性能余量。

用例：开发者可以构建什么

借助IBM Granite 3.2模型的功能以及搭载骁龙X系列的设备，开发者可以创建一系列完全在本地运行的AI驱动型解决方案。以下是由这种组合实现的若干实际用例：

• 智能个人助手或企业助手 – Granite 3.2的指令模型擅长一般指令跟随任务，可以集成到聊天型助手中。个人开发者可能会创建本地AI编码助手或笔记助手，该类助手可以理解自然语言提示并即时提供答案。在企业环境中，您可以在员工笔记本电脑上部署虚拟助手，以回答策略问题、提供IT支持指导、或与内部知识库交互 – 所有该类任务均无需调用云API。

思维链推理意味着助手可以比早期的小型模型更有效地处理复杂的多步骤查询（例如：“分析这类要求并起草项目计划”）。而且，由于思维链推理运行在用户设备上，因此可以安全地整合专有数据（例如：内部文档或代码），以提供实时帮助。

• 文档处理和视觉数据提取 – 利用Granite 3.2视觉模型，开发者可以自动执行涉及理解图像或扫描文档的任务。例如，您可以构建一个应用程序，让模型读取PDF格式的文本和表格，以处理各种发票或表单，从而为您的工作流输出结构化数据。Granite视觉模型专门用于这种视觉文档理解，能够结合语境从表格、图表、信息图、绘图和图纸中提取内容。

这样可以在本地机器上完全实现人工智能驱动的文档工作流程：想象一下，现场工作人员的二合一设备可以拍摄纸质报告的照片并立即解析数字和图表，或者法律专业人员的笔记本电脑可以总结所扫描合同的内容，且无需将其上传到任何地方。Granite 3.2视觉模型的多模态性质意味着它可以同时解释文本和视觉信息 – 对于审查有注释图表或有图表财务报告等任务来说，这是一个巨大的胜利。

• 企业AI应用程序 – 这一组合对需要将AI安全地嵌入到业务应用程序中的企业开发者特别有吸引力。由于Granite 3.2模型是为企业场景构建（在文本分类、摘要、甚至代码任务等任务中具有优势），因此可以针对特定领域的应用程序对其进行微调或提示。

可能的示例包括：使用Granite模型对事件报告进行推理并提出响应建议的AI驱动网络安全仪表板；总结CRM数据并生成自然语言见解的销售分析工具；或者在医疗保健或金融等数据隐私至关重要的行业中使用离线客户支持机器人。

Granite模型对多种语言的支持（12种开箱即用）也意味着各家企业均可以为全球团队部署这类本地AI功能。在所有情况下，如将敏感数据保存在内部，并完全控制AI系统的运行，则各家企业均可获益。

为什么要在本地运行AI模型？关键益处

在搭载骁龙X系列的任何设备上本地运行Granite 3.2等AI模型，而不是调用云API，可以为开发者和组织机构提供几种具体优势：

• 数据隐私和安全 – 将AI保留在本地硬件上意味着在处理过程中，数据永远不会离开设备。各项输入（提示、文档等）和输出均留在您的环境中，大大降低了暴露风险。这对于敏感的企业数据或个人信息而言至关重要。这一功能在受监管行业中可有效提升合规性，同时减轻个人用户的隐私顾虑。
• 速度和响应性 – 本地推理消除了通过互联网发送请求和等待响应的延迟。在交互式应用程序中，即使是几百毫秒的网络延迟也会很明显。该模型在搭载骁龙X系列的电脑上运行，对许多任务均可实现几乎即时的响应，因为数据是在现场处理。

这种实时响应对于面向用户的助手或UI中的任何AI功能至关重要 – 它使AI感觉到灵活性和集成性。此外，Hexagon NPU的加速确保即使是计算密集型任务（例如：分析长文档或执行多步推理）也能快速执行。

• 节省成本 – 从长远来看，依赖本地硬件的成本效益要高得多。一旦拥有了该设备，在上面运行推理就不会产生额外的费用。对于API调用或云GPU时间，没有随用随付的使用成本。对于开发者而言，这意味着可以自由地尝试Granite 3.2模型，而不用担心费用增加。对于企业而言，在数千个端点上本地部署AI可以避免大量的云服务费用。

此外，Granite模型采用开放的Apache 2.0许可，这意味着集成该类模型无需支付许可费用 –您可以完全自由地使用模型，甚至根据需要对模型进行微调。

• 可靠性和控制 – 在本地或设备端运行模型可确保开发者能够更好地控制运行时环境和版本控制。不必依赖外部服务的正常运行时间或变化；如果笔记本电脑或边缘设备正常运行，则您的AI服务可用。这对于关键任务工具而言非常重要，因为这些工具需要在互联网宕机或云提供商宕机的情况下也能正常工作。

该模型还允许自定义模型（通过微调或提示模式），同时不受其他人的API限制。在Ollama上使用Granite 3.2模型的情况下，开发者可以自托管模型，根据自己的时间表更新模型，甚至可以根据需要集成额外的护栏或日志记录。一切都在您的控制范围内运行，这样可以简化调试和迭代。

利用这些优势，开发者可以为最终用户提供更快捷、更安全、更廉价的AI驱动功能。该模型特别符合重视数据治理和成本管理，并认为其与原始性能同等重要的企业。

赋能边缘创新

从本质上讲，Ollama + Granite 3.2 + Snapdragon X系列体现了边缘人工智能对现实世界的影响：使最先进的模型更接近数据生成和使用的地方。此外，这一组合为Ollama和Granite 3.2开辟了一个新的笔记本电脑类别。这导致了更多的私人AI交互，减少了延迟，并为客户端创新提供了新的可能性。随着NPU等人工智能硬件成为个人电脑的标准配置，以及开放模型的不断改进，我们可以期待本地人工智能应用的浪潮越来越大。

对于开发者来说，现在是时候开始探索如何将这些设备上的模式整合到你的产品中了。云AI服务和个人电脑之间的差距正在迅速缩小 – 开启一个AI无处不在、个性化、受你控制的未来。

参考文献：

1. IBM Granite 3.2公告​ 
2. IBM watsonx.ai模型库​
3. 关于Granite 3.2​的InfoQ新闻
4. Windows Guide上的微软人工智能​
5. 骁龙X Elite上的高通/贝克特尔​
6. 骁龙X Elite NPU上的Petri​ 
7. Ollama模型库（Granite 3.2）​ 
8. Ollama模型库（Granite视觉）​

在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品均为高通技术公司和/或其子公司的产品。

关于作者

马诺吉·基尔纳尼

全球合作伙伴营销总监

阅读更多