瑞芯微为大算力场景需求新推出一个RK182X 20TOPS算力卡,本地端部署AI agent对算力要求比较高,对于瑞芯微的方案,RK3588主控结合双RK1828 AI算力卡和OpenClaw智能体框架,可以构建一套性价比高且完整的本地AI Agent系统,实现私有化智能客服、无人值守Agent等应用。
本此方案是采用定昌电子DC_M588 RK3588开发板作为核心硬件,通过M.2_PCIe扩展双RK1828 AI算力模块,提供扩展40TOPS的大算力,采用rkllm3-server服务,部署的大模型是Qwen3-4B-Instruct,RKNN量化,上下文16K。AI应用的入口基于OpenClaw Gateway + Control UI + TUI,整体方案无需云端API Key,推理费用为0,适合需要长期运行AI应用的企业级场景。

典型应用场景
OpenClaw+本地大模型的软硬件部署方案,针对解决数据安全和私有化部署的需求,典型应用包括:
l 私有化客服系统:企业微信、WhatsApp等平台接入OpenClaw,由本地Qwen3模型完成客户问题回答,客户数据无需上传服务器。
l 工厂运维助手:设备报警信息自动推送到Telegram或企业内部系统,由AI分析日志内容,并生成故障原因和处理建议。
l 7×24小时无人值守Agent:结合Cron定时任务和工具链,实现自动巡检、数据统计、日报生成以及异常通知。
l 开发Copilot助手:通过TUI或者Web界面完成代码生成、脚本调试、技术文档查询等开发辅助任务。

RK182X算力卡详情简介
RK1828属于瑞芯微RK182X系列AI协处理模块,是专门用于AI推理加速的协处理器。其采用3核RISC-V架构,并集成专用NPU,支持INT4、INT8、FP16等多种量化格式,通过RKNN3 SDK实现AI模型部署。RK1828针对端侧AI推理进行了优化。RK182X系列主要包括RK1820和RK1828两个型号:
|
项目 |
RK1820 |
RK1828 |
|
定位 |
入门AI协处理器 |
高性能AI协处理器 |
|
AI算力 |
约20TOPS INT8 |
约20TOPS INT8 |
|
片上DRAM |
2.5GB |
5GB |
|
模型支持 |
≤3B参数模型 |
3B~7B参数模型 |
|
典型应用 |
轻量AI任务 |
本地LLM/VLM部署 |
对于大语言模型、本地智能助手、多模态视觉理解等应用,RK1828更适合作为AI推理扩展模块。
OpenClaw+RK3588+双RK1828整体架构
整体以RK3588主板作为系统核心,OpenClaw Gateway作为AI应用入口,负责接收Telegram、企业微信、Web UI等用户请求,并通过OpenAI兼容接口调用本地部署的rkllm3-server大模型推理服务。rkllm3-server则作为本地AI推理引擎,将Qwen3-4B-Instruct等大语言模型运行到外挂的RK1828 AI算力卡上,由RK1828 NPU完成大模型推理计算。

整个系统采用RK3588+双RK1828的计算架构,结合RK3588自身NPU形成约46TOPS AI算力。该架构通过RKLLM3 Server提供OpenAI API兼容服务,使OpenClaw能够像调用云端大模型一样调用本地模型,实现无需API Key、无Token费用、数据不出设备的小型私有化AI Agent应用。

整体架构的技术亮点:
|
项目 |
能力 |
|
大模型 |
Qwen3-4B-Instruct(RKNN 量化,16K 上下文) |
|
推理服务 |
rkllm3-server,OpenAI API 兼容 |
|
AI网关 |
OpenClaw 2026.2.x,Gateway + Control UI + TUI |
|
算力 |
2× RK1828 M.2,RKNN3 Runtime,多 Session 并行 |
|
成本 |
推理费用:¥0(无 API Key,无按量计费) |
|
隐私 |
全链路本地,对话与文件不出设备 |
OpenClaw和rkllm3-serve适配过程
1):安装nodejs 22.x
curl -fsSL https://deb.nodesource.com/setup_22.x | sudo-E bash -
apt install nodejs -y
npm install -g pnpm
2):下载openclaw源码并安装
gitclonehttps://github.com/openclaw/openclaw.git
Cd openclaw
pnpm install
pnpm ui:build
pnpm build
3):配置(基本使用默认)
pnpm openclaw onboard--install-daemon
①:修改配置文件
"agents":{
"defaults":{
"model":{
"primary":"rkllm3/rknn"
},
②:启动服务
Pnpm openclaw gateway
4-6):启动命令行交互
Pnpm openclaw tui
效果展示
OpenClaw + RK3588主板 + 双RK1828算力卡本地大模型方案的实际运行效果测试如下:

系统正常启动推理流程,调用 rkllm3/rknn 模型完成文本生成,但由于RKLLM3当前实际可用的 context slot(上下文窗口)限制为2048 tokens,导致长对话、多轮记忆以及复杂任务理解能力受到限制,其实整体体验距离云端大模型仍有差距。