Tips：本教程基于搭载高通跃龙™ QCS8550平台的设备，硬件及固件包由阿加犀提供。

一、安装dify

请参考文章《 如何在高通跃龙™ QCS8550平台上搭建本地知识库》

二、安装aidllm及下载模型

前置条件：
1.获取qwen2-7B大模型：端侧AI生态门户

2.使用aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg安装aidllm

3.修改网络配置
需要修改配置文件地址，以下载资源文件：
执行：sudo vi /opt/aidlux/cpf/aidllm/configs/system.yaml

​

修改为：
host: 117.176.129.180
port: 65325

1、安装api服务

终端执行：sudo aidllm install api

2、拉取模型文件

终端执行：sudo aidllm remote-list

(上述列表展示当前可下载的全部模型文件，其中Current Soc 表示模型可适配的高通跃龙™ 平台型号)

终端执行：sudo aidllm pull <Url> ，把指定模型文件拉取到本地
如：sudo aidllm pull aplux/aplux_qwen2-7B
查看本地已下载的模型： sudo aidllm list

3、启动api服务

终端执行：sudo aidllm api start

当提示successfully，则表示API启动成功

• 当本地存在多个模型文件，则可以指定模型启动
  终端执行：sudo aidllm api start -m <Name>
  如：sudo aidllm api start -m aplux_qwen2.5-3B

查询状态： sudo aidllm api status
停止服务： sudo aidllm api stop
重启服务： sudo aidllm api restart

三、准备dify环境

在 docker/volumes/plugin_daemon下创建 public_keys目录
aidlux_key.public.pem在开发板Home路径的key下
并将公钥文件复制到对应路径：
mkdir docker/volumes/plugin_daemon/public_keys

cp aidlux_key.public.pem docker/volumes/plugin_daemon/public_keys/

修改docker-compose.yaml文件增加第三方签名验证

plugin_daemon容器配置下新增
plugin_daemon:
environment:

THIRD_PARTY_SIGNATURE_VERIFICATION_ENABLED:true

THIRD_PARTY_SIGNATURE_VERIFICATION_PUBLIC_KEYS: /app/storage/public_keys/aidlux_key.public.pem

重启容器

docker compose down

docker compose up -d

四、导入模型

1.确认此时模型以正常启动，可在本机或其他设备上测试

curl -X POST ‘http://192.168.111.133:8888/v1/chat/completions’ 
–header ‘Content-Type: application/json’ 
–data-raw ‘{“model”: “aplux_qwen2-7b”,“api_key”: “”,“messages”: [{“role”: “system”,“content”: “You are a helpful assistant”},{“role”: “user”,“content”: “给我讲一个笑话”}],“stream”: true}’

2.安装插件

3.模型供应商内添加模型，api-key可随意填写

​

4.模型添加完成后，即可添加应用、知识库结合使用

（示例）