经验分享:使用“开源神器”在企业CPU服务器上快速部署DeepSeek大模型
最近领导指示需要做DeepSeek大模型本地部署,给部门里面的领导和同事们使用。这个事情本身对每个打工人来说都是个机会,但是也存在一定的风险,至少我能想到的有两点:
1、 公司目前没有专门的GPU设备,就拿CPU服务器部署。这个问题说来简单,但CPU部署大模型(尤其是那几个相对性能不错的,而不是1.5B小玩具)肯定性能不够,以后撬动资源买GPU服务器了还要重新搞。
2、 当前就是领导让测试,机会给我了。等到把服务搭起来了,给谁用、怎么用?各部门的同事领导都得找到我这里来;到时候要是有点“界面不好看要优化”、“给隔壁部门的号先停一下”之类的需求,后续投入的人工也会挺大的。
这里面的核心诉求是:我需要让这个活儿不至于在以后因为换设备之类的问题就要重做,也需要简单合理地管理部署出来的这些服务——要让这个事情产生足够的价值,也要减少投入的资源。
先前偶然了解到了一个叫OpenStation的开源免费工具项目,刚好解决我这个诉求。从项目说明里面看,有这么几个值得注意的地方:
1、 专为企业和开发者设计的一站式大模型部署管理平台,便捷部署、体验大模型服务,具备模型管理、服务部署和用户协作功能,支持多种推理引擎,当前够用了。
2、 可以扩展计算节点,有服务多实例和负载均衡,以后也够用了。
这个开源项目确实方便快捷地帮我完成了在CPU服务器上部署DeepSeek大模型并给全体同事使用的任务目标。
这里是本次实践用到的两个开源工具的项目地址,可以去下载并了解详情,有问题还可以通过项目主页的“用户交流”模块加入群聊和技术专家沟通咨询:
# OpenStation:https://gitee.com/fastaistack/OpenStation
# OpenPAI: https://gitee.com/fastaistack/OpenPAI/
部署
我司限制敏感数据上外网大模型但并不限制服务器连互联网,所以我直接按照gitee项目里面给出的在线安装来操作的。整个安装过程大概用了一个多小时,但反正只需要填一下宿主机IP和“没有GPU”这个信息,操作很简单。
登录界面挺简朴的。
部署DeepSeek
平台里面可以看到服务器的基本信息,和直接从服务器上获得的信息一致。扩充服务器这个关键功能有待以后实验。
首先部署一个模型。在平台的“模型仓库”模块里直接放着DeepSeek-R1的671B和不同大小的蒸馏版本,点击下载之后就会下载模型文件,这对于部署DeepSeek-R1模型还是非常方便的。
对于其他的模型,需要在服务器后台把模型放好,然后在模型服务部署的地方直接填路径挂模型。
在OpenStation上填写路径部署本地模型
OpenStation是按照服务器类型来使用不同框架部署服务的——我安装的时候设置服务器没有GPU,所以这里会用vLLM-CPU来部署。能够提供CPU、GPU一致性的部署,在使用上比较方便,这点令人满意;vLLM引擎在推理加速方面的特性也可以基本保障服务质量,算是资源不足的场景下一个比较合理的过渡方案。
界面里面可以查看服务状态、部署进度,部署好之后则可以查看API访问地址。
分发大模型服务
现在已经有了大模型的服务访问地址,接下来就是将它分发给不同的用户。这部分的操作过程有些倒挂,我从我最后操作的顺序简单介绍一下。
OpenStation平台可以配置邮箱服务器,比如我为我这项工作申请了一个新的邮箱,将它配到OpenStation的邮箱配置页面里面,这是前置工作;
创建用户时,填用户的邮箱信息(OpenStation还支持从Excel模版批量导入),这样平台的信息就可以通过邮件给这些用户发自定义邮件了。在这个用户管理机制下,我用管理员可以暂时禁用掉平台里的用户,然后他们就不会收到邮件、不能登录、不能使用服务了;后续需要再恢复用户功能时也可以再打开。
在上线服务以后,模型服务页面里面有个“服务上线通知”的按钮,点击确定就会将邮件发给所有用户;页面里展示的信息来自系统设置页里面的“通知模板”,我可以进行调整。
这里可以看出OpenStation的一个设计思路:对普通用户来说,或许根本不需要登录到OpenStation的界面里,直接用邮件里面的key、modelname、URL三项信息就够了——几乎所有的chat工具都只需要使用这三项内容即可接入一个大模型服务。也就是说,在我这个使用场景下,我或许可以直接把用户名、随机密码从邮件模板中去掉,这样用户就彻底“无需”登录OpenStation平台了。
更多:基于API快速进行应用开发
由于OpenStation提供的就是个标准大模型API,同事们用本地的大模型应用接入进来就可以了;但在一些特殊的演示场景,可能本地化部署的应用工具不太好看,所以还可以中心化地部署一个应用工具平台。这里就可以再简单介绍一下OpenPAI这个平台项目了。
OpenPAI 是一个轻量、强大且易用的大模型应用开发平台,帮助用户快速部署和交互大模型。平台支持本地、企业服务器及云端模型服务,并提供直观、友好的网页界面,让你轻松构建 AI 应用。
OpenPAI的安装同样非常简单,参考用户手册运行两条命令就可以完成部署。部署成功后,在浏览器输入访问地址,以管理员身份登录即可;管理员账号登录后,在“设置”→“外部连接”页面新增一个外部模型连接,就能接入OpenStation部署好的模型服务。Base URL、API Key可从Openstation管理页面获取,或者从用户收到的邮箱获取。
OpenPAI在处理大模型连接的时候应该是会用OpenAI接口标准,所以不用填写模型名,就可从OpenStation拉取到全部的模型服务。
然后我的同事们就可以在OpenPAI里面使用部署好的大模型了。从我测试的情况看,OpenPAI这个项目当前开放出来的内容主要就是一个基础chat交互,能够让使用者直接在交互界面里和大模型对话。这个项目的弱点在于它的功能并不如其他的开源chat交互功能全面(但在未来规划里写到了插件生态、账户管理、权限控制之类的功能),这方面我觉得还是得等他们至少上线了知识库管理能力之后这个部分才是相对完整的;而如果能把智能体构建(尤其是编排形式的智能体,基于prompt工程的倒是关系不大)功能也放进来,那对我来说就真的是一步到位了。
同时不得不说,它的整体设计思路和定位很有特点:OpenPAI是一个可以定制化界面、支持多用户管理的chat,这意味着对团队用户使用、内部业务创新这类有一些非技术需求的场景,OpenPAI更适应场景。
但总归,现在的OpenStation+OpenPAI对于我的同事们来说也算是一步到位的,他们操作越少,这套系统推广的范围就越大,对我来说就越有价值。
