15分钟零代码完成Deepseek全参版本的集群服务部署，开源工具OpenStation实践教程

作者

本篇文章介绍一款最新的开源模型部署工具OpenStation及其使用方法。OpenStation是一款快速集群化部署各种大模型的轻量级平台工具，具备零代码、易管理、高性能，易扩展的优势特点，15分钟即可在集群上部署完成DeepSeek-R1全参版服务。


一、OpenStation是什么？ 


1、为什么需要OpenStation


随着AI大模型技术的快速发展，DeepSeek、QwQ等深度思考大模型火爆，各行业的客户都希望在自己的算力集群上快速私有化部署大模型，让大模型以安全、可靠的形式面向企业或者高校的诸多用户提供问答、应用搭建、知识库，然而在部署和管理模型方面，当前的集群部署面临以下问题：


（1） 部署难度大：从框架选型到模型部署，从服务管理到访问控制，需要非常多需要开发、验证工作，拿着大模型部署不起来，服务使用不稳定，难以开展业务。


（2） 算力资源少：在大模型业务验证阶段，能用的算力资源较少，甚至可能影响到服务部署模式选型和性能验证，需要以低算力部署大模型、保障性能。


（3） 业务管理难：私有化服务部署后，随着对服务的测试验证工作推进，管理服务、模型、用户访问甚至集群管理监控都需要妥善处理，而这些工作很可能会落在一个非专职的角色上——降低业务管理复杂度、释放人力，是非常紧迫的需求。


2、 OpenStation的功能优势


OpenStation是一款开源免费的快速集群化部署各种大模型的轻量级平台工具，具备以下几个核心功能特点：


  • 简单易用：通过页面化的操作，仅需几步点击即可快速完成DeepSeek等模型的部署。


  • 标准接口：部署的服务提供标准的OpenAI API兼容接口，方便多种客户端工具快速接入。


  • 高性能：支持SGLang、vLLM及CPU部署方式，支持单机及分布式部署，提供高效灵活的推理引擎能力。


  • 资源管理：通过页面化的操作，实现平台节点资源的快速添加与删除。


  • 负载均衡：提供统一推理服务入口，支持服务无感知的快速扩容和缩容能力。


  • 用户鉴权管理：支持用户维度的API-key鉴权管理，实现推理服务的访问权限控制。


二、使用OpenStation部署模型技术指南


1. 部署安装


1.1 依赖条件


在安装OpenStation之前，首先要确定服务器的操作系统版本为以下其中之一：


1.2 部署


1.2.1 在线一键安装


如果服务器可以接入互联网，在服务器上执行以下命令即可安装OpenStation：


curl -O  https://fastaistack.oss-cn-beijing.aliyuncs.com/openstation/openstation-install-online.shh && bash openstation-install-online.sh  --version 0.6.3


执行命令后，需要根据提示按回车键继续安装，安装程序会下载安装组件；根据网络状况差异，这可能需要等待一定时间。安装过程中，需要输入本机节点IP地址、是否为GPU节点等信息，安装程序会自动完成OpenStation的部署。


1.2.2 离线安装


1.2.2.1下载安装包


OpenStation也提供包含完整组件的离线版安装包，来支持非联网环境的平台部署。



离线安装包下载地址：


https://fastaistack.oss-cn-beijing.aliyuncs.com/openstation/openstation-pkg-v0.6.3.tar.gz


安装包SHA256下载地址：


https://fastaistack.oss-cn-beijing.aliyuncs.com/openstation/SHA256SUM-0.6.3


您可以使用 浏览器下载，或通过 命令行下载：


curl -O  https://fastaistack.oss-cn-beijing.aliyuncs.com/openstation/openstation-pkg-v0.6.3.tar.gzcurl -O  https://fastaistack.oss-cn-beijing.aliyuncs.com/openstation/SHA256SUM-0.6.3


1.2.2.2 安装


将上述包上传至待部署节点后，在待部署节点的安装包路径下，执行


#校验包的完整性

sha256sum -c SHA256SUM-0.6.3


#解压安装包，执行安装过程


tar -xvzf openstation*.tar.gz && cd openstation-pkg-v0.6.3/deploy && bash install.sh


系统会依次要求输入部署节点IP、是否为GPU节点。根据安装包的提示操作即可，整体上并不复杂。


1.3 验证


安装完成后，在浏览器中访问链接：

http://YOUR_NODE_IP:32206，如果部署正确，那么你将会看到这个页面，这代表部署过程顺利结束了。



2. 快速使用


OpenStation平台的功能并不少，这里只演示一下（最重要的）部署DeepSeek-R1模型的操作；更多操作，可以直接在平台里面试一下，或者参考开源平台提供的使用手册、FAQ文档。


Step 1: 进入服务部署


1. 登录 OpenStation 平台，点击 “模型服务” > “新增部署”。


2. 按照页面引导，逐步完成服务部署。



提示：页面提供FAQ说明，解答超参数设置、分布式部署策略等常见问题。


Step 2: 配置服务


1. 选择模型来源


  • 从模型库选择：已在 “模型库” 下载的模型，可直接选择。（OpenStation具备模型管理的功能，下载后的模型可以导入到平台内进行管理）


2. 选择部署节点


  • 单节点部署：选择1个节点，即在该节点部署单个实例。


  • 多节点部署：选择多个节点，平台会自动采用张量并行、流水线并行方式进行分布式部署；多节点部署场景下，平台会自动计算模型资源需求和节点资源的匹配关系、使用的推理引擎。



平台推理引擎支持如下的选择：



OpenStation还支持自定义推理引擎或扩展参数（如显存、并发控制），以优化推理服务的运行效果。


· 可更改推荐推理引擎为自定义推理引擎，但需确保推理引擎与计算资源匹配。


  • 例如，可在GPU节点使用CPU部署，或用vLLM替代SGLang部署服务。


· 如有必要，可选择推理引擎启动时的扩展参数设置：


  • 可配置推理引擎启动参数，传递自定义参数，如：–a avalue –b bvalue


  • 该参数可用于设置显存管理、并发控制、模型数值格式 等高级选项。这部分详细参数说明可以参考 “部署前须知” 的在线手册。


Step 3: 确认并提交


进入 “部署确认” 页面，检查所有配置后，点击 “提交” 即可进行部署。


  • 部署后，可在 “模型服务” 页面查看 服务名称、实例数、Model ID、API访问地址、进度及日志。


  • 点击日志图标，可查看部署进度和错误信息。




服务正常后，即可发起“服务上线通知”或使用页面提示的相关信息使用模型服务。


三、写在最后


除了最核心的模型部署能力之外，OpenStation还支持计算资源管理、用户管理与系统设置功能，让使用者能够更好地管理服务接入、用户使用权限以及通知信息等，降低部署服务后的管理人力消耗。


就笔者的验证过程而言，按照OpenStation给出的操作流程，可以在15分钟左右完成DeepSeek-R1满血版大模型的部署（获得URL、APIkey，进而可以对接Chat工具），推理速度符合我的预期（算力实际上还是根本问题）。


我并不能确定性地验证OpenStation对模型推理速度的提升效果，但可以直观地感受到，OpenStation提供了用户管理功能，这和大部分面向单用户管理使用的开源服务部署管理工具在设计思路上有所区别——当我需要把领导安排的“部署R1服务并让部门同事使用，管理这个事情交给你了”这种任务多快好省地完成时，OpenStation确实是一个很合理的选择。


另外，基于对OpenStation的架构的理解，它没有使用K8S，整体上是一个比较简单的架构，这意味着理论上它的可扩展性、资源消耗、后续维护都更加容易。在操作手册中给出了“集群扩容”的相关操作，这可能对有些用户是有价值的——测试服务器有限，要承接各类测试活动。但业务领域的大模型创新一开始可能只有CPU服务器跑通流程，之后再上新的GPU服务器，一个简单易扩展的架构对“负责AI基础设施管理”的员工是很有价值的。


在Gitee开源平台快速可以了解该项目的说明文档、获得更多使用方法并提问互动：


使用手册：


https://gitee.com/fastaistack/OpenStation/blob/master/docs/OpenStation%E7%94%A8%E6%88%B7%E6%89%8B%E5%86%8C.md


CherryStudio、ChatBox接入OpenStation服务的配置方法：


https://gitee.com/fastaistack/OpenStation/blob/master/docs/OpenStation%E5%AF%B9%E6%8E%A5CherryStudio%E3%80%81Chatbox%E9%85%8D%E7%BD%AE%E6%8C%87%E5%8D%97.md


FAQ：


https://gitee.com/fastaistack/OpenStation/blob/master/docs/OpenStation%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E6%89%8B%E5%86%8C.md

（文：开源AI项目落地）

发表评论