NVIDIA AI Enterprise 助力九州未来构建 MaaS 大模型一体化平台

一、方案背景与核心挑战

浙江九州未来信息科技有限公司是国内首批提供 OpenStack 云服务的企业，在中国边缘云解决方案市场中位列第二，基于 10 年技术积累为客户提供成熟的云基础设施和 AI 智算中心解决方案。围绕算力效率及成本优化目标，九州未来在传统裸算力的简单资源管理方式基础上，通过软件定义精算力，在模型训练效率、硬件资源利用率、算法优化及部署简化等方面实现技术突破。核心挑战：随着垂直领域大模型持续发展，企业在数据安全性与私密性、模型工具链及平台的通用性和可靠性、模型上线部署的易用性及推理性能等方面提出了更多诉求，如何在保护数据安全的同时兼顾灵活的算力调度与供给，成为平台建设的关键。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA AI Enterprise 的九州未来 MaaS 大模型一体化平台

平台架构：平台端到端包含 Animbus PaaS 平台（集成 NVIDIA GPU Operator 和 Network Operator）、NVIDIA AI Enterprise 软件套件（包括 NeMo Framework Training Container 与 Inference Container）、MaaS 大模型服务及应用 UI 交互界面。以上所有软件及对应操作系统镜像会打包到一个 U 盘中，实现一个 U 盘即可快速启动大模型一体机服务。平台同时支持云端部署和私有化部署，通过自研算力调度平台软件实现云端资源与大模型一体机的算力协调与开发协同。

三、核心技术组件

NeMo Framework 加速行业大模型开发：九州未来团队使用 NVIDIA AI Enterprise 中的 NeMo Framework——一款面向企业级交付、云原生的端到端大模型框架，灵活构建、定制和部署生成式 AI 模型。平台承载了大模型精选体验并结合行业知识快速导入能力，支持基础大模型仓库、SFT/PEFT/提示词工程、推理优化及一键部署、知识导入及向量数据库服务等功能。

推理优化与一键部署：平台基于基础模型训练后的行业大模型，使用相关行业数据进行微调或导入知识检索能力，再通过 NVIDIA TensorRT-LLM 及 NVIDIA Triton 推理服务器完成推理优化与一键部署，为特定行业提供高质量、高性能的大模型 AI 应用。

四、实施成果

九州未来自主研发的“软件+硬件+服务”一体化大模型一体机深度集成 NVIDIA AI Enterprise 平台，大模型微调和推理性能相比开源推理框架有大幅提升。通过 NVIDIA AI Enterprise 整体软件栈的加速，在相同交互性能下平台的推理时延与吞吐均获得明显改善。九州未来创始人兼 CEO 张淳表示：“AIGC 促进智能算力爆发式增长，并正加速迈入全面应用时代，今后一定不是裸算力简单的资源管理方式，一定需要用软件定义精算力来多元化地管理并提升 GPU 的附加价值，助力加速垂直模型和应用落地的效率。”

五、未来展望

面向行业大模型从开发到落地的全链路需求，九州未来将持续与 NVIDIA 合作，以软件定义算力提升 GPU 附加值，加速垂直模型与应用的规模化落地。