NVIDIA 宣布将完整的 NVIDIA Run:ai 平台以开源软件形式发布，作为 NVIDIA DSX AI Factory 平台的一部分。客户、开发者与生态伙伴由此可以直接获得此前以商业产品交付的生产级 AI 工作负载与 GPU 编排能力，并在其之上构建自己的产品与服务。
过去几年，Run:ai 的主要用途是在 Kubernetes 上大规模运行 AI 负载：动态分配 GPU 资源，并管理从数据处理、训练到推理的完整生命周期。开源后，完整源码托管在 GitHub 的 NVIDIA DSX AI Factory 组织下（dsx-ai-factory/run-ai），同时以 Community Product 形式上架 NVIDIA NGC，并提供用于安装整套栈的 Helm chart。NVIDIA 说明，使用该 Community Product 无需付费订阅或支持权益，但其中不包含 NVIDIA 企业级支持。
此次开源包含四个可独立采用的核心组件：KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 与 Workload Map。平台团队既可以整体部署 Run:ai，也可以只取其中一个组件嵌入现有平台。其中 KAI Scheduler 是支撑 Run:ai 的 Kubernetes 原生调度器，以 Apache 2.0 许可证开源，并已作为 Sandbox 项目捐献给 CNCF，后续调度器开发都在社区仓库进行。它面向大规模 GPU 负载，支持带预调度内存模拟的 gang scheduling、公平份额与配额分配（含基于时间的公平份额）、拓扑感知与装箱、GPU 共享（MIG、MPS、时间片、HaMi 以及 CUDA 13.4 的 MPS 分片），并支持动态资源分配（DRA）。KAI Resource Management 则补上组织层：用项目与部门映射资源归属，在组织层级上做配额、保障与共享，并通过节点池把异构硬件匹配到合适的负载。
GPU 分片是 Run:ai 长期提供的能力，可让多个负载共享同一块 GPU 并获得硬性显存隔离，常用于交互式 Notebook 与较小模型的推理。此次开源后，原有的专有实现退役，改由 CUDA 13.4 的原生分片能力承担：CUDA 驱动对每个工作负载施加显存硬限制，负载只能看到分配给自己的那部分显存。GPU Fractioning Operator 负责把这项能力接到 Kubernetes 上，并提供按 Pod 暴露分片使用情况的指标导出器；它与调度器无关，也可以和 KAI Scheduler 配合，把可用 GPU 容量转化为实际的放置决策。
Workload Map 是 Run:ai 用来支持各类工作负载的契约层。Kubernetes 上的 AI 负载往往是 PyTorchJob、RayCluster、JobSet、KServe InferenceService、Dynamo 图部署或企业自研 CRD，结构、组件角色、扩缩容与状态上报方式各不相同。Workload Map 以 Go 库形式提供，可离线处理非结构化对象，统一描述 Pod、组件与角色，并支撑提交、gang 与拓扑感知调度、状态观测和策略执行，避免每个工具为每种 CRD 单独做私有集成。
生态侧，Crusoe、Mirantis、Nebius、OpenNebula、Rafay、Saturn Cloud、Spectro Cloud 与 vCluster 已分别宣布集成：有的把 Run:ai 接入托管 Kubernetes，有的做成 AI 云上的一键应用或全托管服务，也有的通过预校验部署模板强化租户隔离。配套开源项目 Model Streamer 则通过并发读取并直接把权重流入 GPU 显存来压缩冷启动时间，已在 vLLM、SGLang 与 ModelExpress 中集成；Azure 公布的基准显示，在 8 台 H100 虚拟机上加载速度为默认方式的 3 至 6 倍，带宽稳定在 80 Gbps，而默认路径约为 40 Gbps。对于需要 NVIDIA 支持的正式生产环境，Run:ai 仍可通过独立产品、NVIDIA Mission Control 与 NVIDIA AI Enterprise 等商业方案获得。
WeChat
Profile