应当分层。API 网关处理来自用户、应用和外部系统的南北向访问，其控制面特征与训练集群依赖的 RDMA 数据面并不相同。将认证、鉴权、协议转换、限流或日志采集直接压入训练 Fabric，会把业务流量的突发性、策略变更和安全事件带入对时延、拥塞和通信路径稳定性敏感的训练通信域。
两类流量的目标不同
南北向流量通常从企业网络、开发平台或业务服务进入集群，需要识别调用方身份、判断权限、记录访问行为，并可能面临重试、突发请求和应用层协议差异。API 网关适合成为这一入口的统一执行点。训练数据面则主要服务于节点之间的横向通信，关注的是通信拓扑、路径一致性、拥塞控制和故障收敛。NCCL 的能力范围与使用约束应以 NCCL User Guide 为准，它描述的是面向多 GPU、多节点通信的软件通信库，而非对外业务访问网关。
为什么认证不应落到训练路径
认证和授权本身不是问题，问题在于它们进入了承载训练通信的路径。令牌校验、证书轮换、策略下发、审计导出和异常阻断都会引入额外依赖与变更窗口。即使这些能力在业务入口有效，也不意味着适合置于每条训练通信链路之中。训练任务需要的访问控制，应优先在作业提交、镜像与数据访问、节点准入、网络分区和管理接口等边界完成；运行中的 RDMA 通信则保持在已授权工作负载的受限网络域内。
决策对照：入口控制与训练 Fabric
| 维度 | API 网关所在的南北向入口 | RDMA 训练数据面 |
|---|---|---|
| 主要对象 | 用户、应用、自动化调用方 | 已调度训练任务中的节点与加速器通信 |
| 主要职责 | 认证、授权、配额、限流、审计和路由 | 高效横向通信、拓扑一致性与拥塞隔离 |
| 变更节奏 | 随业务接口和安全策略调整 | 应受控、预演并避免频繁扰动 |
| 故障处理 | 可按调用方、接口或租户降级 | 优先限制在作业、节点或网络分段内 |
| 不宜承担 | 训练集合通信的转发路径 | 外部 API 暴露、通用业务代理和复杂认证链 |
混用后的失败边界
把业务访问流量直接混入训练 Fabric，会扩大故障与变更影响。例如，某个开放接口遭遇突发调用，入口侧的重试或日志压力可能与训练流量争用网络资源；一次网关规则、证书或观测代理升级，也可能改变原本稳定的通信路径。更严重的是，外部可达面被引入训练网络后，排障范围从训练作业扩展到身份系统、代理配置和业务客户端。此方案只在隔离不足、临时验证等极窄场景中勉强存在，且不能把“能连通”视为适合生产训练。
推荐的分层落点
将 API 网关放在业务入口或管理服务前方，后端连接作业编排、模型服务、元数据、对象存储控制接口等需要应用层治理的服务。训练节点的 RDMA 接口应处于独立或严格分段的网络域，仅允许经过调度和准入的节点参与。管理网络、存储网络与训练网络是否采用物理分离或逻辑隔离，需要结合设备能力、路由策略和现场风险判断。DGX SuperPOD 的网络设计和部署边界可参考 NVIDIA DGX SuperPOD Reference Architecture，具体版本、硬件和网络配置仍须按官方文档及现场环境复核。
按变更风险实施
- 先绘制流量清单，标明外部调用、控制接口、存储访问、节点管理和训练横向通信的起止点。
- 为南北向入口定义身份源、授权策略、限流阈值与审计留存范围，不将网关设为集合通信中继。
- 为训练 Fabric 定义可达节点集合、VLAN 或路由边界、访问控制规则及管理责任人。
- 在隔离环境运行代表性训练作业，同时注入入口侧负载和策略变更，确认两者没有共享关键转发路径。
- 分批切换，保留旧入口和已验证的 Fabric 配置，避免网络、认证与训练框架在同一窗口同时变更。
用指标验证边界是否生效
验证不应只看接口可用。南北向侧观察认证失败率、限流命中、请求延迟、错误码分布和审计完整性；训练侧观察作业启动成功率、通信错误、训练步骤耗时波动、节点掉线及网络端口错误。还应在业务流量升高、认证策略刷新和网关实例滚动时，对比训练作业的通信稳定性。指标阈值应以既有基线、任务类型和现场容量规划确定，不能脱离硬件与软件版本套用固定数值。
回退要独立于训练链路
上线前应准备可执行回退：网关策略异常时，回退到已验证的入口配置或暂停受影响接口；训练网络变更异常时，恢复先前的网络分段、路由与访问控制配置，并停止继续扩大切换范围。回退过程中不要临时把业务流量导入训练 Fabric 来维持服务，因为这会掩盖问题并继续扩大影响面。将入口与数据面解耦，才能让业务访问的恢复与训练任务的稳定性分别处置。
WeChat
Profile