InfiniBand Subnet Manager 的路由引擎或参数发生变化后，Fabric 仍可能很快回到 Active，所有节点也能互相通信，但大量 LID 对应的路径已经重排。新路径可能改善某些通信模式，也可能把训练轨道集中到少数链路，或改变故障时的替代路线。只检查拓扑无断链和 SM 正常，无法证明变更对真实作业安全。
验收要在变更前保存拓扑、路由、端口计数、SM 配置和代表性作业基线，变更后生成路径差异并解释。测试从静态连通扩展到多组通信矩阵、集合通信、背景流和链路故障，观察链路负载与作业尾部。对于长时间训练，要明确重路由是否要求维护排空，避免在生产作业中直接试验。
变更对象必须精确到配置摘要
记录主备 SM、UFM/OpenSM 版本、路由引擎、所有非默认参数、拓扑和配置文件摘要。若同时升级软件和改变算法，应拆分试点或保留足够对照。确认备用 SM 使用相同批准配置，避免主备切换时路由策略意外变化。
用路径差异而非端口 Up 验收
对代表性源目的和 GPU 轨道保存变更前后路径，统计跳数、链路分布和共同故障点。拓扑规模较大时使用采样与关键通信矩阵，但保留完整路由快照供回溯。异常集中需要在压力测试前解释。
负载覆盖实际集合通信形态
运行多消息大小、rank 数、AllReduce/All-to-All 及多个作业并发，关联端口利用、拥塞、错误和作业 step。平均总带宽可能掩盖单轨热点。保留 NCCL 或框架拓扑信息，确保作业放置与网络测试一致。
故障测试验证替代路径
在受控环境下退出单链路、单交换节点或切换 SM，观察路由收敛、路径变化、作业错误和恢复时间。恢复链路后确认不会形成持久不平衡。故障注入必须在维护或测试 Fabric 中进行，并有立即停止条件。
回退需要恢复路由与状态
保存旧引擎、参数与软件组合，验证回退后 Fabric 和路径回到预期范围。路由重算可能影响运行连接，回退窗口按同等级变更安排。变更完成后持续监控一段长作业周期，再扩大范围。
上线门禁需要哪些证据
- 保存 SM/UFM 版本、引擎、参数、拓扑和配置摘要。
- 生成代表性与完整路由快照的前后差异。
- 运行多集合、多消息、轨道与多作业并发负载。
- 演练链路/交换故障、SM 切换和恢复后的路径。
- 验证旧组合回退并观察完整长作业周期。
版本条件决定实施范围
NVIDIA UFM 文档覆盖 InfiniBand Fabric 管理、监控和相关配置能力。
可用路由算法、参数与行为取决于 UFM/OpenSM、交换平台和软件版本，变更前需核对对应文档。
文中机制与配置边界依据NVIDIA UFM 文档的当前版本核对；官方说明用于确定候选条件，实际部署仍需结合完整料号、服务器支持清单、软件组合与现场测试。
中科新远的协同范围
中科新远是 NVIDIA Networking Elite 合作伙伴。中科新远可结合 UFM、Quantum InfiniBand 与 GPU 通信矩阵协助保存路由证据、执行压力和故障回退测试。具体合作范围和项目交付内容以当前有效资质、官方目录及书面确认结果为准。
路由引擎变更后 Fabric 全部端口 Active，是否说明可以结束维护？
不能。还要比较路径差异、热点、集合通信、故障替代路径和长作业表现，并确认主备 SM 配置一致。
WeChat
Profile