2026.08.02
AI 集群架构
检查点恢复风暴怎么控制：并发读取要服从存储和网络预算
节点批量重启会让所有 rank 同时拉取权重，恢复路径需要缓存、分组和完整性校验。
AI 集群架构 NEWS CENTER
结合训练、推理和存储业务，分析 InfiniBand、RoCE、Leaf-Spine 与 Rail-Optimized 架构的适用条件、产品组合和扩容路径。
-
2026.08.02
-
2026.08.02
AI 集群架构大模型推理准入怎么按 Token 治理：请求数不能代表真实负载
长短请求的 KV Cache、计算时间与队列占用差异很大，限流必须理解 Token 成本。
-
2026.08.02
AI 集群架构弹性分布式训练成员变化怎么管：扩缩容必须先定义状态边界
Worker 数量变化会影响 rendezvous、数据分片、优化器和检查点，不能只验证进程重新拉起。
-
2026.08.02
AI 集群架构训练检查点写入突发怎么削峰：计算停顿只是问题的一半
检查点会同时冲击 GPU 主机、存储网络和元数据服务，需要用分层缓冲与回压控制。
-
2026.07.31
AI 集群架构AI 集群遥测风暴怎么防：采集面不能反过来拖垮控制面
节点、GPU、网卡和交换端口高频上报时，查询、标签和告警聚合本身会成为共享基础设施负载。
-
2026.07.31
AI 集群架构GPU 集群容器镜像分发怎么扩展：避免节点同时拉取压垮管理网
大镜像、批量扩容和故障重建会形成突发流量，仓库、副本、缓存和调度节奏必须协同。
常见问题 点击展开 收起
AI 集群应选择 InfiniBand 还是 RoCE？
需要结合训练或推理业务、GPU 规模、时延和扩展效率目标、现有以太网能力、运维团队经验、预算与交付周期判断，不能只比较端口速率。
GPU 利用率低一定是交换机性能不足吗？
不一定。常见问题还包括数据读取慢、CPU 或内存瓶颈、PCIe 与 NUMA 路径不合理、网卡位置错误、线缆或 FEC 异常，以及 NCCL 和 RDMA 参数没有对齐。
文章中的 Leaf-Spine 拓扑可以按端口数直接复制吗？
不能。正式设计还要核算节点数、每节点 GPU 和网卡数量、收敛比、故障域、Rail 划分、上联带宽、布线距离、冗余方式与后续扩容规模。
扩容规划应在什么时候开始？
应在首期设计时完成。交换机端口、机柜位置、光纤与配线、地址和路由、Rail 数量、管理平面以及电力散热都可能限制后续扩容。
WeChat
Profile