2026.08.10
AI 集群架构
推理 KV Cache 解耦怎么设计：网络路径要围绕命中和回收建模
以命中率、远端往返和回收闭环为核心，设计可回退的 Prefill/Decode 缓存解耦路径
AI 集群架构 NEWS CENTER
结合训练、推理和存储业务，分析 InfiniBand、RoCE、Leaf-Spine 与 Rail-Optimized 架构的适用条件、产品组合和扩容路径。
-
2026.08.10
-
2026.08.10
AI 集群架构LLM 请求路由怎么利用缓存亲和性：负载均衡不能只看 GPU 利用率
以会话状态和 KV 缓存位置约束路由，在吞吐、尾延迟与资源均衡之间建立可回退的策略。
-
2026.08.10
AI 集群架构梯度累积能缓解网络压力吗：同步频率下降不等于训练更快
降低同步次数可以缓解通信瓶颈，但必须同时核算有效批量、显存占用、优化器步数与端到端吞吐。
-
2026.08.10
AI 集群架构Pipeline Parallel 失衡怎么定位：阶段空闲要和微批调度一起看
从时间线拆分计算、通信与调度等待，识别真正限制流水线吞吐的阶段，并在扩微批前完成验证。
-
2026.08.10
AI 集群架构AI 集群 DNS 怎么做韧性：服务发现故障不应拖垮训练数据面
以分层缓存、明确故障域和数据面降级，避免服务发现异常扩散为训练中断。
-
2026.08.10
AI 集群架构API 网关与 RDMA Fabric 为什么要分层：南北向访问不能污染训练数据面
将身份与业务访问控制留在南北向入口，把训练通信限定在可预测、可验证的 RDMA 数据面。
常见问题 点击展开 收起
AI 集群应选择 InfiniBand 还是 RoCE？
需要结合训练或推理业务、GPU 规模、时延和扩展效率目标、现有以太网能力、运维团队经验、预算与交付周期判断，不能只比较端口速率。
GPU 利用率低一定是交换机性能不足吗？
不一定。常见问题还包括数据读取慢、CPU 或内存瓶颈、PCIe 与 NUMA 路径不合理、网卡位置错误、线缆或 FEC 异常，以及 NCCL 和 RDMA 参数没有对齐。
文章中的 Leaf-Spine 拓扑可以按端口数直接复制吗？
不能。正式设计还要核算节点数、每节点 GPU 和网卡数量、收敛比、故障域、Rail 划分、上联带宽、布线距离、冗余方式与后续扩容规模。
扩容规划应在什么时候开始？
应在首期设计时完成。交换机端口、机柜位置、光纤与配线、地址和路由、Rail 数量、管理平面以及电力散热都可能限制后续扩容。
WeChat
Profile