2026.07.29
AI 集群架构
AI 推理平台模型热加载怎么设计：启动风暴、显存占用与版本切换
模型仓库更新不等于实例已可服务，制品校验、加载并发、内存峰值和流量迁移必须形成原子过程。
AI 集群架构 NEWS CENTER
结合训练、推理和存储业务，分析 InfiniBand、RoCE、Leaf-Spine 与 Rail-Optimized 架构的适用条件、产品组合和扩容路径。
-
2026.07.29
-
2026.07.25
AI 集群架构GPU Operator 在集群中负责什么：先划清驱动与编排边界
GPU Operator 用于自动化 GPU 软件组件生命周期，但仍依赖节点操作系统、内核、平台编排和受控版本策略。
-
2026.07.25
AI 集群架构AI 调度如何感知 GPU 与网络拓扑：减少跨域通信绕行
拓扑感知调度应把 GPU、CPU、网卡、交换故障域和作业通信模式映射为可验证的放置约束。
-
2026.07.25
AI 集群架构集体通信流量怎么建模：从并行策略反推网络压力
All-Reduce、All-to-All 与参数同步产生不同流量形态，网络设计应从作业并行策略和阶段时间反推。
-
2026.07.25
AI 集群架构AI 集群可观测性怎么分层：把作业、GPU、主机与网络对齐
有效可观测性应统一作业时间轴，并关联 GPU、CPU、存储、网卡和交换指标，避免孤立看板。
-
2026.07.25
AI 集群架构AI 集群基础服务怎么做冗余：DNS、NTP、镜像仓库都在关键路径
DNS、时间同步、镜像仓库、身份与软件源虽不承载训练流量，却决定节点能否部署、认证和恢复。
常见问题 点击展开 收起
AI 集群应选择 InfiniBand 还是 RoCE？
需要结合训练或推理业务、GPU 规模、时延和扩展效率目标、现有以太网能力、运维团队经验、预算与交付周期判断，不能只比较端口速率。
GPU 利用率低一定是交换机性能不足吗？
不一定。常见问题还包括数据读取慢、CPU 或内存瓶颈、PCIe 与 NUMA 路径不合理、网卡位置错误、线缆或 FEC 异常，以及 NCCL 和 RDMA 参数没有对齐。
文章中的 Leaf-Spine 拓扑可以按端口数直接复制吗？
不能。正式设计还要核算节点数、每节点 GPU 和网卡数量、收敛比、故障域、Rail 划分、上联带宽、布线距离、冗余方式与后续扩容规模。
扩容规划应在什么时候开始？
应在首期设计时完成。交换机端口、机柜位置、光纤与配线、地址和路由、Rail 数量、管理平面以及电力散热都可能限制后续扩容。
WeChat
Profile