AI 集群选择 InfiniBand 还是 RoCE：从业务目标到运维能力的判断方法

InfiniBand 和 RoCE 都能为 AI 集群提供 RDMA 能力，但它们对应的网络体系、拥塞管理和运维路径不同。选型不应从“哪个更快”开始，而应先定义训练或推理业务的通信特征、节点规模、扩展效率目标和团队能够长期维护的技术边界。

先确认业务是否真正受网络限制

需要记录单节点基线、跨节点通信比例、消息大小、并行方式、数据读取路径和目标 GPU 利用率。若瓶颈来自数据预处理、存储、CPU、PCIe 或 NUMA，升级交换网络未必解决问题。网络方案应以端到端基线为依据。

InfiniBand 从网卡、交换机、子网管理到拥塞机制形成统一体系，适合希望按成熟参考架构建设独立计算网络的团队。项目仍需核对拓扑、端口、线缆、固件、子网管理、高可用和监控，不应把专用网络理解为无需设计。

RoCE 可以利用以太网生态，但低损耗目标需要交换机、网卡、QoS 映射、ECN、拥塞控制和缓冲策略协同。它适合具备数据中心以太网经验、希望统一运维体系或需要与现有网络衔接的环境，同时要求更严格的参数和变更管理。

正式决策前，应让同一业务在候选方案上完成单节点、双节点和多节点递增测试，同时记录 NCCL、RDMA、错误计数和长时间稳定性。技术选择应落到可复核的验收指标，而不是品牌或协议偏好。