RoCE LAG 是否有效，不能只看链路成员处于 up 状态，也不能只看总吞吐增加。应先确认两端聚合配置和 RDMA 连接在变更前后保持一致，再以多流分布、单流尾延迟和错误计数共同判断。最重要的边界是：链路数量增加不保证单条 RDMA 流自动均衡；多数聚合机制按哈希将一个流固定映射到某一成员链路，单流可能始终只走其中一条路径。
先界定要验证的能力
RoCE LAG 的目标通常是让多个可区分的流量实体分散到聚合成员，从而提高汇总可用带宽或降低热点概率，而不是把一个既有 RDMA 流拆成多条成员链路并行发送。实际行为取决于网卡驱动、固件、主机网络栈、交换机聚合模式和哈希字段。部署前应以现场软硬件版本的官方支持矩阵与配置说明为准，并从 NVIDIA Networking Documentation 核对对应产品、操作系统和发行版本的限制。未明确支持的组合，不应仅凭以太网 LAG 已工作便推定 RoCE 也适用。
连接一致性是前置条件
在任何压力测试前，记录两端的聚合名称、成员端口、速率、MTU、VLAN 或网络命名空间、IP 地址、路由、PFC 与 ECN 等拥塞相关策略，以及 RDMA 设备和 GID 选择。两端的二层聚合协商、三层可达性和 RoCE 相关网络策略必须形成可解释的端到端路径。尤其要检查活动成员集合是否对称、是否存在备用口被误计入，以及变更后源地址或出接口是否改变。连接已经建立时再切换聚合成员，可能导致连接重建、短暂不可达或路径选择变化；业务对连接连续性有要求时，应在维护窗口内分批验证。
把哈希规则变成可观察对象
要求网络与主机团队明确哈希输入，而非使用“应该会均衡”的描述。常见输入包括源/目的 MAC、IP、传输层端口或其他可用字段，但具体采用哪些字段由设备能力和配置决定。若多个 RDMA 任务共享相同的五元组或等价哈希键，它们可能被映射到同一成员，造成总链路利用率不均。反例是：单个长生命周期队列对或单条大流即使持续满载，也可能稳定占用一条链路；这不是 LAG 故障，而是每流一致性与哈希粒度的结果。验证应通过创建具有不同地址、端口或会话标识的并发流，观察分流趋势，而不应以复制同一单流的采样结果代替。
按变更窗口执行验证
- 在变更前保存主机和交换机配置、成员状态、端口计数器及基线业务指标，并确认可以恢复原有单链路或原聚合配置。
- 先在低风险环境建立少量 RDMA 连接，记录连接建立成功率、连接保持时间、完成错误和重传或超时类事件；同时验证预期的 VLAN、路由和 MTU。
- 逐步增加具有不同哈希键的并发流，分别采集每个成员口的字节、包和丢弃计数，确认流量分散是可重复的，不以瞬时利用率判断。
- 在受控条件下对单个成员做维护级故障演练，观察现有连接、业务恢复时间和错误事件。若业务语义不允许中断，不能把成员故障切换当作无损承诺。
- 完成后将配置快照、流量分布和延迟结果关联到具体版本、时间与拓扑，供后续扩容或故障定位复用。
同时看吞吐与单流尾延迟
总吞吐只能说明多流工作负载可能受益，不能证明关键单流得到改善。应区分聚合总带宽、多流公平性、单流带宽、请求完成时间分位数和连接错误率。对时延敏感业务，重点比较变更前后同一负载下的高分位完成时间，并按流和成员口关联观察；平均值稳定但尾延迟变差，往往意味着哈希热点、队列积压、拥塞控制不一致或成员状态抖动。采样窗口应覆盖稳定负载和切换事件，避免只截取短时峰值。不同工具的时间单位、采样位置与统计口径必须统一，否则结果不可横向比较。
用管理面发现不一致
管理系统可用于交叉核对拓扑、端口健康与告警时间线，但不应替代端到端业务测试。若环境使用 UFM，应依据 NVIDIA UFM Enterprise User Manual 中与已部署版本匹配的功能范围，检查设备发现、事件、遥测和告警配置是否可用。对版本、许可状态、采集范围或展示字段有疑问时，应在管理界面与现场设备输出之间复核。把成员 flap、链路错误、拥塞事件与应用尾延迟放在同一时间轴上，通常比仅查看端口是否亮起更能定位问题。
出现异常时的回退路径
当连接建立失败、完成错误增加、单流尾延迟恶化或分流明显偏离预期时，先停止扩大负载，保留计数器和日志，再按影响面回退。优先恢复变更前已验证的成员集合、哈希策略和网络策略；若问题仍在，则恢复原有单链路路径，并重新建立受影响的 RDMA 连接。不要在生产压力下同时修改 MTU、PFC、ECN、路由和聚合策略，否则无法归因。回退后以基线工作负载确认连接稳定和错误计数恢复，再逐项引入变更。对于无法解释的成员不对称、持续 flap 或版本行为差异，应暂停上线，按官方文档和现场支持渠道完成复核。
形成可复用的验收结论
验收结论应明确写出测试拓扑、软件与固件版本、聚合及哈希配置、并发流构造方式、成员分布、单流与多流指标、故障演练结果和已知限制。只有当多流分布符合预期、连接无新增异常、关键尾延迟满足业务目标且回退已演练，才能说明当前场景下的 RoCE LAG 可用。它仍不等同于保证任意单条 RDMA 流均衡，也不能替代容量规划和持续监控。
WeChat
Profile