RoCE 节点之间小包 Ping 正常、RDMA CM 也能建立，并不说明大报文路径完整。主机接口、VLAN 子接口、bond、交换端口、隧道或安全设备只要有一处有效 MTU 更小，就可能丢弃无法处理的帧。问题常在某个消息尺寸、方向或重路由后出现，表现为 RDMA 超时、重试或吞吐突然下降，而普通管理流量仍然正常。
定位时应把 IP MTU、以太帧开销和 RDMA 路径参数分开记录，沿实际转发路径逐跳核对。使用带 DF 的分档探测只能帮助发现 IP 路径边界，最终还要用 RDMA 工具和真实应用验证。修改 MTU 前保存所有端口、VLAN 与叠加封装状态，避免通过全网统一改大引入新不兼容。
先锁定真实源、目的与路径
记录应用使用的 GID、IP、VLAN、bond 成员、VRF 和路由，确认正反方向是否经过相同设备。多轨或 ECMP 环境固定流标识并测试多组哈希。不要根据管理口路径推断 RDMA 业务口，也不要遗漏容器网络或隧道封装。
建立逐层 MTU 账本
列出物理网卡、bond、VLAN、bridge、容器接口、交换端口、SVI 和隧道的配置与 oper MTU，计算每层封装开销。账本使用实际读取值而非设计表。两端看似相同仍可能有中间链路或分拆端口继承了较小值。
按尺寸和方向逼近边界
从小到大使用禁止分片的 IP 探测，再运行 RDMA 带校验测试，记录成功边界、错误、重试和计数器增量。分别测试 A 到 B、B 到 A、不同端口和多并发。突然跨过某尺寸失败，比一次最大包超时更有定位价值。
计数器帮助定位丢弃位置
关联主机网卡、交换入口/出口、隧道和应用错误，观察 oversize、discard、buffer 与 RDMA 重传相关增量。计数器名称和语义按设备版本确认。没有计数增长也不证明无黑洞，可能是中间设备未暴露或采样窗口不对。
修复后覆盖路径变化
统一目标 MTU 或调整封装后，重复尺寸、方向、ECMP 和故障切换测试，确认备用路径也满足。重启接口与节点验证配置持久化。若只能降低端点 MTU，评估对性能和其他业务的影响，并保留原配置回退。将测试边界写入新节点准入，扩容、换线或增加隧道时自动触发同一组分档检查。
实施前的验证序列
- 固定 GID、VLAN、VRF、路由、bond 与正反向实际路径。
- 逐层读取物理、虚拟、交换与隧道 MTU 和封装开销。
- 用 DF 探测和 RDMA 校验按尺寸、方向、多路径测试。
- 关联主机、交换、隧道计数器与应用超时。
- 修复后演练 ECMP、备用路径、重启持久化和回退。
适用版本与技术边界
NVIDIA 网络文档介绍 RoCE 配置、GID、优先级与相关运行信息。
RDMA 路径 MTU 由端点、网络设备、封装与软件组合共同决定，必须逐跳核对实际值。
文中机制与配置边界依据NVIDIA RoCE 文档的当前版本核对；官方说明用于确定候选条件，实际部署仍需结合完整料号、服务器支持清单、软件组合与现场测试。
项目实施中的能力边界
中科新远是 NVIDIA Networking Elite 合作伙伴。中科新远可结合 ConnectX、Spectrum-X 与服务器网络栈协助建立逐跳 MTU 账本、尺寸测试和故障路径复测，使修复有端到端证据。具体合作范围和项目交付内容以当前有效资质、官方目录及书面确认结果为准。
两端主机都配置 MTU 9000，为什么 RoCE 仍可能出现 MTU 黑洞？
中间交换端口、VLAN、隧道、bond 子接口或备用路径可能更小；还需考虑封装开销并逐跳读取实际状态。
WeChat
Profile