NVLink 与 PCIe 分别解决什么问题：多 GPU 数据路径怎么判断 NEWS DETAIL

PCIe 是服务器内连接 GPU、网卡、存储和 CPU 的通用 I/O 路径；NVLink 则在受支持的平台和 GPU 组合中提供面向 GPU 通信的高速互连。两者不是简单替代关系，多 GPU 应用能否受益，取决于数据是否跨卡、实际链路拓扑以及软件是否使用了对应路径。

先确认应用为什么需要跨卡

数据并行会交换梯度，模型并行和流水线并行会传输激活或参数，独立推理实例则可能几乎不发生跨卡通信。只有先测出消息大小、频率和同步方式，才能判断互连是否成为瓶颈。不能仅凭“多卡服务器”就推导出必须采用某种互连。

服务器标称配置不能代替拓扑核验

同样的 GPU 数量可能对应不同 PCIe 交换、CPU NUMA 和互连结构。应取得整机拓扑输出，检查 GPU 到 GPU、GPU 到网卡以及 GPU 到 CPU 内存的路径。跨 CPU 插槽或共享上行链路可能改变可用带宽，也会影响网卡亲和性和进程绑定。

用通信测试连接到业务结果

先运行点对点与集合通信测试，再运行代表性训练或推理任务，分别记录链路带宽、NCCL 算法、GPU 利用率和端到端时间。若业务主要受显存容量、CPU 预处理或存储限制，更高的卡间互连不会自动解决其他瓶颈。

项目核验要点

• 获取目标整机的官方拓扑和支持配置，不用相似机型替代。
• 区分卡间、卡到网卡、卡到主存三类数据路径。
• 固定 NUMA 绑定、软件版本和消息大小后再比较结果。
• 同时保留单卡基线，确认多卡扩展收益来自哪里。

选型时应把互连方式写进整机级配置，而不是只写 GPU 型号。通过拓扑、通信基准和实际应用三层证据，可以判断额外互连能力是否真正对应业务瓶颈。