模型和数据规模
模型参数量、上下文长度、训练或推理框架、数据集大小、精度和目标吞吐。
不同工作负载的采购重点
先判断业务目标，再决定 GPU、服务器、网络和软件组合。
| 工作负载 | 优先确认 | 采购提醒 |
|---|---|---|
| 大模型训练 / 微调 | 显存容量、GPU 数量、跨卡带宽、NVLink / NVSwitch、存储吞吐和高速网络。 | 重点评估 HGX / DGX 类系统、InfiniBand 或 RoCE 网络、并行训练和稳定性测试。 |
| 推理 / RAG | 并发、时延、上下文长度、显存占用、批处理、向量库访问和部署密度。 | 不一定需要最高规格训练服务器，可能更关注单卡效率、功耗、软件栈和运维成本。 |
| HPC / 仿真 / 渲染 | 计算精度、CPU 与内存、I/O、GPU 通信、软件兼容和调度系统。 | 需要提前确认应用认证、驱动版本、作业调度、存储和网络拓扑。 |
BOM NOTE
GPU 型号只是采购清单的一部分，不是完整方案。
同样写着 NVIDIA GPU 的服务器，可能在 SXM/PCIe、GPU 数量、NVLink、CPU、内存、NVMe、网卡、电源、风冷或液冷、软件授权、维保和交付版本上完全不同。采购前需要让供应商输出完整 BOM 和验收口径，而不是只报 GPU 型号和数量。
关键参数怎么核对
GPU 服务器要和机房、电力、网络、存储和软件环境一起评估。
| 检查项 | 要确认的问题 | 容易遗漏的风险 |
|---|---|---|
| GPU 与互连 | GPU 型号、数量、显存、SXM/PCIe、NVLink/NVSwitch、MIG 或虚拟化需求。 | 只看单卡性能，不看跨卡通信、显存容量和目标模型能否装下。 |
| CPU / 内存 / 存储 | CPU 路数、核心数、内存容量、NVMe 数量、RAID、系统盘和数据盘规划。 | GPU 等待数据，训练或推理吞吐被 CPU、内存或存储拖慢。 |
| 网络与集群 | InfiniBand、RoCE 或高速以太网，网卡数量、端口速率、交换机和光模块。 | 服务器到货后才发现集群网络、线缆距离或交换机端口不匹配。 |
| 电力与散热 | 整机功耗、PDU、机柜承载、风道、风冷/液冷、冗余电源和机房余量。 | 机房无法承载高密 GPU 服务器，导致降频、宕机或延期上线。 |
| 软件与服务 | 驱动、CUDA、容器、NVIDIA AI Enterprise、集群调度、监控和维保 SLA。 | 硬件已到货但软件栈、授权、镜像、运维边界和服务响应没有确认。 |
PoC 前需要准备哪些信息
采购前把测试目标定义清楚，才能判断候选配置是否真的适合项目。
候选服务器配置
GPU 数量、显存、CPU、内存、NVMe、网卡、操作系统、驱动和容器版本。
集群网络和存储
交换机、网卡、端口速率、光模块、线缆距离、存储吞吐和并发访问方式。
验收指标
吞吐、时延、GPU 利用率、显存占用、稳定性、功耗散热、故障恢复和上线窗口。
采购 FAQ
以下问题适合在询价前快速统一口径，避免只按 GPU 型号沟通。
只知道要买 H100、H200 或 B200 可以报价吗？
可以初步沟通，但不适合直接定案。还需要确认服务器形态、GPU 数量、显存、互连、CPU、内存、存储、网络、功耗、软件和交付版本。
推理服务器一定要选最高规格 GPU 吗？
不一定。推理更看并发、时延、显存占用、模型量化、部署密度和成本。很多项目需要按目标模型和 QPS 做测试后再定配置。
GPU 服务器为什么要同步看网络？
多机训练、分布式推理、RAG 和存储访问都可能被网络限制。需要提前确认 InfiniBand、RoCE 或高速以太网方案。
交付前需要确认供货版本吗？
需要。不同地区、不同项目和不同供应链的可供货版本、交付周期、维保方式和合规要求可能不同，采购前要写入确认清单。
WeChat
Profile