GPU 训练利用率周期性下降，很多团队首先增加数据加载进程或把解码、增强搬到 GPU。但预处理是一条由存储读取、解码、变换、批处理、传输和训练消费组成的流水，任何阶段都可能产生等待。位置选择还会改变资源成本与故障边界：CPU 预处理容易独立扩展但可能受核数和内存带宽限制；GPU 预处理减少部分传输或加快算子，却与模型争用设备资源；独立服务便于共享与缓存，同时引入网络、版本和远程依赖。
先证明等待发生在哪里
应同时记录存储吞吐与延迟、文件打开和元数据、CPU 利用与 NUMA、队列深度、主机到设备传输、GPU 内核时间和训练 step 时间。只看到 GPU 空洞，无法区分上游没有数据、批次迟到、同步点阻塞还是训练进程主动等待。数据加载器的预取可能暂时掩盖瓶颈，因此测试至少覆盖稳定运行和缓存冷启动，并用不同批量、工作线程和样本大小观察拐点。
CPU 路径适合灵活但需管理本地性
CPU 预处理对算子兼容性和调试较友好，也能把 GPU 留给模型计算。问题常出在过多线程争用、跨 NUMA 读取、内存复制和 Python 调度。增加 worker 直到 CPU 满载，不一定提高吞吐，反而可能挤压通信进程和系统服务。应绑定 CPU 与内存，限制队列长度，并观察每个 worker 的有效工作时间。对小文件密集数据，还要先解决元数据与缓存问题。
GPU 路径要计算机会成本
把解码和增强放到 GPU 后，数据可能更早进入设备并减少 CPU 压力，但这些算子会消耗计算、显存和调度资源。若模型已经接近设备容量，预处理可能抬高尾延迟或触发显存压力。评估不能只看预处理模块自身速度，应比较完整训练 step、模型吞吐、显存水位和功耗。还要确认随机增强、精度和结果与原实现一致，性能优化不能悄悄改变训练语义。
独立服务把本地瓶颈变成系统问题
远程预处理服务可以集中使用 CPU 或专用加速资源，并在多个训练作业之间共享缓存。但网络传输、服务发现、版本路由、队列隔离和故障重试都会进入训练关键路径。服务端若按最大吞吐批量处理，可能让小作业长期等待；客户端无限重试则会在故障时放大压力。需要定义请求幂等、背压、配额和降级，明确服务不可用时训练暂停、切换还是失败。
回压决定系统能否稳定
无论预处理放在哪里，生产速度长期高于消费速度都会堆积内存或缓存，消费速度高于生产则让 GPU 等待。队列要有明确上限和可观察水位，并把上游读取速率与下游训练节奏连接起来。弹性训练改变 GPU 数量时，预处理并发和数据分片也要同步调整。若各 rank 获取数据的速度差异很大，最快的 GPU 仍会在同步点等待最慢成员。
对比实验应保持业务语义一致
- 固定数据集版本、样本顺序、随机种子、增强参数和训练模型。
- 分别测冷缓存、热缓存、正常存储和受限存储，记录各阶段队列与等待时间。
- 对 CPU、GPU 和独立服务方案统计端到端 step、资源占用、尾延迟和失败率。
- 模拟 worker、网络或服务故障，验证重试不会造成样本重复、跳过或无限堆积。
- 在不同 GPU 数量与批量下回归，确认扩展后瓶颈没有转移到共享依赖。
DALI 提供面向数据加载和预处理的算子与流水能力，其执行模型、支持算子和集成方式可参考 NVIDIA DALI User Guide。是否采用 DALI 或独立服务，应由真实数据形态、团队维护能力和完整训练结果决定，不应依据单一算子的宣传性能。
WeChat
Profile