AI 需求的激增推动了对大型数据集和上下文窗口的需求,这些需求已突破系统内存的限制。NVIDIA 指出,仅增加更多的存储容量并不能满足日益增长的需求,真正需要的是来自 AI 工厂的扎实见解,以及能够实现这些见解的高效、安全存储架构。
在本周举办的 FMS (Future of Memory and Storage) 大会上,NVIDIA 发布了存储领域的最新进展,并展示了 AI 的下一次飞跃不仅取决于计算能力本身,同样取决于为加速计算提供支持的存储基础设施。随着 AI 智能体消耗大量数据,基础设施面临的压力越来越大,而 GPU 现在可以直接启动存储请求,从而生成数千个并发操作。
为了满足这些请求,存储系统必须不断加密、压缩、验证和重建数据,当数千个智能体同时访问存储时,这些关键数据服务可能会成为瓶颈。NVIDIA 技术博客中公布的基准测试表明,NVIDIA Vera BlueField-4 STX 的 NVIDIA Vera CPU 在双阶段压缩和加密工作流中,可提供比 x86 CPU 高 3.21 倍的吞吐量。这意味着借助 Vera,存储平台可以更高效地吸收大量 AI 数据,以更少的计算基础设施提供更高的吞吐量。
借助加速计算,存储不再是被动保存数据的容器,而是成为数据路径的活跃参与者。NVIDIA 认为,这颠覆了过去在内存与存储驱动器之间取舍的经济学:这种性能与成本的权衡最早始于 40 年前,当时衡量标准是分钟级的访问速度,而在当今的 GPU 上,借助 NVIDIA 及其合作伙伴的 AI 存储解决方案,这一过程缩短至微秒级。
在 FMS 大会上,NVIDIA 宣布 cuFile 应用编程接口及其下方的垂直存储软件堆栈可让 GPU 而不仅是 CPU 直接读取和写入存储。cuFile 是 NVIDIA GPUDirect Storage 的一个开源组件,使用数十万个 GPU 线程、快速的高带宽内存和其他方法,可在短短几微秒内安全地从存储中访问数据。该开放 API 平台由谷歌、英特尔、NVIDIA 和 Meta 创始并维护。
此外,NVIDIA 和存储行业领导者正通过一项名为 Storage-Next 的计划优化内存和存储解决方案,该计划涵盖 40 多家领先的存储和闪存供应商,包括 DDN、铠侠和美光。NVIDIA 同时提供 SCADA,即扩展加速数据访问框架,支持大规模并行 GPU 仅将应用程序所需的数据直接从存储拉取到自己的高速内存中。DDN 正在将 SCADA 与其软件定义的 AI 原生数据智能平台 Infinia 集成,用于大规模消除存储瓶颈。
WeChat
Profile