NVIDIA DGX SuperPOD 加速语言模型训练，助力京东探索研究院织女模型登顶 GLUE 榜单

一、方案背景与核心挑战

京东探索研究院致力于世界前沿技术研究，人工智能方向涵盖 CV、NLP、多模态等，其中大规模语言模型研究是重中之重。核心挑战：过去两三年语言模型大小每年以 1-2 个数量级的速度增加，如今已达到万亿参数级别，模型结构与复杂性日益变化，对 GPU 集群架构提出不同要求。从系统层面看，既有 GPU 计算集群主要以支持单机任务、小规模多机任务为主，多机之间网络扩展能力较弱、大规模扩展能力受限，较难满足服务大模型的计算需求。对于京东探索研究院而言，掌握时效是关键：更快的模型训练意味着能加速迭代、扩展尝试空间、使产品落地更迅速并提高业务收益，如何快速新建一个可高效扩展并易用的 GPU 集群成为亟待解决的核心问题。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA DGX SuperPOD 的大规模语言模型训练平台

技术架构：DGX SuperPOD 是一套完整的解决方案，基于 DGX A100 服务器、HDR InfiniBand 200G 网卡和 NVIDIA Quantum QM8790 交换机构建全互联架构，在保证单机计算能力最强的同时，采用计算和存储网络相隔离的方案，最大程度从网络上保证集群互联能力。本案例主要应用 DGX A100、Mellanox HDR InfiniBand、DGX SuperPOD 和 NVPS 服务。

三、核心技术组件

交付与部署服务：NVIDIA 为 DGX SuperPOD 提供专业部署服务，包括单机系统部署、IB 网络配置、调度安装调试、监控部署、多机环境、基础性能验证等，从基础系统方面保证最快交付。

调度与作业脚本：NVIDIA 为 DGX SuperPOD 部署了 Slurm 调度系统，并基于 NGC 和客户主要的几类模型提供完整作业脚本，用户只需简单修改几行参数来适配自己的模型，即可一键运行大规模分布式任务。

性能优化与验证：DGX SuperPOD 经过一系列基础优化（CUDA-X、Magnum IO、NGC）和评测验证（MLPerf），提供优秀的 AI 训练性能。在京东探索研究院针对 CV、NLP、跨模态等领域设计和研发的数十个模型上，经过双方一系列系统级合作优化，在 DGX SuperPOD 上达到了理想的加速比和扩展性。使用该方案，用户只需关注自己的 AI 模型和算法研究，无需关注硬件与系统层的配置、优化、扩展性问题。

四、实施成果

使用 DGX SuperPOD 集群方案，极大加速了用户的 AI 训练和迭代速度。在集群交付仅仅两个多月之后，京东探索研究院就联合悉尼大学在传统"预训练-微调"范式下，利用 DGX SuperPOD 的高效扩展能力，通过研究和工程上的全方位创新研发出织女模型，在通用语言理解评估基准（GLUE）的两项挑战性任务——情感分析任务 SST（Stanford Sentiment Treebank）和指代消解任务 WNLI（Winograd NLI）中首次超越人类，位居所有参赛机构第一。据京东探索研究院介绍，强悍的织女模型在全国首个基于 DGX SuperPOD 架构的超大规模计算集群"天琴α"上完成训练，该集群具有全球领先的大规模分布式并行训练技术，其近似线性加速比的数据、模型、流水线并行技术持续助力织女模型高效训练。

五、未来展望

面向万亿参数级别语言模型的持续演进，以完整解决方案形态交付的分布式集群与配套优化体系，将继续为前沿 AI 研究提供坚实的算力与效率基础。