NVIDIA生成式推荐系统方案：HSTU与语义ID重新定义大规模推荐

推荐系统是消费互联网中最普遍的机器学习应用之一，但也是公认难以在规模化条件下训练与服务的场景。大语言模型的出现推动推荐系统从传统的向量相似度目标，转向生成式目标——即根据用户历史行为序列，预测其在海量商品目录中的下一个动作或下一件商品。NVIDIA 发布的生成式推荐系统方案，通过 recsys-examples 开源仓库与 nv-embedding-cache 组件，系统性地应对了这一架构迁移带来的生产挑战。

传统推荐系统在大规模场景下面临多重瓶颈：用户历史数据每天可达 TB 甚至 PB 级，远超单卡高带宽显存容量；热门商品占据绝大多数交互，导致长尾商品训练信号稀疏；新用户与新商品缺乏交互历史，冷启动阶段推荐质量难以保证；此外线上推荐必须在数毫秒内完成数千个候选的召回与排序，对时延的要求远高于可以容忍自回归解码的模型推理。生成式推荐（GR）将推荐重新定义为类似语言模型的序列建模问题，建模“给定用户历史条件下下一动作的概率分布”，从而更好地利用规模化定律、在单一模型内统一召回与排序，并更自然地融入不断演进的 LLM 生态。

目前两类主流实现路径是 HSTU 与语义 ID。HSTU 由 Meta 于 2024 年提出，将输入表示为用户在时间戳上排序的交互序列，用注意力机制学习序列化表征，并以 SiLU 加权替代 softmax、引入相对注意力偏置与逐元素门控，在保留长序列幅度信息的同时支持更高效的算子融合与更低时延推理。语义 ID（Semantic IDs）由 Google 提出，通过对商品嵌入做层次聚类生成更小的词汇表，TIGER、PLUM、OneRec 等架构均以其为基础；自回归解码直接生成推荐而非在嵌入空间中检索，并天然通过输出 logits 给出排序，一次前向即可用束搜索产出多个候选。

recsys-examples 仓库提供了 HSTU 与语义 ID 模型的优化实现，覆盖训练与推理两条工作流，并整合三大模块：面向动态词表的 DynamicEmb 嵌入层、为推荐系统定制的 KV 缓存与存储管理器，以及 HSTU 与语义 ID 束搜索解码的高效 CUDA 算子。其中 DynamicEmb 以 GPU 优化的计分哈希表替代静态嵌入表，按需为模型实际看到的 ID 分配行，并跨越 HBM 与锁页主机内存增长，使长尾问题在规模上变得可处理；HSTU 主干则基于 Megatron-Core，可在单次训练中同时利用数据、张量、序列与流水线并行。

在性能验证中，该方案在两张 DGX H100 节点上将端到端模型浮点利用率（MFU）从 7.65% 提升至 31.40%，训练效率提升显著；推理侧通过 PyTorch AOTInductor 在 Torch C++ 运行时执行，以满足严格的低时延线上要求。对于希望将推荐系统升级为生成式范式的互联网企业，NVIDIA 提供了从动态嵌入、并行训练到低时延推理的完整参考实现，推动推荐技术迈向更高效、可扩展的新阶段。