大语言模型正在快速改变金融交易与投研分析方式。通过处理财报、新闻、社交媒体情绪和市场数据，这类系统可以帮助机构更快生成交易洞察并优化投资决策。为了衡量相关基础设施在真实金融推理场景中的能力，STAC Research 推出了 STAC-AI 基准，其中 LANG6 聚焦于面向金融任务的大模型推理性能。
NVIDIA 在这篇文章中披露了多套平台在 STAC-AI LANG6 上的表现，重点展示了 Blackwell 架构在金融推理中的吞吐与交互优势。测试覆盖 Llama 3.1 8B Instruct 和 70B Instruct，并基于 EDGAR 10-K 年报相关数据集，模拟中等长度与长上下文的金融分析和摘要任务。基准既衡量离线批处理吞吐，也评估交互模式下的响应速度和单位用户输出速率。
从结果来看，基于 HGX B200 的 NVIDIA Blackwell 平台在多个测试组合中都实现了显著领先。文章指出，在部分场景下，Blackwell 相比上一代平台可实现最高 2.8 倍的性能提升，并在更高吞吐下维持更好的交互体验。对于需要同时兼顾请求密度和用户响应速度的金融推理工作负载，这种吞吐与时延之间的平衡尤为关键。
硬件之外，软件栈也是此次成绩的重要组成部分。文中说明，模型量化采用了 NVIDIA TensorRT Model Optimizer，其中 Hopper 平台使用 FP8，而 Blackwell 平台进一步使用 NVFP4。推理执行则基于 TensorRT-LLM，以充分调用不同平台上最优的高性能内核，同时保持相对熟悉的 PyTorch 运行体验。
文章还给出了一套面向企业自测的实践路径，包括使用 TensorRT-LLM 容器、下载并量化模型、生成符合自身业务 token 分布的测试集，以及运行吞吐基准。也就是说，这篇文章不仅展示了官方跑分结果，也试图为金融机构或行业团队提供一条可复制的性能评估路线，让他们能围绕自身数据特征和时延目标进行更贴近生产的基准验证。
对金融行业而言，Blackwell 在 STAC-AI 上刷新纪录的意义，不只是单项跑分更高，而是说明大模型推理平台已经能够在更复杂的长上下文分析任务中，兼顾速度、吞吐和部署灵活性。随着金融机构持续把生成式 AI 引入投研、交易和风控流程，这类以真实行业数据分布为导向的推理基准，也会成为评估基础设施投入回报的重要依据。
WeChat
Profile