NVIDIA Blackwell创下STAC-AI金融推理基准记录：LLM助力交易智能

大语言模型正在通过处理海量非结构化数据以生成可操作的交易洞察，彻底改变金融交易格局。这些先进的AI系统能够分析财经新闻、社交媒体情绪、财报和市场数据，以前所未有的精度预测股价走势并自动化投资策略。STAC（战略技术分析中心）在过去15年中一直为金融行业的核心工作负载开发基准测试，其STAC-AI基准旨在帮助企业评估端到端RAG和LLM推理管道的性能。

STAC-AI LANG6基准测试聚焦LLM推理性能，使用Llama 3.1 8B Instruct和70B Instruct模型，结合基于EDGAR申报文件的自定义数据集。EDGAR4数据集模拟中等长度请求，要求模型对单个公司的10-K财务申报段落进行总结分析；EDGAR5则模拟长上下文请求，需要模型分析完整的10-K申报文件。这些数据集基于数千家上市公司过去五年的年报，测试模型在金融交易和投资建议场景下的推理能力。基准测试涵盖批处理模式和交互式模式两种场景，后者模拟伪随机到达的请求流。

NVIDIA在多个平台上提交了STAC-AI审计结果，涵盖基于Hopper架构的HPE服务器系统、基于RTX PRO 6000 Blackwell服务器版的Supermicro系统以及HGX B200平台。基准测试的一个关键差异化要求是在推理过程中应用聊天模板和Token化请求——实际部署中，企业通常希望由服务端完成这些预处理以保护系统提示词。NVIDIA TensorRT-LLM在这些测试中展示了出色的端到端推理性能和可扩展性，为金融行业在RAG管道和LLM推理工作负载中部署AI提供了经过验证的参考指标。

对于金融交易公司而言，这意味着在Blackwell GPU上运行TensorRT-LLM优化的大语言模型，可以在合规的EDGAR申报分析场景中实现更低的延迟和更高的吞吐量，将LLM驱动的交易策略从概念验证推向生产级部署。