NVIDIA AI 助力新浪微博用 RAG 将客服问答准确率从 50% 提升至 81%

一、方案背景与核心挑战

新浪微博是中国最具影响力的社交媒体平台之一，月活跃用户数量已达数亿级别。随着用户数量急剧增长，客服系统面临挑战：用户在使用过程中遇到问题会联系人工客服，但因用户基数庞大，客服系统收到的问题呈现多样性和口语化等特点，对传统的、基于文本匹配的自动回复系统带来很大挑战。微博希望搭建基于大模型的自动客服问答系统，以更高效、更准确的方式回答用户问题，同时降低人工成本。核心挑战：开源大模型的训练过程未涉及私有领域数据，直接应用于微博客服场景的效果难以令人满意；同时大模型生成内容具有不可控性，容易产生幻觉，需要对检索与生成环节进行针对性优化。

二、解决方案名称与架构

解决方案名称：基于 RAG 范式的新浪微博智能客服问答系统

核心技术：新浪微博基于 LLM RAG 范式，将大模型与微博私有知识与数据相结合，借助向量检索技术，使大模型能够根据用户问题在微博使用场景下提供更准确、清晰的回复。NVIDIA 与微博双方技术团队在数据、算法、模型微调等多个方面展开合作。

三、核心技术组件

语义切分优化：在普通 RAG 流程的基础上，针对客服场景特点提出多项算法优化。其中在处理文本时采用规则匹配与调用大模型相结合的方法，更精确地将无结构文本切割成语义明确的段落，提升召回准确率。

领域继续预训练与微调：借助 NVIDIA NeMo 框架，在私有领域数据上对开源大模型做进一步的继续预训练和微调，提升大模型的领域适应性；同时添加重排序模型以增加召回精度，从检索与生成两端共同抑制幻觉。

推理性能优化：未来新浪微博计划通过包括 NVIDIA Triton 推理服务器与 NVIDIA TensorRT-LLM 在内的 NVIDIA AI Enterprise 软件，进一步提高生产级 AI 的推理性能，为用户提供更优质的客服体验。

四、实施成果

双方在数据、算法、模型微调等多个方面的合作，显著增强了大模型在微博客服场景中回答用户问题的准确率，客服问答系统准确率从 50% 提升至 81%，不仅降低了人工成本，也提升了用户满意度。智能客服模型准确率的提升还带来质检效率的跃升：客服人员每天的人工质检覆盖率从 33% 提升到 100%，准确率从 91% 提升到 99%；质检频次从每月 1 次、33% 覆盖，提升至每日 1 次、100% 覆盖，每天质检量达到 1 万以上。

五、未来展望

新浪微博机器学习平台负责人表示，凭借 NVIDIA 的尖端技术，本项目不仅提升了客服效能，也为多模态与智能助手的合作奠定了基础。面向未来，相关创新解决方案将进一步巩固客户在行业中的领先地位，驱动业务成长与竞争力提升。