NVIDIA RAPIDS 助力 DolphinDB Shark 平台将因子挖掘效率提升最高 10 倍

一、方案背景与核心挑战

DolphinDB 公司推出的 CPU-GPU 异构计算平台 Shark，将 DolphinDB 上的复杂指标计算能力无缝切换到 GPU 算力平台，以提升计算性能。核心挑战：Shark 的因子挖掘功能通过遗传算法从数据中挖掘有效因子，过程中会随机生成大量因子公式，公式长度不等、参数数量不同，需要频繁创建和释放临时空间存储中间结果，直接使用原生 CUDA C 显存分配和释放接口会严重降低执行效率；而在因子计算方面，若从零开始将 CPU 函数迁移至 GPU，需要为 GPU 重新实现一套底层数据结构与基础计算函数，会导致开发周期延长与开发成本增加。

二、解决方案名称与架构

解决方案名称：基于 NVIDIA RAPIDS 的 Shark 异构计算加速方案

核心技术：利用 RAPIDS RMM 解决因子挖掘过程中频繁申请和释放显存导致的性能问题；基于 RAPIDS libcudf 进行二次开发实现因子计算，从而缩短开发周期、降低开发成本。RMM 是一套开源的内存/显存管理库，提供 C++ 和 Python 接口，相比 cuMalloc、cuFree 等操作具有更好的性能和灵活性；libcudf 是基于 GPU 的 C++ DataFrame 库，提供基础数据结构并内置基础函数算子。

三、核心技术组件

显存池化：DolphinDB 开发团队通过 RMM 对显存进行池化，对中间结果所使用的显存进行高效分配、释放和重用，从而缓解遗传算法在因子挖掘过程中频繁申请释放显存带来的性能损耗。

基于 cuDF 的算子迁移：Shark 支持用户输入自定义公式，并自动将自定义公式转换为计算图在 GPU 上完成计算。团队复用 cuDF 的 column、table 等底层数据结构，并借助 cuDF 的 groupby 和 rolling 框架，只需完成算子的核心计算逻辑，即可完成 DolphinDB 时序算子与横截面算子的迁移，极大提升开发效率、降低开发成本。

四、实施成果

在不同规模数据下，使用 RAPIDS RMM 显存管理库相对于原生 CUDA 显存分配 API，Shark 因子挖掘效率显著提升，最高可达到 10 倍的加速比。在因子计算方面，以 1000 个 group、每组 10 万行数据的算子分组计算为例，与 CPU 相比，利用 GPU 的总体耗时（含拷贝时间）基本达到一个数量级的加速比。综合来看，借助 RAPIDS，Shark 的因子挖掘效率提升最高 10 倍；基于 cuDF 进行二次开发只需实现算子核心逻辑即可获得一个数量级的加速，并大幅降低算子迁移成本。

五、未来展望

面向金融行业持续增长的实时计算与因子研究需求，NVIDIA RAPIDS 生态将继续为 CPU-GPU 异构数据分析提供底层支撑，帮助平台在成本可控的前提下获得更高的计算效率。