Snapchat 用 NVIDIA cuDF 加速 A/B 测试：每天 10PB 数据处理提速 4 倍、成本降 76%

方案背景：Snapchat 月活跃用户超过 9.4 亿，每项新功能上线前都要经过一系列对照实验。Snap 每天早上要在 3 小时窗口内用 Apache Spark 处理超过 10PB 数据，每月运行数千个实验，每个实验测量近 6000 个指标。随着实验规模和指标数量增长，CPU 集群在时间和成本上越来越难以支撑。

解决方案与架构：Snap 在谷歌云上采用 NVIDIA cuDF 加速 Apache Spark 应用，把数据处理负载从 CPU 迁移到 GPU。方案将 cuDF 与 Google Kubernetes Engine 等基础设施管理服务结合，在相同机器数量下提升吞吐，并保持现有 Spark 作业的开发方式，减少迁移改造。

核心技术组件：NVIDIA cuDF 是 GPU 加速的数据处理库，可在不修改业务逻辑的情况下加速 Spark SQL 与 DataFrame 操作；CUDA-X 库提供底层加速能力；Google Kubernetes Engine 负责集群编排与资源调度。Snap 的实验平台在该栈上完成数据清洗、聚合和指标计算。

实施成果：迁移到 GPU 后，Snap 在相同数量的机器上实现 4 倍运行速度提升，为实验规模扩展提供了经济高效的路径；在 Google Kubernetes Engine 上使用 NVIDIA GPU，每天可节省 76% 的成本。Snap 高级工程经理 Prudhvi Vatala 表示，数据基础设施从 CPU 迁移到 GPU，使实验能够高效覆盖更多功能、更多指标。

未来展望：Snap 计划继续扩大 GPU 数据处理范围，把更多批处理和特征工程负载迁移到加速计算，以支撑更复杂的实验设计和实时分析。该案例说明，成熟的大数据框架无需推倒重来，通过 cuDF 等加速库即可在云上获得显著的性能与成本收益。