腾讯广告视频抽帧全流程 GPU 加速：解码算力翻倍，色彩转换提速 20 倍

一、方案背景与核心挑战

视频已成为内容和广告的主要媒介形式，但目前的视频内容理解或审核等 AI 能力，主流依然是先抽帧，再基于图像帧做特征提取和预测。腾讯广告部门日常处理大量视频信息，而抽帧是视频分析的第一步，由于步骤多、计算重，在视频 AI 推理场景很容易成为性能瓶颈。核心挑战：腾讯广告流量中视频占比逐年快速提升，抽帧若出现时耗或吞吐瓶颈（特别是高 FPS 抽帧），很容易影响后续特征提取与模型预测性能。在广告视频 AI 推理服务中，抽帧往往占据其中大部分时耗；视频抽帧的几个步骤计算量非常大，传统 CPU 方式受限于整体计算吞吐，很难满足低时延高性能要求。

二、解决方案名称与架构

解决方案名称：腾讯广告视频抽帧全流程 GPU 加速方案

技术架构：开发人员改进视频抽帧实现方式，使全流程操作均在 GPU 上完成，取代原有 CPU 抽帧流程。方案从计算和 IO 两方面着手：解码部分充分利用 GPU 通常闲置的 NVDEC 解码器，其他以像素或像素块计算为主的步骤使用 CUDA kernel 并行加速；IO 方面实现全流程 CPU 与 GPU 无帧数据交换。本案例使用 NVIDIA T4 GPU 及相关软件。

三、核心技术组件

NVDEC 硬解码：T4 GPU 包含两个独立于 CUDA 的解码单元，支持大部分主流视频格式。调用 GPU 硬解码可参考 NVIDIA Video Codec SDK，也可使用已封装 GPU 硬解支持的 FFmpeg。线上测试集显示，单个 GPU 的视频解码算力与 8 个 CPU 核大致相当。若充分利用 T4 的 2 个 NVDEC 模块，可在几乎不影响线上服务 CPU、CUDA 原有负载的情况下额外增加一倍解码算力，抽帧 QPS 翻倍。需注意不同架构 GPU 所带 NVDEC 模块数不同，应根据模块数选择正确的多实例多 worker。

CUDA 色彩空间转换：视频解码后得到 YUV 格式帧，通常需要转换为 RGB/BGR。传统方式是调用 FFmpeg swscale 模块，但只支持 CPU 计算，需要一次 device 到 host 的数据 IO，且非常消耗 CPU 资源，统计发现 swscale 计算耗时占比接近 40%。YUV 到 RGB 转换本质是 3×3 常量矩阵与三维向量相乘，可改为 CUDA kernel 调用，充分利用数千个 CUDA 核心并行计算。对线上 100 个广告视频做对比评测，CUDA kernel 相对 CPU swscale 平均提速 20 倍以上，视频清晰度越高优势越明显。

CUDA JPEG 编码与 IO 优化：JPEG 编码将整张图片划分为 8×8 像素小块分别进行离散余弦变换、量化、Huffman 编码，同样适合 CUDA 并行加速，NVIDIA 从 CUDA Toolkit 10 起已封装 nvJPEG 模块。实测线上 1000 个广告视频，CUDA 方式 JPEG 编码约有 15~20 倍性能提升。需注意 GPU 与 CPU 的 JPEG 编码存在约 0.5% 像素差异，可行方案是模型训练也使用 GPU JPEG 编码图片，保证训练与推理输入一致性。

四、实施成果

全流程 GPU 化后，腾讯广告的抽帧性能与成本均得到明显改善：单个 GPU 的视频解码算力与 8 个 CPU 核大致相当，色彩空间转换提速 20 倍以上，JPEG 编码提速 15~20 倍。GPU 做图像处理比 CPU 更有性能和成本优势，尤其与 GPU 视频解码联合使用时，可在几乎不影响原有工作负载的前提下提升整体吞吐。

五、未来展望

面向视频内容理解持续增长的算力需求，从解码、色彩转换到编码的全流程 GPU 异构计算，正在成为视频 AI 服务降低时延与成本的关键路径。