视觉语言模型让视频理解达到生产规模成为可能，真正的难点在于把摄取、流处理、事件检测、检索、摘要与报告组合成可维护的系统。NVIDIA 发布 Metropolis Blueprint for Video Search and Summarization（VSS）3.3，从开发与运行两端同时压低成本：新增 Build Vision Agent 技能，并用 Adaptive Efficient Video Sampling（Adaptive EVS）减少重复的 VLM 计算。
Build Vision Agent 技能（vss-build-vision-ai）把告警、搜索、摘要等 VSS 工作流组合成一个应用。它不会从零生成部署，而是从 base、alerts、lvs、search 四种经过验证的开发者 profile 中选出最接近的一个作为 Foundation，再计算最小增量：只增删确实需要的服务键，合并共享角色，复用 VIOS、Kafka、Redis、Elasticsearch、HAProxy 与 MCP 服务。
以一个橙汁灌装线为例，开发者只需描述目标：两台 RTSP 相机分别盯灌装与封盖，检测溢瓶与果汁外溢，用 VLM 复核告警，让告警片段可搜索，并生成班次报告。技能会自动组装摄取、检测、行为分析、告警复核、自然语言检索与报告链路。在两块 RTX PRO 6000 Blackwell 上，录制告警场景从一句提示词到可预览的在线部署不到 30 分钟，编程智能体调用成本为几美元。
运行时的成本主要来自 VLM 反复读取几乎不变的画面。Adaptive EVS 把每个 patch 与上一帧做余弦相似度比较，未变化的 patch 在进入语言模型前被丢弃；同时按 token 保留比例做事件感知批处理，约 70% 以上按事件成批处理，30% 以下直接丢弃或冲刷，其余按常规处理。
在 RTX PRO 6000 Blackwell 与 Cosmos 3 Super FP8 上，Adaptive EVS 把告警上下文延迟从 1021 毫秒降到 844 毫秒，降幅 17%；实时 VLM 并发流从 13 路提升到 19 路，增加 46%；60 分钟视频的摘要时间约减半，VLM 输入 token 减少 80%。这些收益主要出现在多帧输入、短输出的场景，例如密集字幕、长视频摘要与告警复核。
NVIDIA 提醒，实际效果会随场景运动、分块长度与相似度阈值变化，上线前应使用代表性素材做基准测试。Adaptive EVS 是可选项，在 override.env 中通过 VIA_EVS_SESSION、VLM_VIDEO_PRUNING_RATE 与 VLLM_EVS_SIMILARITY_THRESHOLD 等开关启用，并运行在实时 VLM 容器内，而不是针对远端端点。
WeChat
Profile