AI 智能体的效果取决于它接收到的上下文。即使模型能力足够、NVIDIA 库文档完善，智能体仍可能在不熟悉的工具上多走弯路、在错误路径上浪费 token。Skills 将指令、示例与工具使用说明打包，帮助智能体更快地从意图走向解决方案。为了衡量这些技能是否真正改善了智能体的轨迹与输出，NVIDIA 构建了一套开放的评测层。
NVIDIA SkillEvaluator 是一款开源工具，通过静态检查与带/不带技能的真实任务对照运行，量化技能对智能体性能的影响。NVIDIA Verified Skills 是经过打包签名的能力描述符，告知智能体某个 NVIDIA 产品能做什么、何时调用以及如何调用，而"认证"正是基于上述评测结果。
技能发布前要经过三级评测：第一级为安全与结构检查，涵盖 Schema 校验、质量评分、提示注入与数据外泄扫描、密钥与 PII 检测、许可证检查与脚本检查；第二级为差异性评测，通过嵌入相似度识别技能内部及技能之间的重复指导；第三级为实时评测，基于开源的 Harbor 框架在隔离沙箱中运行，让智能体在安装与未安装技能两种情况下分别执行任务并比较结果。
实时评测采用严格的受控对比：同一任务、同一模型、同一提示与评分标准，唯一变量是是否安装技能，并在两个独立智能体框架上各跑一遍，两者分数之差即为该技能的 Skill Lift（以点数报告）。首批公布的评测结果覆盖 300 余个认证技能、30 余款 NVIDIA 产品。相关技能已发布 Claude Code、Codex、Cursor 插件，也可通过 Skills.sh、ClawHub 与 Hermes Hub 获取。
SkillEvaluator 的使用流程简洁：通过 skillevaluator create-eval-dataset 生成评测数据集，再用 skillevaluator tier3 evaluate 运行对照评测即可得到分数与 Skill Lift，底层执行与隔离由 Harbor 负责。评测数据持续更新，最新结果可在 NVIDIA/skills 仓库的 benchmarks.json 中查看。
WeChat
Profile