以电商客服为例，看 AgentKit 技能评测如何让 Skill 敢上生产！

Skill 写好、跑通之后，如果回答不好下面三个问题，也很难大规模应用到生产环境当中：

它到底好不好用？ Agent 表面上完成了任务，但得出的结论可能会违反业务规则；出现这类问题，系统不会报错，在抽查时也很难发现。
问题出在哪，该怎么改？ 知道分数低，想查问题出在哪儿？需要逐条翻执行轨迹，才能找到是哪条指令出了错。
改完是否变好？ 修好这一处的同时，可能会改坏另一处；模型升级后，Skill 还有没有用，也缺少参考依据。

火山引擎 AgentKit 技能评测，不止于 Skill 打分，更能串起判分、洞察调优、对比验证的完整闭环。

判分：支持 Agent as a Judge。裁判 Agent 能查轨迹、读产物、跑脚本，逐项复核结论，不会被 “看起来没问题” 的结果骗过；六个预置维度开箱即用，也支持自定义评估器。
洞察调优：从失分根因到一键调优。它能直接给出要改的文件、行号和改法，一键复制给 Agent 就可以完成修改。
对比验证：用 A/B 对照确认效果。新旧版本、有无 Skill、不同 Skill，都能在同一数据集和评估器下比较质量与成本；改没改好、值不值得用，都用数据说话。

下面以电商售后客服 Agent 退款审核 Skill 的一次评测演示为例，看火山引擎 AgentKit 技能评测如何应用。

复制链接至浏览器可直接体验下方完整流程：https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/

01 | 判分：用真实业务任务检验 Skill 好不好用

电商场景中，商家退款政策规定：签收超 7 天的订单，不予退款。

1.1 用真实任务准备评测集

基于该政策，我们准备了 40 条真实的评测任务，覆盖期限临界、重复记录、金额异常、客户冒充身份等多种情况。

每条任务附有参考输出。我们会将这套评测集作为复测基准，后续每次修改都会进行对比复测，还能将它一键上传至 AgentKit 评测集平台。

1.2 选择评估器，六个预置维度开箱即用

准备好评测集后，需要通过评估器来判断 Skill 执行的好坏。对此，AgentKit 预置了六个评估维度：

维度	检查什么
任务完成度	要求的事情是否做完，交付是否齐全
结果正确性	结论、数值和业务处理是否正确
约束遵守度	是否遵守隐私、权限、操作范围和输出要求
Skill 遵循度	Skill 中适用的关键方法和要求是否落实
证据可靠性	结论是否得到实际资料和核验结果的支持
过程稳健度	遇到问题能否有效调整，有没有无效重复或盲目重试

根据自身场景和诉求，业务可自行添加自定义评估器；创建评测实验时，还可以分别配置执行模型和评分模型。

1.3 执行评测实验，裁判 Agent 严格评估

该 Skill 总分为 95.8，整体表现很好，但从细项看，结果正确性只有 91.3 分：部分签收时间在 8 至 15 天的订单被判为可退，违背了退款政策。

在生产环境中，这类失误可能被视为生产事故，也会大幅降低企业对 Agent 的信任度。

在 AgentKit 中，我们可以快速定位到问题点：

在评估时，裁判 Agent 没有直接采信被测 Agent 的说法。它读取了实际交付的审核表，翻出被误判订单（签收第 8 天的订单）的签收天数，再跟政策原文逐一核对，最后追查到了错误的源头：Skill 改写了政策。

问题找到了，接下来怎么把 Skill 改好？能不能“一键优化”呢？

02 | 洞察调优：一键定位 Skill 问题

执行完评测后，在评测报告下方即可查看调优建议：

调优建议会写明问题、改法和精确位置：

SKILL.md:17：删除此处“其中退款期限统一使用 15 天”的改写，改为严格要求按 references/policy.md days>7 判 ineligible/的 expired，第 7 天含在期限内执行，不再另行覆盖期限。

点击「复制调优建议」，可一键交给 Agent 进行修改；也可以点击 SKILL.md:17，跳到对应行手动修改。

03 | 对比验证：支持 A/B 等多维度复测

改完之后，Skill 是不是真的变好了？AgentKit 支持多种复测对比方式，帮助验证调优效果：

对比维度	回答的问题	保持不变的条件	帮助做出的决定
有无 Skill	当前模型下，这个 Skill 还能带来多少提升？	数据集、评估器、模型	保留、精简或下线 Skill
不同 Skill	同一类任务，哪个版本的 Skill 更合适？	数据集、评估器、模型	选用、合并或分场景使用

本案例中，我们用同一个数据集和评估器，把修改前后两个版本的 Skill 进行 A/B 对照。

指标	修改前	修改后
总综合得分	95.8	99.8
结果正确性	91.3	100
Skill 遵循度	92.5	100
证据可靠性	91.3	98.8
任务完成度	100	100
约束遵守度	100	100
过程稳健度	100	100
平均轨迹耗时	28.33s	26.05s
平均 Token 消耗	64.8k	66.3k
平均执行步骤错误率	2.8%	2.1%

总综合得分从 95.8 提升到 99.8，结果正确性从 91.3 提升到 100，证据可靠性从 91.3 升到 98.8，原本满分的三个维度没有下降。效率上，平均耗时缩短约 2 秒，Token 消耗基本持平。

过去，Skill 改没改好，只能靠人工抽查和经验判断；现在，每一次修改都能用评测数据说话，让你的 Skill 从 “能跑的通” 走到 “敢上生产”。

想要体验上述过程，可复制链接至浏览器： https://s17uffe794hvnhq5hduse.apigateway-cn-beijing.volceapi.com/ ，快速上手体验。

04 | Skill 上生产还有哪些问题？

Skill 上线后不会一成不变：版本要迭代，模型要升级，规则要调整，还会被拿去挑选和审查。归纳起来会出现三类问题：

问题类型

典型场景

AgentKit 技能能力

变更可控：

变了之后还靠谱吗？

版本变动：修好一处，可能会改坏别处

模型替换：换了模型后，Skill 的提升效果可能缩水

规则变化：政策调整后，Skill 还按老口径执行

版本对比：Diff 逐行看清改动

A/B 复测：改版本、换模型后，对比前后表现

选型有据：

该用哪个、值不值得用？

Skill 选择：内部多个团队和外部厂商，都有同类 Skill，难以取舍

价值判断：加了 Skill 后，是否一定能变得更好

不同 Skill 对比：同等条件下比质量和成本

有无 Skill 对比：判断该 Skill 是保留还是下线

安全合规：

会不会出事？

数据隐私：泄露客户信息、越权操作

行业规范：违反合规要求

约束遵守度：检查隐私、权限和操作范围

自定义评估器：把合规及业务规则纳入到判分体系

除了上述特色功能，技能评测还支持对产物的评测以及多轮对话评测。

AgentKit 让 Skill 的每一次变更、每一次选型都有据可依，上线也更安心。想体验更多技能能力，欢迎点击阅读原文，预约咨询。