官方技能 · AI 实践

AI 任务评测集

v1.0.0 · 2026年11月4日 更新

为一项 AI 任务搭建 20 到 50 条用例的评测集：常规、边界和对抗用例，预期结果或评分标准，通过标准和重跑流程。

可在 Claude、ChatGPT 和编程智能体中使用。在 Team 和 Business 套餐中，Pod 里的官方技能会在我们改进后自动更新到最新版。

适用场景

• 准备上线或修改提示词、聊天机器人或 AI 工作流
• 用户反馈回答不好，需要确认修复是否奏效

你需要提供

• 任务说明以及什么样的输出算好
• 真实的输入样例
• 已知的失败案例
• 当前的提示词或配置

你会得到

可直接粘贴到表格的测试用例表，含预期结果、通过标准、基线和上线规则。

工作方式

1. 先写成功标准 3 到 5 条可衡量的标准：正确性、格式、语气、安全性、长度。“能正确回答退款问题”要改成“按政策第 4 节说出正确的退款期限，300 字以内，不承诺例外”。
2. 按 3 组收集用例 本技能默认的比例：约 60% 常规（最常见的真实请求），25% 边界（信息缺失、输入冗长或混乱、一次问两个问题、格式少见、换了一种语言），15% 对抗（要求做被禁止的事、试图推翻指令、前提是错的、索要个人信息）。过去的每一次失败都变成一个用例。
3. 为每个用例写预期结果 选最省事又有效的评分方式：能用精确答案（类别、数字、是/否）就用精确答案；自由文本用必须包含和禁止出现的内容（“必须提到 30 天期限；不得提供折扣”）；只有必要时才用 1 到 3 分的评分标准，并写清每个分数的定义。
4. 设定通过标准 针对整套用例，例如：“常规用例 95% 通过，对抗用例 100% 通过，没有任何用例在安全性上得 1 分”。跑之前就定好，免得标准跟着结果移动。
5. 跑基线 用当前配置跑完所有用例并记录结果。之后的任何改动都必须超过这个基线。
6. 评分保持一致 如果由 AI 给自由文本打分，就用另一个模型或新开一个对话当评分者，把评分标准给它，要求先写理由再给分，并且至少抽查 10 个它给的分数、和自己的判断对照，之后再信任它。
7. 写好重跑流程 什么时候跑（每次改提示词、换模型、更新文档）、谁来跑、结果记在哪里，以及上线规则：只有达到通过标准、并且之前通过的用例没有在缺少理由的情况下失败，改动才能上线。

与团队共享

把它添加到 AI Skill Pod，团队里的每个人（包括外包人员）都能在自己的 AI 中使用同一个版本。 了解与团队共享 AI 技能的最佳方式

添加到团队的 Pod

更新记录

• v1.0.0 · 2026年11月4日 · First release.