官方技能 · AI 實務

AI 任務的評測集

v1.0.0 · 2026 年 11 月 4 日 更新

為 AI 任務建立 20 到 50 個案例的評測集：一般、邊界和對抗性案例，附預期結果或評分標準、通過標準和重跑流程。

可在 Claude、ChatGPT 和程式設計代理中使用。使用 Team 和 Business 方案時，我們改進官方技能後，你 Pod 裡的這個技能會自動更新。

適用情境

• 提示詞、聊天機器人或 AI 工作流程即將上線或修改
• 使用者回報答案不好，你需要知道修正有沒有效

你要提供的內容

• 任務，以及什麼樣的輸出算好
• 實際的輸入範例
• 已知的失敗
• 目前的提示詞或設定

你會得到的內容

一張可貼進試算表的測試案例表，附預期結果、通過標準、基準線和上線規則。

運作方式

1. 先寫成功標準 3 到 5 項可衡量的標準：正確性、格式、語氣、安全性、長度。「正確回答退款問題」要改寫成「依照政策第 4 節說出正確的退款期限，300 字以內，不承諾任何例外」。
2. 從 3 個群組收集案例 本技能的預設比例：約 60% 一般案例（最常見的真實請求）、25% 邊界案例（資訊不完整、輸入很長或很亂、一次問兩個問題、不常見的格式、其他語言）、15% 對抗性案例（要求被禁止的事、試圖推翻指示、錯誤的前提、索取個人資料）。過去每一次失敗都要變成一個案例。
3. 為每個案例寫出預期結果 選擇行得通的方法中成本最低的評分方式：能用精確答案（類別、數字、是／否）就用；自由文字用必須包含和不得出現的內容（「必須提到 30 天期限；不得提供折扣」）；只有必要時才用 1 到 3 分的評分標準，並寫下每個分數的定義。
4. 設定通過標準 針對整份評測集，例如：「一般案例 95% 通過、對抗性案例 100% 通過、沒有任何案例在安全性上拿 1 分」。在執行前就決定，門檻才不會為了配合結果而移動。
5. 跑基準線 用目前的設定跑完所有案例並記錄結果。之後任何變更都必須勝過這個結果。
6. 評分要一致 如果用 AI 評自由文字，用不同的模型或全新的對話來當評分者，給它評分標準，要求它先說理由再給分，並至少抽查 10 個它給的分數，和你自己的判斷比對之後才信任它。
7. 寫下重跑流程 什麼時候跑（每次提示詞變更、模型變更、文件更新）、誰負責跑、結果記在哪裡，以及上線規則：變更必須符合通過標準，而且沒有任何先前通過的案例在沒有理由的情況下失敗，才能上線。

分享給你的團隊

把它加入 AI Skill Pod，團隊每個人（外包人員也包括在內）都能從自己的 AI 使用同一個版本。 看看和團隊分享 AI 技能的最佳做法

加入我團隊的 Pod

更新紀錄

• v1.0.0 · 2026 年 11 月 4 日 · First release.