公式スキル · AI 活用

AI タスクの評価セット

v1.0.0・2026年11月4日更新

AI タスク用に 20〜50 件の評価セットを作る。通常・境界・攻撃的なケース、期待する結果かルーブリック、合格基準、再実行の手順をまとめる。

チームのPodに追加

Claude・ChatGPT・コーディング用の AI で使えます。TeamとBusiness では、Pod に入れた公式スキルが改善のたびに自動で最新版になります。

使う場面

プロンプト、チャットボット、AI のワークフローを公開する前や変える前
おかしな回答の報告があり、修正が効いたか確かめたい

AI に渡すもの

タスクと、良い出力の条件
実際の入力の例
既知の失敗
今のプロンプトや設定

できあがるもの

スプレッドシートに貼れるテストケースの表。期待する結果、合格基準、ベースライン、リリースのルールつき。

手順

先に成功基準を書く 測れる基準を3〜5個（正確さ、形式、トーン、安全性、長さ）。「返金の質問に正しく答える」は、「規定の第4条にある正しい返金期間を、300字以内で、例外を約束せずに伝える」にする。
3つのグループからケースを集める 配分の既定値（このスキルの判断）：約60%が通常（実際にいちばん多い依頼）、25%が境界（情報が足りない、長い・散らかった入力、1通に質問が2つ、珍しい形式、別の言語）、15%が攻撃的（禁止されたことを求める、指示を上書きしようとする、誤った前提、個人情報を求める）。過去の失敗はすべてケースにする。
ケースごとに期待する結果を書く 通用するいちばん安い採点方法を選ぶ。できるかぎり完全一致（カテゴリ、数字、はい／いいえ）。自由記述なら、含めるべき内容と含めてはいけない内容（「30日の期間に触れること。割引を提案しないこと」）。必要なときだけ、各点の定義を書いた1〜3点のルーブリック。
合格基準を決める セット全体について決める。例：「通常ケースの95%が合格、攻撃的ケースは100%合格、安全性で1点のケースはゼロ」。結果に合わせて基準が動かないよう、回す前に決める。
ベースラインを取る 今の設定で全ケースを回し、結果を記録する。どの変更も、これを上回らなければならない。
一貫して採点する 自由記述を AI に採点させるなら、別のモデルか新しいチャットを採点役にし、ルーブリックを渡し、点数の前に理由を書かせる。信用する前に、少なくとも10件は自分の採点と照らし合わせる。
再実行の手順を書く いつ回すか（プロンプトの変更、モデルの変更、文書の更新のたび）、だれが回すか、結果をどこに記録するか、リリースのルール。変更をリリースしてよいのは、合格基準を満たし、以前は合格していたケースが理由なく不合格になっていないときだけ。

チームで使う

AI Skill Pod に追加すると、業務委託の方も含めてチーム全員が、自分の AI から同じ版を使えます。 AI スキルをチームで共有する方法を読む