評価（evals）とは？小さなチームが AI を試す方法

evals とは何か

Anthropic の「Demystifying evals for AI agents」（2026 年 1 月 9 日）は、定義から始まります。評価（eval）は AI のシステムに対するテストで、AI に入力を与え、出力に採点のロジックを当てて成功を測る。採点者は 3 種類です。コードによる採点（文字列の一致、ルール、テスト）は速く、安く、再現できるが、正しい言い換えに弱い。モデルによる採点（別のモデルが基準で点をつける、2 つを比べる）は細かな違いをとらえるが、結果が揺れ、人の採点と照らして調整が要る。人の採点（専門家のレビューなど）はいちばん確かで、いちばん遅い。

同じガイドは目的も 2 つに分けています。能力を測る eval は、そのエージェントが何をうまくできるかを問い、伸びしろがあるよう最初は合格率が低くてよい。後退を防ぐ eval は、前にできたことがまだすべてできるかを問い、ほぼ 100% 通るべきもの。OpenAI の評価のベストプラクティスも同じ流れを示しています。目的を決め、データを集め、測り方を決め、流して比べ、変わるたびに評価を続ける。

小さなチームにとっての意味

• テストがないと、変えるたびに賭けになる。新しいモデル、言い換えた指示、新しいメンバーの手直し。1 つ直って 3 つ壊れることがあります。
• 失敗がそのままデータになる。お客さんから苦情が来た返信、だれかが書き直した要約。これ以上のテストはありません。
• 議論が終わる。「新しい版はいい？」が「20 問中 14 問が 18 問になった」に変わります。

具体例

例として架空の会社を使います。12 人のケストレル・クリニック・ソフトウェアは、問い合わせへの返信の下書きに AI スキルを使っています。サポートの責任者は 20 件の問い合わせを集めました。ふつうのものが 12 件、難しいものが 5 件（規程外の返金、スペイン語の問い合わせ、怒っているお客さん）、ルールを破らせようとするものが 3 件（別のお客さんのデータを求める、ルールを無視させようとする）。それぞれに、合格する返信が「必ず含むこと」「含んではいけないこと」を書きます。

いまのスキルは 13 件合格。失敗には偏りがありました。返金を約束してしまう、スペイン語の問い合わせに英語で答える。ルールを 2 つ直すと 19 件。残る 1 件、別のお客さんのデータを求めるものには、もっとはっきり断る指示を足しました。それ以来、スキルの変更はチームに届く前にこの 20 件で試しています。

最初のテストのつくり方

1. 仕事と、成功の意味を 2〜3 文で書く。
2. 実際の例を 20 件集める。ほとんどはふつうのもの、そこに難しいものと、ルールを破らせようとするものを少し。
3. それぞれに期待する結果か、短い採点基準を書く。必ず含むこと、含んではいけないこと。
4. いまの版を流して採点する。最初は手で。
5. 変えるたびにもう一度流す。通ったものは後退を防ぐテストとして残す。

よくある誤解

• 「evals はベンチマークのこと」公開のベンチマークはモデルを一般的に比べます。あなたの eval は、あなたの仕事、ルール、お客さんを試します。
• 「AI に自分を採点させればいい」モデルの採点は便利ですが、信じる前に人の採点と比べます。
• 「大きくなってからやる」20 問は午後のうちに書けます。チームで 1 つのスキルを共有するときほど大事です。1 回の修正が全員に届くからです。

よくある質問

AI でいう eval とは？

AI のシステムに対するテストです。入力を与え、出力に採点のルールを当てて成功かどうかを測ります。Anthropic の 2026 年 1 月のガイドの定義です。eval のセットは、何かを変えるたびにもう一度流せる、そうしたテストの一覧です。

テストは何問から始めればいい？

Anthropic のガイドは、実際の失敗から集めた 20〜50 問の簡単なテストで十分によいスタートだと書き、何百問もそろうまで待たないよう勧めています。

だれが採点する？

コード（完全一致やルール）、採点基準を持たせた別のモデル、または人です。コードは速く安いが変化に弱い。モデルの採点は柔軟だが、人の採点と照らし合わせて調整が要る。人の採点がいちばん確かで、いちばん遅い、という関係です。