エンジニアでない人のための LLM 評価：使う前に AI の答えを確かめる方法

AI の答えに確認が要る理由

言語モデルは、正しくても正しくなくても、なめらかな文章を書きます。2024 年 1 月、Stanford RegLab と HAI の研究者は、調べたモデル（GPT-3.5、Llama 2、PaLM 2）が具体的な法律の質問に 69%〜88% の割合で誤った内容を答え、裁判所の判断の核心を聞かれると少なくとも 75% で誤ったと報告しました。モデルはその後よくなりましたが、傾向は変わりません。具体的な事実、引用、専門的な話題に間違いが隠れます。

くり返す仕事では、この確認のエンジニア版が evals です。Anthropic は eval を「AI のシステムに対するテスト」と定義しています。入力と、出力に当てる採点のロジックです。OpenAI の評価のベストプラクティスも同じ流れを示しています。目的を決め、データを集め、測り方を決め、流して比べ、変わるたびに評価を続ける。NIST の AI リスク管理フレームワークは、測定を 4 つの機能の 1 つに挙げています。

小さなチームにとっての意味

• 責任は送る人にある。「AI が書いた」は、お客さんには通りません。
• 間違いは、よい仕事に見える。自信ありげな段落の中の間違った数字は見落としやすい。
• 共有のプロンプトは間違いを増やす。欠けのあるチームのスキルは、全員に同じ間違いを出させます。共有のスキルにテストのセットが要るのはそのためです。

具体例

例として架空の会社を使います。6 人のデザイン事務所ルーメン・デザインは、提案資料のために短い市場の要約を AI に頼みました。下書きは「2025 年の Gartner の報告」を引いて市場規模を書き、競合の創業者の言葉を引用していました。

デザイナーは使う前に見直しました。主張は 5 つ。市場規模、報告、引用、競合の名前 2 つ。その題の報告は見つからず、引用はどこにも載っておらず、競合の 1 社は昨年閉じていました。市場規模は自分で開ける情報源の数字に替え、引用は消し、競合の一覧を直しました。仕上がった段落は短くなり、どの主張にもリンクがつきました。

AI の答えの見直し方

1. 自分の頼みごとを読み返し、答えに入るべきことを書き出す。
2. 具体的な主張すべてに印をつける。名前、数字、日付、引用、法律、料金。
3. 主張を 1 つずつ、自分で開いた情報源で確かめる。確かめられないものは消すか直す。
4. 口調と約束を確かめる。会社が守れないこと、お客さんが約束と読みそうなことは入れない。
5. くり返す仕事なら、頼みごとと直した答えを、テストのセットの 1 問として保存する。

よくある誤解

• 「出典があるから正しい」出典を開きます。出典はつくり話のことも、読み違いのこともあります。
• 「ベンチマークで正確だと出ている」ベンチマークが測るのは一般的な仕事で、あなたのお客さんの数字ではありません。
• 「全部見直していたら回らない」リスクで分けます。お客さんが見るものは必ず、社内のメモは軽く。

よくある質問

AI の答えが正しいかどうか、どうすればわかる？

事実の主張を 1 つずつ、信頼できる情報源で確かめ、示されたリンクや出典をすべて開き、頼んだ内容と答えを比べます。名前、数字、日付、引用、法律や医療についての記述は、確かめるまで未確認として扱います。

AI はどのくらい作り話をする？

仕事によります。2024 年 1 月に公開された Stanford RegLab と HAI の研究では、調べたモデル（GPT-3.5、Llama 2、PaLM 2）が、具体的な法律の質問で 69%〜88% の割合で誤った内容を答えました。新しいモデルは多くの仕事でよくなっていますが、具体的な事実はいまも確かめが要ります。

答えのレビューと evals の違いは？

レビューは、使う前に 1 つの出力を確かめることです。evals は、同じ仕事を 20 以上の保存した例で試し、プロンプトやスキルやモデルを変えたときに、答えが全体としてよくなったか悪くなったかを見ることです。