ITワクワク塾AIエージェントの評価（Evals）とは？成果と行動を確かめる方法
オンライン文書の版番号：未確認
AIエージェントの作業の進め方を変えたあと、「前より良くなった」と何を見て判断すればよいのでしょうか。AIエージェントの評価（Evals）の考え方を説明します。架空のイベント案内サイトでリンクを修正する例を使い、成果と途中の行動の確かめ方を見ていきましょう。
AIエージェントの評価（Evals）とは
Evalsは、AIの結果や途中の行動を、決めた基準で確かめる評価です。用意した課題で変更前後を比べる方法も、実際の利用中に残った記録を評価する方法もあります。この記事で扱うのは前者です。AIエージェントでは、最後の返答に加え、ツールを使った過程や作業後の状態も確かめます。
1つの評価課題を実行した1回分を「試行」と呼びます。その試行で何をしたかを残したものが「実行記録」です。複数の課題をまとめておけば、指示やモデルを変えたときも同じ条件で試し、変化を確かめられます。
代表的な課題を複数用意する
リンク切れを直せたという1回の成功から、どんなリンクでも適切に直せるとはいえません。例えば、案内ページに古いリンクがある場合、リンク先は開くものの別の催しに着く場合、正しい行き先が資料にない場合では、求める行動が違います。
最初の課題では、正しいURLへの修正が成功条件です。2つ目は、リンク確認ツールが成功を示しても、案内文に合うページを選んだかまで見ます。3つ目では、エージェントが推測で公開内容を変えず、人に確認を求めたかが重要です。
課題ごとに、最初のページの状態、エージェントへの依頼、使える資料、成功条件をそろえておきます。指示を守っても正解にたどり着けない課題では、評価の結果を信頼できません。人が先に試し、期待する状態を実現できるか確かめます。
返答と、実際に起きたことを分けて見る
エージェントが「直しました」と答えても、ページのリンクが変わっていないかもしれません。反対に、リンクは直っていても、変更してはいけない別の箇所まで書き換えた可能性があります。
この例なら、作業後のページを開き、行き先が案内文と合うか確認します。さらに実行記録を見れば、リンク確認ツールを使ったか、判断材料がないときに人へ尋ねたかも分かるでしょう。OpenAIは、ツールの選択や指示違反など、途中の行動を記録から採点する方法を紹介しています。
ただし、操作の順番を細かく固定すると、別の正しい進め方まで失敗と判定しかねません。確認したいのが成果なのか、必ず守るべき行動なのかに合わせて基準を決めます。
判定する方法を選ぶ
リンクが開くか、対象外のファイルを変えていないかは、プログラムで確かめられます。案内文とリンク先の意味が合うかは、文章を読んだ判断が必要です。採点方法を1つにそろえる必要はありません。
意味の判断を別のAIモデルへ任せる方法もあります。ただし、その判定も誤るため、最初は人の判断と見比べ、食い違った課題を調べることが大切です。特に公開内容が適切かどうかは、機械的な成功表示だけで決められません。
同じ課題で変更前後を比べる
エージェントの指示を直したり、使うツールやモデルを変えたりしたら、同じ評価課題と採点基準でもう一度実行します。前は解けた課題が解けなくなっていれば、別の課題で改善していても見直しが必要です。
各試行の前には、案内ページを同じ状態に戻します。前の試行が直したリンクを残すと、次の試行だけ簡単になってしまうためです。エージェントの結果は同じ課題でも変わり得るので、重要な判断では複数回試し、1回の成功や失敗だけで変化を言い切らないようにします。
評価課題も手入れが必要です。実際に起きた失敗を課題へ加え、正しい別の解き方が失敗扱いになっていないか、人が実行記録を見直します。
近い考え方との関係
プロンプトエンジニアリングは指示の書き方を、コンテキストエンジニアリングはモデルに渡す情報を整える考え方です。ハーネスエンジニアリングでは、ツールや実行環境、結果を確かめる手段も用意します。
ループエンジニアリングは、個々の仕事の中で結果を見て次へ進むかを決める考え方です。Evalsでは、複数の仕事を用意した課題として実行し、仕組みを変えた前後で成果や行動を比べます。ハーネスで用意した確認手段を、評価にも使えるでしょう。
製品での使われ方
OpenAIの公式ドキュメントは、エージェントの実行記録を採点し、繰り返し比べる段階では課題のデータセットを使う流れを説明しています。Anthropicは、結果や行動を確かめる基準と、複数回の試行を組み合わせる方法を紹介しました。
初めて取り入れるなら、いつも人が手作業で確認している課題を1つ選び、その開始状態と成功条件を書き出してみてください。評価を増やすのは、最初の課題で結果を見比べられるようになってからで十分です。