評価
評価指標と基準を設定し、AIエージェントの応答を繰り返し採点して、プロンプトやモデルの変更で品質が改善したかをスコアで確認するLLM評価モジュールです。
DATUMO の評価は、AI サービス(Application)を どの基準で、どのデータで、どの方法で 評価するかを整理しておき、実行する機能です。
ひとことで言うと
Application ごとに評価基準のまとまりである Criteria を作成し、その中で評価領域ごとに Task を構成します。Task は評価データである Benchmark Set 1 つ と、採点方法である Metric 複数 で構成され、実際の評価は Task 単位で実行されます。
評価の構造
| 単位 | 役割 | 下位の構成 |
|---|---|---|
| Application | 評価対象の AI サービス | 複数の Criteria |
| Criteria | 評価基準のまとまり | 4 つの評価領域(General Performance、Policy & UX、Safety、Module Performance)。画面では Task Group として表示されます。 |
| Subgroup | Application 単位の評価領域の中で、Task をテーマ別にまとめるグループ | 複数の Task |
| Module | Module Performance の下に表示される、Application に設定した Module | 複数の Task |
| Task | 何を評価するかを定義し、実際の評価を実行する単位 | Benchmark Set 1 つ + 複数の Metric |
| Benchmark Set | Task の評価に使うデータの集まり | 複数件のデータ |
| Metric | 出力を計算または判定してスコアを付ける方法 | - |
Subgroup で Task をまとめる
General Performance、Policy & UX、Safety では、Subgroup を作成して Task をテーマ別にまとめます。Module Performance では、Subgroup の代わりに Application に設定した Module でまとめます。
例で見る
金融相談チャットボットをリリース前に評価する場合を例に説明します。
Task の構成例
各 Task は、以下のように Benchmark Set 1 つと複数の Metric を持ちます。
| Task | Benchmark Set | Metric |
|---|---|---|
| 金融商品情報の検索 | 商品に関する質問 200 件 | AnswerAccuracy, Similarity, ExactMatch |
| 商品条件の比較 | 商品比較の質問 80 件 | AnswerAccuracy, Similarity |
| 金融用語の説明 | 金融用語の質問 120 件 | AnswerAccuracy, Similarity |
| 金融制度の案内 | 金融制度の質問 100 件 | AnswerAccuracy, Similarity |
| 預金利息の計算 | 利息計算の問題 50 件 | ExactMatch, AnswerAccuracy |
| ローン返済額の計算 | 返済額計算の問題 50 件 | ExactMatch, AnswerAccuracy |
| 回答の完結性評価 | 相談シナリオの質問 100 件 | 回答の完結性 (Custom) |
| わかりやすい説明の提供 | 相談シナリオの質問 100 件 | わかりやすさ (Custom) |
| 投資勧誘規定の遵守 | 投資相談の質問 80 件 | 勧誘規定の遵守 (Custom) |
| 説明義務の遵守 | 商品加入の相談 80 件 | 説明義務の遵守 (Custom) |
| 相談時の口調の維持 | 相談の会話 100 件 | 口調の一貫性 (Custom) |
| 苦情対応時の口調 | 苦情問い合わせの会話 60 件 | 共感表現 (Custom) |
| 有害なリクエストの拒否 | 有害な質問 150 件 | refusal label, response harmfulness score |
| 違法取引リクエストの拒否 | 違法な金融の質問 100 件 | refusal label, response harmfulness score |
| 個人情報漏えいの防止 | 個人情報を引き出す質問 100 件 | refusal label, 個人情報の露出有無 (Custom) |
| 他人の情報照会の拒否 | 他人の情報のリクエスト 80 件 | refusal label, 個人情報の露出有無 (Custom) |
| 脱獄の試みの拒否 | 脱獄プロンプト 120 件 | refusal label, response harmfulness score |
| プロンプトインジェクションの防御 | インジェクションプロンプト 100 件 | refusal label, response harmfulness score |
| 質問タイプの分類 | 質問・正解タイプ 100 件 | ExactMatch |
| オペレーター接続の判断 | 接続リクエストの質問 80 件 | ExactMatch |
| 質問意図に基づくドキュメント検索 | 質問・正解ドキュメント 100 件 | Context Relevancy, Precision@k |
| 最新ドキュメント優先の検索 | 質問・正解ドキュメント 80 件 | Context Relevancy, Precision@k |
| 根拠に基づく回答生成 | 質問・検索ドキュメント 100 件 | Faithfulness, Response Relevancy |
| 回答の出典表示 | 質問・検索ドキュメント 80 件 | 出典表示の有無 (Custom) |
Benchmark Set の構成例
例の Benchmark Set は、入力、参照、メタデータのキーで構成します。何を評価するかによって、含めるキーが変わります。以下は、同じ 1 つの質問で 3 つの Task の Benchmark Set を構成した例です。
金融商品情報の検索(商品に関する質問 200 件):最終回答が正解と一致するかを確認します。正解の回答を参照として入れます。
| id | query (入力) | expected_response (参照) | source (メタデータ) | 人手レビュー有無 (メタデータ) |
|---|---|---|---|---|
| 1 | サンプル定期預金を中途解約すると、利息はどうなりますか? | 約定金利の代わりに中途解約金利が適用されます。 | 商品 FAQ | Y |
質問意図に基づくドキュメント検索(質問・正解ドキュメント 100 件):Retriever が質問に合うドキュメントを見つけたかを確認します。見つけるべき正解ドキュメントを参照として入れます。
| id | query (入力) | reference_context (参照) | source (メタデータ) |
|---|---|---|---|
| 1 | サンプル定期預金を中途解約すると、利息はどうなりますか? | サンプル定期預金 商品説明書(中途解約条項) | 商品説明書 |
根拠に基づく回答生成(質問・検索ドキュメント 100 件):Generator が検索されたドキュメントを根拠に回答したかを確認します。検索されたドキュメントを入力として一緒に入れます。この Task の Metric は参照なしで採点するため、参照は入れません。
| id | query (入力) | retrieved_context (入力) | source (メタデータ) |
|---|---|---|---|
| 1 | サンプル定期預金を中途解約すると、利息はどうなりますか? | サンプル定期預金 商品説明書(中途解約条項) | 商品説明書 |
メタデータは評価には使いません。レビューの有無や出典のように、データを管理するときに使います。response のように評価時に生成される出力は入れません。
例の Criteria、Subgroup、Task の名前とデータ件数は、説明のために設定した値です。Custom Metric は、ユーザーが自分で作成する Metric です。
Criteria
Criteria は、Application をどの基準で評価するかを整理したまとまりです。1 つの Application に複数の Criteria を作成できるため、リリース前の検証用と定期点検用のように、目的に応じて評価基準を分けて管理できます。
Criteria は 4 つの評価領域に分かれています。このうち確認したい領域に Task を作成します。上の金融相談チャットボットの例の Task を使って説明します。
| 評価領域 | 確認すること | Task の例 |
|---|---|---|
| General Performance | 基本として備えるべき知識と能力があるか | 金融商品情報の検索 |
| Policy & UX | 社内ポリシーとガイドラインを守り、ユーザー体験に合った応答をしているか | 回答の完結性評価 |
| Safety | 危険になりうる応答をしていないか | 有害なリクエストの拒否 |
| Module Performance | Application を構成する各 Module が担当する役割を十分に果たしているか | 質問意図に基づくドキュメント検索 (Retriever) 根拠に基づく回答生成 (Generator) |
-
Application 単位の評価(General Performance、Policy & UX、Safety):Application 全体を 1 つの評価対象とみなし、最終応答を評価します。各評価領域の下に複数の Subgroup を作成し、Task をテーマ別にまとめます。
-
Module 単位の評価(Module Performance):Application 内の個々の Module(例:Retriever、Generator)を個別に評価します。Module Performance の下には Application に設定した Module の一覧が表示され、Module ごとに Task を構成します。
Module 単位の評価の例
RAG ベースの Application では、Retriever がドキュメントを探し、Generator が回答を作成します。
Application 単位の評価 は、最終回答だけを採点します。
Module 単位の評価 は、2 つの Module の結果を個別に採点します。そのため、最終回答のスコアが低いときに、どの Module で問題が起きたのかを特定できます。
Generator だけを評価する場合は、検索したドキュメントも Benchmark Set に一緒に入れます。
Module Performance に表示される Module は、Application の設定に従います。Application の設定方法は G-5. Application の作成を参照してください。
Task
Task は、何を評価するかを定義し、実際の評価を実行する単位です。1 つの Task は次の 2 つで構成されます。
- Benchmark Set 1 つ:評価に使うデータ
- 複数の Metric:データから生成された結果を採点する方法
Task の例:金融商品情報の検索、質問意図に基づくドキュメント検索
1 つの Benchmark Set を複数の Metric で同時に採点するため、同じデータをさまざまな観点から評価できます。
Application を初めて作成すると、入力した Application の情報(Type、Domain、Language など)に合った Task がテンプレートから自動で推奨され、設定されます。
Safety 領域の Task は、DATUMO が作成したテンプレートですぐに始められます。 テンプレートには評価データと Metric が含まれています。有害なリクエストへの対応のような安全性の評価を、一から設計する必要はありません。提供している Benchmark Set は Datumo Benchmark Set の紹介 で確認します。
Benchmark Set
Benchmark Set は、Task の評価に使う基準データの集まりです。
評価の目的に合った複数件のデータで構成されます。
列の構成
Benchmark Set の各列には、評価で担う役割が決まっています。
サンプルデータ
| id | query(入力) | expected_response(参照) | source(メタデータ) |
|---|---|---|---|
| 1 | サンプル定期預金を中途解約すると、利息はどうなりますか? | 約定金利の代わりに中途解約金利が適用されます。 | 商品 FAQ |
| 2 | サンプル積立預金は最低いくらから加入できますか? | 月 1 万ウォンから加入できます。 | 商品説明書 |
| 3 | サンプル定期預金の加入期間はどうなっていますか? | 6 か月、12 か月、24 か月から選択できます。 | 商品説明書 |
よく使うキー
DATUMO では、よく使う列名を標準キーとして定めています。Benchmark Set の列名を標準キーに合わせると、Metric と列を紐付ける作業(Key Mapping)が簡単になります。
| キー | 主な用途 | 説明 |
|---|---|---|
query | 入力 | ユーザーの質問 |
retrieved_context | 入力、出力 | Retriever が検索したドキュメントの一覧 |
response | 出力 | Application または Module の回答 |
expected_response | 参照 | 期待される回答(正解)。選択式の問題では正解の選択肢 |
reference_context | 参照 | 検索されるべき正解ドキュメントの一覧 |
Metric
Metric は、Application または Module の出力をどのような方法で計算または判定するかを定義します。1 つの Task に複数の Metric を紐付けられます。
Metric の種類
Metric の種類は 5 つです。
| 種類 | 採点方法 | 例 |
|---|---|---|
| LLM as Judge(LLM による判定) | Judge Model が、決められたプロンプトとルーブリックで判定します。 | Faithfulness, Context Relevancy |
| Rule-Based(ルールベース) | 決められたルールや計算式(一致、単語の重なり、順位)でスコアを算出します。 | ExactMatch, BLEU, ROUGE, Precision@k |
| Embedding | 文をベクトルに変換し、意味がどれだけ近いかを計算します。 | BERT Precision |
| Statistical Metric(統計指標) | データごとの判定を Benchmark Set 全体で集計し、割合を計算します。 | F1 Score、Recall |
| Custom(ユーザー定義) | ユーザーが決めた基準で Judge Model が判定します。Generative Model(生成型モデル)と Decision Model(判断型モデル)から選びます。 | 回答の完結性、返金ポリシーの正確性 |
- 最初の 4 種類は、DATUMO が提供するテンプレートから選んで使います。
- Custom Metric は、Task の Metric 設定画面(
+ Add Metric›Custom)で自分で作成します。 - LLM as Judge の Metric も、プロンプトとルーブリックを修正して評価基準を変更できます。
- 正解(参照)がない場合は、LLM as Judge または Rule-Based の Metric を使う必要があります。
- Judge Model は、G-4. Gen & Judge Model の登録で登録したモデルの中から選択します。Embedding の Metric は、同じ画面で登録した Embedding モデルを使います。Decision Model(Davi、Jev)は DATUMO モデルとして提供されます。
- Custom Metric では、スコアに加えて一緒に受け取る結果の列(例:理由、Risk Level)を定義できます。
評価全体の流れ
評価は、Benchmark Set のデータを Application または Module に入力し、生成された出力を Metric で採点して評価結果を作成する方法で進みます。
- Benchmark Set の入力値を Application または Module に渡します。
- Application または Module が出力を生成します。
- Metric が出力を採点します。Metric によっては入力と参照も一緒に使い、どの列を Metric の入力として使うかは Key Mapping で指定します。
- データごとのスコアと判定根拠が評価結果として保存されます。
例:1 件のデータが採点される過程
データと採点結果
金融商品情報の検索 Task の 1 件のデータが評価される過程です。
| 項目 | 値 |
|---|---|
| query(入力) | サンプル定期預金を中途解約すると、利息はどうなりますか? |
| response(出力) | 中途で解約された場合、約定金利ではなく中途解約金利で利息が計算されます。 |
| expected_response(参照) | 約定金利の代わりに中途解約金利が適用されます。 |
| Metric | 採点基準 | 結果 |
|---|---|---|
| ExactMatch (Rule-Based) | 正解と文が完全に同じなら 1.0、そうでなければ 0.0 | 0.0:表現が異なるため不一致 |
| Similarity (LLM as Judge) | 表現の違いを超えて、核心となる意味が正解と一致するかを判定 | 高いスコア:意味が同じ |
回答の意味は正解と同じですが、ExactMatch は文の表現が異なるという理由で 0 点を付けます。このように同じ回答でも Metric によって評価が異なるため、評価の目的に合った Metric を選び、必要に応じて複数の Metric を一緒に紐付けてください。
評価結果は評価時点の値で保存されます。評価が終わった後に Benchmark Set の入力・参照や Metric の設定を変更しても、すでに出た結果は変わりません。ただし、メタデータは評価結果とダッシュボードで最新の値が表示されます。
次のステップ
| ドキュメント | 扱う内容 |
|---|---|
| E-1. Criteria の管理 | Criteria、Subgroup、Task の構成方法 |
| E-2. Task の管理 | Task の基本情報、Schema、Metric、Benchmark Set の管理方法 |
| E-3. Benchmark Set の管理 | Benchmark Set のアップロードと AI によるデータ生成の方法 |
| E-4. Metric の管理 | Default・Custom の Metric の種類と追加方法、Key Mapping、プレビュー |
| E-5. 評価の実行 | 評価の実行と履歴の確認方法 |
| E-6. 評価履歴 | 評価結果の確認、エラー、再試行の管理方法 |
| E-7. ダッシュボード | 評価結果の可視化と分析の方法 |