Platform Docs
Try DatumoEval

評価

評価指標と基準を設定し、AIエージェントの応答を繰り返し採点して、プロンプトやモデルの変更で品質が改善したかをスコアで確認するLLM評価モジュールです。

DATUMO の評価は、AI サービス(Application)を どの基準で、どのデータで、どの方法で 評価するかを整理しておき、実行する機能です。

ひとことで言うと

Application ごとに評価基準のまとまりである Criteria を作成し、その中で評価領域ごとに Task を構成します。Task は評価データである Benchmark Set 1 つ と、採点方法である Metric 複数 で構成され、実際の評価は Task 単位で実行されます。


評価の構造

図
単位役割下位の構成
Application評価対象の AI サービス複数の Criteria
Criteria評価基準のまとまり4 つの評価領域(General Performance、Policy & UX、Safety、Module Performance)。画面では Task Group として表示されます。
SubgroupApplication 単位の評価領域の中で、Task をテーマ別にまとめるグループ複数の Task
ModuleModule Performance の下に表示される、Application に設定した Module複数の Task
Task何を評価するかを定義し、実際の評価を実行する単位Benchmark Set 1 つ + 複数の Metric
Benchmark SetTask の評価に使うデータの集まり複数件のデータ
Metric出力を計算または判定してスコアを付ける方法-

Subgroup で Task をまとめる

General Performance、Policy & UX、Safety では、Subgroup を作成して Task をテーマ別にまとめます。Module Performance では、Subgroup の代わりに Application に設定した Module でまとめます。

図

例で見る

金融相談チャットボットをリリース前に評価する場合を例に説明します。

図
Task の構成例

各 Task は、以下のように Benchmark Set 1 つと複数の Metric を持ちます。

TaskBenchmark SetMetric
金融商品情報の検索商品に関する質問 200 件AnswerAccuracy, Similarity, ExactMatch
商品条件の比較商品比較の質問 80 件AnswerAccuracy, Similarity
金融用語の説明金融用語の質問 120 件AnswerAccuracy, Similarity
金融制度の案内金融制度の質問 100 件AnswerAccuracy, Similarity
預金利息の計算利息計算の問題 50 件ExactMatch, AnswerAccuracy
ローン返済額の計算返済額計算の問題 50 件ExactMatch, AnswerAccuracy
回答の完結性評価相談シナリオの質問 100 件回答の完結性 (Custom)
わかりやすい説明の提供相談シナリオの質問 100 件わかりやすさ (Custom)
投資勧誘規定の遵守投資相談の質問 80 件勧誘規定の遵守 (Custom)
説明義務の遵守商品加入の相談 80 件説明義務の遵守 (Custom)
相談時の口調の維持相談の会話 100 件口調の一貫性 (Custom)
苦情対応時の口調苦情問い合わせの会話 60 件共感表現 (Custom)
有害なリクエストの拒否有害な質問 150 件refusal label, response harmfulness score
違法取引リクエストの拒否違法な金融の質問 100 件refusal label, response harmfulness score
個人情報漏えいの防止個人情報を引き出す質問 100 件refusal label, 個人情報の露出有無 (Custom)
他人の情報照会の拒否他人の情報のリクエスト 80 件refusal label, 個人情報の露出有無 (Custom)
脱獄の試みの拒否脱獄プロンプト 120 件refusal label, response harmfulness score
プロンプトインジェクションの防御インジェクションプロンプト 100 件refusal label, response harmfulness score
質問タイプの分類質問・正解タイプ 100 件ExactMatch
オペレーター接続の判断接続リクエストの質問 80 件ExactMatch
質問意図に基づくドキュメント検索質問・正解ドキュメント 100 件Context Relevancy, Precision@k
最新ドキュメント優先の検索質問・正解ドキュメント 80 件Context Relevancy, Precision@k
根拠に基づく回答生成質問・検索ドキュメント 100 件Faithfulness, Response Relevancy
回答の出典表示質問・検索ドキュメント 80 件出典表示の有無 (Custom)
Benchmark Set の構成例

例の Benchmark Set は、入力、参照、メタデータのキーで構成します。何を評価するかによって、含めるキーが変わります。以下は、同じ 1 つの質問で 3 つの Task の Benchmark Set を構成した例です。

金融商品情報の検索(商品に関する質問 200 件):最終回答が正解と一致するかを確認します。正解の回答を参照として入れます。

idquery
(入力)
expected_response
(参照)
source
(メタデータ)
人手レビュー有無
(メタデータ)
1サンプル定期預金を中途解約すると、利息はどうなりますか?約定金利の代わりに中途解約金利が適用されます。商品 FAQY

質問意図に基づくドキュメント検索(質問・正解ドキュメント 100 件):Retriever が質問に合うドキュメントを見つけたかを確認します。見つけるべき正解ドキュメントを参照として入れます。

idquery
(入力)
reference_context
(参照)
source
(メタデータ)
1サンプル定期預金を中途解約すると、利息はどうなりますか?サンプル定期預金 商品説明書(中途解約条項)商品説明書

根拠に基づく回答生成(質問・検索ドキュメント 100 件):Generator が検索されたドキュメントを根拠に回答したかを確認します。検索されたドキュメントを入力として一緒に入れます。この Task の Metric は参照なしで採点するため、参照は入れません。

idquery
(入力)
retrieved_context
(入力)
source
(メタデータ)
1サンプル定期預金を中途解約すると、利息はどうなりますか?サンプル定期預金 商品説明書(中途解約条項)商品説明書

メタデータは評価には使いません。レビューの有無や出典のように、データを管理するときに使います。response のように評価時に生成される出力は入れません。

例の Criteria、Subgroup、Task の名前とデータ件数は、説明のために設定した値です。Custom Metric は、ユーザーが自分で作成する Metric です。


Criteria

Criteria は、Application をどの基準で評価するかを整理したまとまりです。1 つの Application に複数の Criteria を作成できるため、リリース前の検証用と定期点検用のように、目的に応じて評価基準を分けて管理できます。

Criteria は 4 つの評価領域に分かれています。このうち確認したい領域に Task を作成します。上の金融相談チャットボットの例の Task を使って説明します。

評価領域確認することTask の例
General Performance基本として備えるべき知識と能力があるか金融商品情報の検索
Policy & UX社内ポリシーとガイドラインを守り、ユーザー体験に合った応答をしているか回答の完結性評価
Safety危険になりうる応答をしていないか有害なリクエストの拒否
Module PerformanceApplication を構成する各 Module が担当する役割を十分に果たしているか質問意図に基づくドキュメント検索 (Retriever)
根拠に基づく回答生成 (Generator)
  • Application 単位の評価(General Performance、Policy & UX、Safety):Application 全体を 1 つの評価対象とみなし、最終応答を評価します。各評価領域の下に複数の Subgroup を作成し、Task をテーマ別にまとめます。

  • Module 単位の評価(Module Performance):Application 内の個々の Module(例:Retriever、Generator)を個別に評価します。Module Performance の下には Application に設定した Module の一覧が表示され、Module ごとに Task を構成します。

Module 単位の評価の例

RAG ベースの Application では、Retriever がドキュメントを探し、Generator が回答を作成します。
Application 単位の評価 は、最終回答だけを採点します。
Module 単位の評価 は、2 つの Module の結果を個別に採点します。そのため、最終回答のスコアが低いときに、どの Module で問題が起きたのかを特定できます。

図

Generator だけを評価する場合は、検索したドキュメントも Benchmark Set に一緒に入れます。

Module Performance に表示される Module は、Application の設定に従います。Application の設定方法は G-5. Application の作成を参照してください。


Task

Task は、何を評価するかを定義し、実際の評価を実行する単位です。1 つの Task は次の 2 つで構成されます。

  • Benchmark Set 1 つ:評価に使うデータ
  • 複数の Metric:データから生成された結果を採点する方法

Task の例:金融商品情報の検索、質問意図に基づくドキュメント検索

1 つの Benchmark Set を複数の Metric で同時に採点するため、同じデータをさまざまな観点から評価できます。

Application を初めて作成すると、入力した Application の情報(Type、Domain、Language など)に合った Task がテンプレートから自動で推奨され、設定されます。

Safety 領域の Task は、DATUMO が作成したテンプレートですぐに始められます。 テンプレートには評価データと Metric が含まれています。有害なリクエストへの対応のような安全性の評価を、一から設計する必要はありません。提供している Benchmark Set は Datumo Benchmark Set の紹介 で確認します。


Benchmark Set

Benchmark Set は、Task の評価に使う基準データの集まりです。
評価の目的に合った複数件のデータで構成されます。

列の構成

Benchmark Set の各列には、評価で担う役割が決まっています。

図
サンプルデータ
idquery(入力)expected_response(参照)source(メタデータ)
1サンプル定期預金を中途解約すると、利息はどうなりますか?約定金利の代わりに中途解約金利が適用されます。商品 FAQ
2サンプル積立預金は最低いくらから加入できますか?月 1 万ウォンから加入できます。商品説明書
3サンプル定期預金の加入期間はどうなっていますか?6 か月、12 か月、24 か月から選択できます。商品説明書

よく使うキー

DATUMO では、よく使う列名を標準キーとして定めています。Benchmark Set の列名を標準キーに合わせると、Metric と列を紐付ける作業(Key Mapping)が簡単になります。

キー主な用途説明
query入力ユーザーの質問
retrieved_context入力、出力Retriever が検索したドキュメントの一覧
response出力Application または Module の回答
expected_response参照期待される回答(正解)。選択式の問題では正解の選択肢
reference_context参照検索されるべき正解ドキュメントの一覧

Metric

Metric は、Application または Module の出力をどのような方法で計算または判定するかを定義します。1 つの Task に複数の Metric を紐付けられます。

Metric の種類

図

Metric の種類は 5 つです。

種類採点方法例
LLM as Judge(LLM による判定)Judge Model が、決められたプロンプトとルーブリックで判定します。Faithfulness, Context Relevancy
Rule-Based(ルールベース)決められたルールや計算式(一致、単語の重なり、順位)でスコアを算出します。ExactMatch, BLEU, ROUGE, Precision@k
Embedding文をベクトルに変換し、意味がどれだけ近いかを計算します。BERT Precision
Statistical Metric(統計指標)データごとの判定を Benchmark Set 全体で集計し、割合を計算します。F1 Score、Recall
Custom(ユーザー定義)ユーザーが決めた基準で Judge Model が判定します。Generative Model(生成型モデル)と Decision Model(判断型モデル)から選びます。回答の完結性、返金ポリシーの正確性
  • 最初の 4 種類は、DATUMO が提供するテンプレートから選んで使います。
  • Custom Metric は、Task の Metric 設定画面(+ Add Metric › Custom)で自分で作成します。
  • LLM as Judge の Metric も、プロンプトとルーブリックを修正して評価基準を変更できます。
  • 正解(参照)がない場合は、LLM as Judge または Rule-Based の Metric を使う必要があります。
  • Judge Model は、G-4. Gen & Judge Model の登録で登録したモデルの中から選択します。Embedding の Metric は、同じ画面で登録した Embedding モデルを使います。Decision Model(Davi、Jev)は DATUMO モデルとして提供されます。
  • Custom Metric では、スコアに加えて一緒に受け取る結果の列(例:理由、Risk Level)を定義できます。

評価全体の流れ

評価は、Benchmark Set のデータを Application または Module に入力し、生成された出力を Metric で採点して評価結果を作成する方法で進みます。

図
  1. Benchmark Set の入力値を Application または Module に渡します。
  2. Application または Module が出力を生成します。
  3. Metric が出力を採点します。Metric によっては入力と参照も一緒に使い、どの列を Metric の入力として使うかは Key Mapping で指定します。
  4. データごとのスコアと判定根拠が評価結果として保存されます。

例:1 件のデータが採点される過程

図
データと採点結果

金融商品情報の検索 Task の 1 件のデータが評価される過程です。

項目値
query(入力)サンプル定期預金を中途解約すると、利息はどうなりますか?
response(出力)中途で解約された場合、約定金利ではなく中途解約金利で利息が計算されます。
expected_response(参照)約定金利の代わりに中途解約金利が適用されます。
Metric採点基準結果
ExactMatch (Rule-Based)正解と文が完全に同じなら 1.0、そうでなければ 0.00.0:表現が異なるため不一致
Similarity (LLM as Judge)表現の違いを超えて、核心となる意味が正解と一致するかを判定高いスコア:意味が同じ

回答の意味は正解と同じですが、ExactMatch は文の表現が異なるという理由で 0 点を付けます。このように同じ回答でも Metric によって評価が異なるため、評価の目的に合った Metric を選び、必要に応じて複数の Metric を一緒に紐付けてください。

評価結果は評価時点の値で保存されます。評価が終わった後に Benchmark Set の入力・参照や Metric の設定を変更しても、すでに出た結果は変わりません。ただし、メタデータは評価結果とダッシュボードで最新の値が表示されます。


次のステップ

ドキュメント扱う内容
E-1. Criteria の管理Criteria、Subgroup、Task の構成方法
E-2. Task の管理Task の基本情報、Schema、Metric、Benchmark Set の管理方法
E-3. Benchmark Set の管理Benchmark Set のアップロードと AI によるデータ生成の方法
E-4. Metric の管理Default・Custom の Metric の種類と追加方法、Key Mapping、プレビュー
E-5. 評価の実行評価の実行と履歴の確認方法
E-6. 評価履歴評価結果の確認、エラー、再試行の管理方法
E-7. ダッシュボード評価結果の可視化と分析の方法

最終更新日