Metric の管理
Metric を Default と Custom に分けて説明し、それぞれにどのような Metric があるか、Task に追加する方法を案内します。
Metric は、Application やエージェントの出力を計算または判定してスコアを付ける方法です。1 つの Task に複数の Metric を接続できます。Metric は、DATUMO があらかじめ用意した Default と、ユーザーが自分で作る Custom に分かれます。
1. Default と Custom
①2 つのタイプの違い
| 区分 | Default | Custom |
|---|---|---|
| 内容 | DATUMO が作成して提供する Metric | サービス独自の基準でユーザーが作る Metric |
| 作り方 | 一覧から選んで追加 | Generative Model または Decision Model で自分で作成 |
| 採点方式 | LLM as a Judge、Rule-based、Embedding、Statistical | ユーザーが決めた基準で Judge Model が判定 |
| 評価結果 | LLM as a Judge はスコアと理由、それ以外はスコア | Generative Model はスコアと定義した結果キー、Decision Model はスコアと追加の質問の答え |
| Key Mapping | 必要 | 不要(選んだキーがそのまま接続) |
②どのタイプを選ぶか
| 状況 | 選ぶタイプ |
|---|---|
| 使いたい評価方法がすでに一覧にある場合 | Default |
| サービス独自の基準で、スコアと一緒に理由も受け取りたい場合 | Custom › Generative Model |
| サービス独自の基準で、多くのデータを速く安く、一貫して採点したい場合 | Custom › Decision Model |
- Task 画面で
+ Add Metricをクリックすると、Metric TypeにDefaultの下のDATUMO Default、Customの下のGenerative ModelとDecision Modelのカードが表示されます。 - カードのタグでも違いがわかります。Generative Model は
Reasons、Flexible、Slower、Higher cost、Decision Model はFast、Low cost、Consistent、No reasonsです。 - 同じ回答でも、Metric によってスコアは異なります。表現だけが異なり意味が同じ回答は、ExactMatch では 0 点、Similarity では高いスコアになります。目的が異なる場合は、複数の Metric を組み合わせて接続します。
③スコアの範囲
Default の Metric のスコアは 0~1 で、高いほど品質が良いことを意味します。Custom も、ほかの Metric と比較しやすいように 0~1 をおすすめします。Decision Model は、選ばれた答えを 0~1 のスコアに自動で変換します。
1-1Metric の追加を開始
- Task Detail 画面で
+ Add Metricをクリックします。 Metric Typeで作成方法を選びます。違いは どのタイプを選ぶかを参照してください。
DATUMO Default:提供されている Metric テンプレートから選びます。Generative Model:評価プロンプトを自分で入力します。理由も受け取れます。Decision Model:質問と選択肢を決めて速く採点します。
- Task Detail 画面で
2. Default の Metric
①Default にある Metric
DATUMO には、すぐに使える Default の Metric が 131 個あります。Task テンプレートにも含まれているため、テンプレートを選ぶと対応する Metric が一緒に選択されます。採点方式は 4 つです。
| 採点方式 | 数 | 採点のしかた | 例 |
|---|---|---|---|
| LLM as a Judge | 101 | Judge Model が決められたプロンプトとルーブリックで判定 | Faithfulness、Answer Accuracy |
| Rule-based | 23 | 一致、単語の重なり、順位などの計算式でスコアを算出 | Exact Match、BLEU、ROUGE、Precision@k |
| Embedding | 4 | 回答と基準の文をベクトルに変換し、意味の近さを計算 | Semantic Similarity、Factual Consistency |
| Statistical | 3 | データごとの判定を Benchmark Set 全体で集計し、割合を計算 | F1 Score、Recall、FPR |
評価領域(安全性、検索品質、回答の正確性、エージェントなど 10 領域)別の一覧は Datumo Metric の紹介 にあります。初めての場合は、次の Metric から見てください。
| 確認したいこと | Metric | 必要なキー |
|---|---|---|
| 有害な質問をきちんと止めるか | F1 Score | query、query_safety_label、safety_taxonomy_lv2 |
| 文書にない内容を作り出していないか | Faithfulness | response、retrieved_context |
| 正解と同じことを言ったか | Answer Accuracy | query、response、expected_response |
②追加と Key Mapping
DATUMO Defaultを選ぶと Metric カードの一覧が表示されます。カードにはMethod、Required(採点に使うキー)、Eval Resultが表示されます。複数を一度に選べます。- 追加したあと、Key Mapping で Metric が必要とするキーを Task のキーに接続します。左の
Metric Required Keyごとに、右のTask Keyを選びます。 - 接続していないキーは
Mapping incompleteと表示され、Metric カードでは赤色で表示されます。
たとえば、Answer Correctness を接続すると次のようになります。
| Metric Required Key | Task Key |
|---|---|
query | query(入力) |
response | answer(出力) |
expected_response | expected_response(参照) |
2-1テンプレートから追加
DATUMO Defaultを選択します。- 追加する Metric を選択します。
Add 1 Metricをクリックします。
複数の Metric を一度に選択できます。ボタンの数字は選択した Metric の数です。
2-2Key の接続
- Metric の一覧で、赤い Key がある Metric をクリックします。
Required Keyで Metric が必要とする Key を確認します。接続方法は 追加と Key Mappingを参照してください。Mapping incompleteをクリックして、接続する Task Key を選びます。Saveをクリックします。
必要な Key をすべて接続しないと、この Metric で評価できません。
3. Custom の Metric
①Custom にある Metric
一覧にない基準は Custom で作ります。作り方は Generative Model と Decision Model の 2 つです。
| 区分 | Generative Model | Decision Model |
|---|---|---|
| 判定のしかた | プロンプトを読み、答えを文章で返す | 決めた選択肢から 1 つを選ぶ |
| 作り方 | System Prompt と User Prompt を自分で作成 | 画面のガイドに沿って評価キー、質問、選択肢を選択・入力 |
| 結果 | スコアと定義した結果キー(例:理由) | 0~1 のスコアと追加の質問の答え。理由はなし |
| 速度・コスト | 遅く、コストが高い | 速く、コストが低い |
| Judge Model | 登録した LLM | Davi、Jev |
②Generative Model で作成する
Metric Infoに名前と説明(任意)を入力し、Select ModelのJudgement Modelで Judge Model を選びます。System Promptに、役割、評価基準、スコアのルール、出力形式を書きます。User Promptに、評価する値が入る位置を{{query}}のようにキーで入れます。プロンプトの上に表示されるキーをクリックすると、カーソル位置に挿入されます。2 つの欄のどちらかにキーを 1 つ以上入れないと保存できません。Evaluation Resultに、受け取る項目を決めます。Score(Number)は最初からあり、+ Add Keyでreason(text)などの項目を追加します。評価結果の表に、この名前で列が作られます。
プロンプトの例:Answer Correctness を自分で作成する
System Prompt
You are an evaluation judge for answer correctness.
Evaluate whether the response correctly answers the user's question based on the reference answer.
Scoring rubric:
- 1.0: Fully correct and consistent with the reference answer
- 0.5: Partially correct but missing or misstating important details
- 0.0: Incorrect, misleading, or contradicts the reference answer
Return:
- score: float between 0 and 1
- reasoning: brief explanation of the score
Output must be valid JSON.User Prompt
Query: {{query}}
Response: {{answer}}
Reference: {{expected_response}}System Prompt で score と reasoning を返すように書いたため、Evaluation Result には Score と Reasoning(text)を設定します。
3-1プロンプトの作成
Generative Modelを選択します。Metric Nameを入力します。System PromptとUser Promptを入力します。何を書くかは、まず Generative Model で作成するをお読みください。Evaluation Resultに、結果として受け取る Key を設定します。詳しくは Generative Model で作成するを参照してください。Saveをクリックします。
- プロンプトには、上部に表示される Key を 1 つ以上入れる必要があります。
- ほかの Metric と比較しやすいように、スコアの範囲は 0~1 をおすすめします。スコアの範囲を参照してください。
③Decision Model で作成する
Evaluation Keyで、Judge Model が読むキー(入力、出力、必要なら参照)を選びます。Evaluation Instructionsに質問を書き、スコアタイプを選びます。Binary(Yes 1 / No 0)、Continuous(段階ごとに 1~0)、Choice(選択肢の順に 1~0)のいずれかです。最初の質問だけがスコアになり、追加の質問は結果に別に表示されます。Judgement Modelで Judge Model を選びます。韓国語のデータには Davi、英語のデータには Jev をおすすめします。Metric Infoに名前を入力し、Saveをクリックします。Task の Metric リストにCustom Decision Modelカードが追加されます。
質問の例とスコアタイプの詳細
| スコアタイプ | 使う場面 | 選択肢 | スコア |
|---|---|---|---|
Binary | 正しいかどうかを判定する場合 | Yes、No | Yes 1、No 0 |
Continuous | 程度を段階で評価する場合。最初に選択されているタイプです。 | 既定は 3 段階(1、0.5、0)。2~101 段階 | 1~0 の値。段階の間の値も反映されます。 |
Choice | 決めた選択肢から 1 つを選ぶ場合 | 既定は 3 つ | 選択肢の順に 1~0 を等間隔に分けた値 |
- 段階や選択肢ごとに、どのような答えが当てはまるかの説明を書きます。説明が具体的なほど採点が正確になります。
+ Add Level(Continuous)や+ Add Option(Choice)で増やします。+ Add Instructionで追加の質問を加え、追加の質問には名前が必要です(例:clarity)。- 出力キーなしで保存すると確認画面が表示されます。
JSONをクリックすると、同じ内容を JSON で表示・編集できます。
たとえば、返金ポリシーを正しく案内しているかを評価する場合は、次のように設定します。
| 質問 | タイプ | 選択肢 |
|---|---|---|
| Score:回答は返金の可否をはっきり説明していますか? | Binary | Yes:返金の可否と条件をはっきり述べている / No:あいまい、または存在しない条件を作っている |
clarity:回答はどれくらいわかりやすいですか? | Continuous | 1:明確で簡潔 / 0.5:おおむね明確 / 0:わかりにくい |
response_tone:回答の口調はどうですか? | Choice | formal / casual / curt |
Judge Model は、DATUMO Model の下の Davi (Datumo) と Typesafe (Datumo)(Jev)から選びます。
| モデル | 特長 | 使う場面 |
|---|---|---|
| Davi | DATUMO が開発したモデルです。韓国語の評価により正確です。 | 韓国語のデータを評価する場合 |
| Jev | Typesafe が開発したモデルです。常に決められた形式で答えるため、スコアが一貫します。Jev-latest と Jev-preview から選びます。 | 英語のデータを評価する場合 |
3-1Decision Model の選択
- Task Detail 画面で
+ Add Metricをクリックします。 Customの下のDecision Modelを選択します。違いは どのタイプを選ぶかを参照してください。
Decision Modelは速く安く採点できますが、理由は返しません。理由が必要な場合はGenerative Modelを選んでください。- Task Detail 画面で
3-2キーと質問の入力
Evaluation Keyで、モデルが読むキーを選びます。右のガイドに各キーの意味が表示されます。Evaluation Instructionsでスコアタイプを選びます。タイプは Decision Model で作成するを参照してください。Instructionsに質問を書き、段階ごとに説明を入力します。- 質問を追加するには
+ Add Instructionをクリックします。
最初の質問だけがスコアになります。追加の質問はスコアに反映されず、結果に別に表示されます。
3-3モデルの選択と保存
Judgement Modelで Judge Model を選びます。最初はDaviが選択されています。- Jev を使う場合は、
Typesafe (Datumo)でバージョンを選びます。 Metric InfoにMetric Nameを入力します。Saveをクリックします。- Task の Metric リストに
Custom Decision Modelカードが追加されます。
韓国語のデータを評価する場合は Davi をおすすめします。
④Evaluation Preview
保存した Custom の Metric は、サンプルデータで試しに実行し、意図どおりに採点するかを確認します。Gold Score(期待する正解のスコア)を入力して Run Test をクリックすると、評価スコアと Gold Score の差が表示されます。Decision Model では、結果の行を展開して選択肢ごとの確率も確認できます。結果が期待と違う場合は、プロンプトや質問を修正してもう一度実行します。
プレビュー結果の詳細
- 表の列は、Metric が使うキーです。これらのセルは空欄にできませんが、Gold Score は空欄にできます。
Accuracyは、評価スコアが Gold Score にどれだけ近いかを示します。たとえば、Gold Score が1.0の行が0.95を得た場合、差は-0.05で、2 つのスコアが同じ場合はMatchと表示されます。- Decision Model では、
Run Testの結果がTest #1のように番号、時刻、Judge Model、スコアタイプとともに積み重なります。Binary と Choice はMatchまたはMismatch、Continuous は差(例:+0.08)で表示されます。 Avg.Differenceは、Gold Score がある行でのモデルのスコアと Gold Score の差の平均です。0 に近いほど Gold に近いことを示します。
| 確認すること | 見る場所 |
|---|---|
| スコアが Gold と合っているか | Match、Mismatch、差、Avg.Difference |
| モデルがどれくらい確信していたか | 行を展開して見る選択肢ごとの確率 |
| 追加の質問の答え | Additional の下の質問名の列 |
3-1サンプルの入力
+ Add Query/Responseで行を追加します。- セルごとにサンプル値を入力します。
- Metric の設定を保存しないと Preview は使えません。
Gold Scoreは入力しなくてもかまいません。意味は Evaluation Previewを参照してください。
3-2Run Test の実行
Run Testをクリックします。- 結果でスコアと
Accuracyを確認します。
3-3Decision Model の結果確認
- Decision Model の Metric でサンプル値と
Goldの値を入力し、Run Testをクリックします。 - スコアごとに
Match、Mismatch、または差を確認します。 Avg.Differenceで、Gold Score にどれくらい近いかを確認します。- 行をクリックすると、選択肢ごとの確率が展開されます。
結果が期待と違う場合は、
Editで質問と選択肢の説明を修正してから再実行します。詳しくは Evaluation Previewを参照してください。- Decision Model の Metric でサンプル値と
よくある質問
Metric カードに赤いキーが表示されるのはなぜですか?まだ接続していないキーがあるためです。
- 原因
- Metric が必要とするキーのうち、Task Key に接続されていないキーが赤色で表示されます。
- 解決方法
- Metric を開き、
Required KeyのMapping incompleteから Task Key を選んでください。その後Saveをクリックしてください。
Run Test ボタンをクリックできないのはなぜですか?Metric の設定をまだ保存していないためです。
- 原因
- 保存していない Metric では Preview を実行できません。
- 解決方法
- 左下の
Saveをクリックして設定を保存してください。
Preview のセルが赤く表示されるのはなぜですか?必ず入力する必要のあるサンプル値が空欄になっているためです。
- 原因
- Metric が必要とするキーのセルは空欄にできません。空欄にできるのは
Gold Scoreのみです。 - 解決方法
- 赤いセルにサンプル値を入力してから、もう一度
Run Testをクリックしてください。
Decision Model の結果に理由がないのはなぜですか?Decision Model は理由を書かないためです。
- 原因
- Decision Model はテキストを生成せず、決めた選択肢から 1 つを選ぶだけです。そのため速く安い代わりに、理由はありません。
- 解決方法
- 理由が必要な場合は、
Generative Modelで Metric を作成してください。Decision Model では、結果の行をクリックすると選択肢ごとの確率を確認できます。
Generative Model の Metric を保存できないのはなぜですか?プロンプトにキーが 1 つもないためです。
- 原因
System PromptまたはUser Promptに、キーが 1 つ以上必要です。- 解決方法
{{query}}のように、上部に表示されているキーをプロンプトに入れてください。例は Generative Model で作成するにあります。