Platform Docs
Try DatumoEval

Metric の管理

Metric を Default と Custom に分けて説明し、それぞれにどのような Metric があるか、Task に追加する方法を案内します。

Metric は、Application やエージェントの出力を計算または判定してスコアを付ける方法です。1 つの Task に複数の Metric を接続できます。Metric は、DATUMO があらかじめ用意した Default と、ユーザーが自分で作る Custom に分かれます。

1. Default と Custom

①2 つのタイプの違い

区分DefaultCustom
内容DATUMO が作成して提供する Metricサービス独自の基準でユーザーが作る Metric
作り方一覧から選んで追加Generative Model または Decision Model で自分で作成
採点方式LLM as a Judge、Rule-based、Embedding、Statisticalユーザーが決めた基準で Judge Model が判定
評価結果LLM as a Judge はスコアと理由、それ以外はスコアGenerative Model はスコアと定義した結果キー、Decision Model はスコアと追加の質問の答え
Key Mapping必要不要(選んだキーがそのまま接続)

②どのタイプを選ぶか

状況選ぶタイプ
使いたい評価方法がすでに一覧にある場合Default
サービス独自の基準で、スコアと一緒に理由も受け取りたい場合Custom › Generative Model
サービス独自の基準で、多くのデータを速く安く、一貫して採点したい場合Custom › Decision Model
  • Task 画面で + Add Metric をクリックすると、Metric Type に Default の下の DATUMO Default、Custom の下の Generative Model と Decision Model のカードが表示されます。
  • カードのタグでも違いがわかります。Generative Model は Reasons、Flexible、Slower、Higher cost、Decision Model は Fast、Low cost、Consistent、No reasons です。
  • 同じ回答でも、Metric によってスコアは異なります。表現だけが異なり意味が同じ回答は、ExactMatch では 0 点、Similarity では高いスコアになります。目的が異なる場合は、複数の Metric を組み合わせて接続します。

③スコアの範囲

Default の Metric のスコアは 0~1 で、高いほど品質が良いことを意味します。Custom も、ほかの Metric と比較しやすいように 0~1 をおすすめします。Decision Model は、選ばれた答えを 0~1 のスコアに自動で変換します。

  1. 1-1Metric の追加を開始

    1. Task Detail 画面で + Add Metric をクリックします。
    2. Metric Type で作成方法を選びます。違いは どのタイプを選ぶかを参照してください。
    • DATUMO Default:提供されている Metric テンプレートから選びます。
    • Generative Model:評価プロンプトを自分で入力します。理由も受け取れます。
    • Decision Model:質問と選択肢を決めて速く採点します。

2. Default の Metric

①Default にある Metric

DATUMO には、すぐに使える Default の Metric が 131 個あります。Task テンプレートにも含まれているため、テンプレートを選ぶと対応する Metric が一緒に選択されます。採点方式は 4 つです。

採点方式数採点のしかた例
LLM as a Judge101Judge Model が決められたプロンプトとルーブリックで判定Faithfulness、Answer Accuracy
Rule-based23一致、単語の重なり、順位などの計算式でスコアを算出Exact Match、BLEU、ROUGE、Precision@k
Embedding4回答と基準の文をベクトルに変換し、意味の近さを計算Semantic Similarity、Factual Consistency
Statistical3データごとの判定を Benchmark Set 全体で集計し、割合を計算F1 Score、Recall、FPR

評価領域(安全性、検索品質、回答の正確性、エージェントなど 10 領域)別の一覧は Datumo Metric の紹介 にあります。初めての場合は、次の Metric から見てください。

確認したいことMetric必要なキー
有害な質問をきちんと止めるかF1 Scorequery、query_safety_label、safety_taxonomy_lv2
文書にない内容を作り出していないかFaithfulnessresponse、retrieved_context
正解と同じことを言ったかAnswer Accuracyquery、response、expected_response

②追加と Key Mapping

  • DATUMO Default を選ぶと Metric カードの一覧が表示されます。カードには Method、Required(採点に使うキー)、Eval Result が表示されます。複数を一度に選べます。
  • 追加したあと、Key Mapping で Metric が必要とするキーを Task のキーに接続します。左の Metric Required Key ごとに、右の Task Key を選びます。
  • 接続していないキーは Mapping incomplete と表示され、Metric カードでは赤色で表示されます。

たとえば、Answer Correctness を接続すると次のようになります。

Metric Required KeyTask Key
queryquery(入力)
responseanswer(出力)
expected_responseexpected_response(参照)
  1. 2-1テンプレートから追加

    1. DATUMO Default を選択します。
    2. 追加する Metric を選択します。
    3. Add 1 Metric をクリックします。

    複数の Metric を一度に選択できます。ボタンの数字は選択した Metric の数です。

  2. 2-2Key の接続

    1. Metric の一覧で、赤い Key がある Metric をクリックします。
    2. Required Key で Metric が必要とする Key を確認します。接続方法は 追加と Key Mappingを参照してください。
    3. Mapping incomplete をクリックして、接続する Task Key を選びます。
    4. Save をクリックします。

    必要な Key をすべて接続しないと、この Metric で評価できません。


3. Custom の Metric

①Custom にある Metric

一覧にない基準は Custom で作ります。作り方は Generative Model と Decision Model の 2 つです。

区分Generative ModelDecision Model
判定のしかたプロンプトを読み、答えを文章で返す決めた選択肢から 1 つを選ぶ
作り方System Prompt と User Prompt を自分で作成画面のガイドに沿って評価キー、質問、選択肢を選択・入力
結果スコアと定義した結果キー(例:理由)0~1 のスコアと追加の質問の答え。理由はなし
速度・コスト遅く、コストが高い速く、コストが低い
Judge Model登録した LLMDavi、Jev

②Generative Model で作成する

  • Metric Info に名前と説明(任意)を入力し、Select Model の Judgement Model で Judge Model を選びます。
  • System Prompt に、役割、評価基準、スコアのルール、出力形式を書きます。
  • User Prompt に、評価する値が入る位置を {{query}} のようにキーで入れます。プロンプトの上に表示されるキーをクリックすると、カーソル位置に挿入されます。2 つの欄のどちらかにキーを 1 つ以上入れないと保存できません。
  • Evaluation Result に、受け取る項目を決めます。Score(Number)は最初からあり、+ Add Key で reason(text)などの項目を追加します。評価結果の表に、この名前で列が作られます。
プロンプトの例:Answer Correctness を自分で作成する

System Prompt

You are an evaluation judge for answer correctness.

Evaluate whether the response correctly answers the user's question based on the reference answer.

Scoring rubric:
- 1.0: Fully correct and consistent with the reference answer
- 0.5: Partially correct but missing or misstating important details
- 0.0: Incorrect, misleading, or contradicts the reference answer

Return:
- score: float between 0 and 1
- reasoning: brief explanation of the score

Output must be valid JSON.

User Prompt

Query: {{query}}
Response: {{answer}}
Reference: {{expected_response}}

System Prompt で score と reasoning を返すように書いたため、Evaluation Result には Score と Reasoning(text)を設定します。

  1. 3-1プロンプトの作成

    1. Generative Model を選択します。
    2. Metric Name を入力します。
    3. System Prompt と User Prompt を入力します。何を書くかは、まず Generative Model で作成するをお読みください。
    4. Evaluation Result に、結果として受け取る Key を設定します。詳しくは Generative Model で作成するを参照してください。
    5. Save をクリックします。
    • プロンプトには、上部に表示される Key を 1 つ以上入れる必要があります。
    • ほかの Metric と比較しやすいように、スコアの範囲は 0~1 をおすすめします。スコアの範囲を参照してください。

③Decision Model で作成する

  • Evaluation Key で、Judge Model が読むキー(入力、出力、必要なら参照)を選びます。
  • Evaluation Instructions に質問を書き、スコアタイプを選びます。Binary(Yes 1 / No 0)、Continuous(段階ごとに 1~0)、Choice(選択肢の順に 1~0)のいずれかです。最初の質問だけがスコアになり、追加の質問は結果に別に表示されます。
  • Judgement Model で Judge Model を選びます。韓国語のデータには Davi、英語のデータには Jev をおすすめします。
  • Metric Info に名前を入力し、Save をクリックします。Task の Metric リストに Custom Decision Model カードが追加されます。
質問の例とスコアタイプの詳細
スコアタイプ使う場面選択肢スコア
Binary正しいかどうかを判定する場合Yes、NoYes 1、No 0
Continuous程度を段階で評価する場合。最初に選択されているタイプです。既定は 3 段階(1、0.5、0)。2~101 段階1~0 の値。段階の間の値も反映されます。
Choice決めた選択肢から 1 つを選ぶ場合既定は 3 つ選択肢の順に 1~0 を等間隔に分けた値
  • 段階や選択肢ごとに、どのような答えが当てはまるかの説明を書きます。説明が具体的なほど採点が正確になります。
  • + Add Level(Continuous)や + Add Option(Choice)で増やします。+ Add Instruction で追加の質問を加え、追加の質問には名前が必要です(例:clarity)。
  • 出力キーなしで保存すると確認画面が表示されます。JSON をクリックすると、同じ内容を JSON で表示・編集できます。

たとえば、返金ポリシーを正しく案内しているかを評価する場合は、次のように設定します。

質問タイプ選択肢
Score:回答は返金の可否をはっきり説明していますか?BinaryYes:返金の可否と条件をはっきり述べている / No:あいまい、または存在しない条件を作っている
clarity:回答はどれくらいわかりやすいですか?Continuous1:明確で簡潔 / 0.5:おおむね明確 / 0:わかりにくい
response_tone:回答の口調はどうですか?Choiceformal / casual / curt

Judge Model は、DATUMO Model の下の Davi (Datumo) と Typesafe (Datumo)(Jev)から選びます。

モデル特長使う場面
DaviDATUMO が開発したモデルです。韓国語の評価により正確です。韓国語のデータを評価する場合
JevTypesafe が開発したモデルです。常に決められた形式で答えるため、スコアが一貫します。Jev-latest と Jev-preview から選びます。英語のデータを評価する場合
  1. 3-1Decision Model の選択

    1. Task Detail 画面で + Add Metric をクリックします。
    2. Custom の下の Decision Model を選択します。違いは どのタイプを選ぶかを参照してください。

    Decision Model は速く安く採点できますが、理由は返しません。理由が必要な場合は Generative Model を選んでください。

  2. 3-2キーと質問の入力

    1. Evaluation Key で、モデルが読むキーを選びます。右のガイドに各キーの意味が表示されます。
    2. Evaluation Instructions でスコアタイプを選びます。タイプは Decision Model で作成するを参照してください。
    3. Instructions に質問を書き、段階ごとに説明を入力します。
    4. 質問を追加するには + Add Instruction をクリックします。

    最初の質問だけがスコアになります。追加の質問はスコアに反映されず、結果に別に表示されます。

  3. 3-3モデルの選択と保存

    1. Judgement Model で Judge Model を選びます。最初は Davi が選択されています。
    2. Jev を使う場合は、Typesafe (Datumo) でバージョンを選びます。
    3. Metric Info に Metric Name を入力します。
    4. Save をクリックします。
    5. Task の Metric リストに Custom Decision Model カードが追加されます。

    韓国語のデータを評価する場合は Davi をおすすめします。

④Evaluation Preview

保存した Custom の Metric は、サンプルデータで試しに実行し、意図どおりに採点するかを確認します。Gold Score(期待する正解のスコア)を入力して Run Test をクリックすると、評価スコアと Gold Score の差が表示されます。Decision Model では、結果の行を展開して選択肢ごとの確率も確認できます。結果が期待と違う場合は、プロンプトや質問を修正してもう一度実行します。

プレビュー結果の詳細
  • 表の列は、Metric が使うキーです。これらのセルは空欄にできませんが、Gold Score は空欄にできます。
  • Accuracy は、評価スコアが Gold Score にどれだけ近いかを示します。たとえば、Gold Score が 1.0 の行が 0.95 を得た場合、差は -0.05 で、2 つのスコアが同じ場合は Match と表示されます。
  • Decision Model では、Run Test の結果が Test #1 のように番号、時刻、Judge Model、スコアタイプとともに積み重なります。Binary と Choice は Match または Mismatch、Continuous は差(例:+0.08)で表示されます。
  • Avg.Difference は、Gold Score がある行でのモデルのスコアと Gold Score の差の平均です。0 に近いほど Gold に近いことを示します。
確認すること見る場所
スコアが Gold と合っているかMatch、Mismatch、差、Avg.Difference
モデルがどれくらい確信していたか行を展開して見る選択肢ごとの確率
追加の質問の答えAdditional の下の質問名の列
  1. 3-1サンプルの入力

    1. + Add Query/Response で行を追加します。
    2. セルごとにサンプル値を入力します。
    • Metric の設定を保存しないと Preview は使えません。
    • Gold Score は入力しなくてもかまいません。意味は Evaluation Previewを参照してください。
  2. 3-2Run Test の実行

    1. Run Test をクリックします。
    2. 結果でスコアと Accuracy を確認します。
  3. 3-3Decision Model の結果確認

    1. Decision Model の Metric でサンプル値と Gold の値を入力し、Run Test をクリックします。
    2. スコアごとに Match、Mismatch、または差を確認します。
    3. Avg.Difference で、Gold Score にどれくらい近いかを確認します。
    4. 行をクリックすると、選択肢ごとの確率が展開されます。

    結果が期待と違う場合は、Edit で質問と選択肢の説明を修正してから再実行します。詳しくは Evaluation Previewを参照してください。


よくある質問

Metric カードに赤いキーが表示されるのはなぜですか?まだ接続していないキーがあるためです。
原因
Metric が必要とするキーのうち、Task Key に接続されていないキーが赤色で表示されます。
解決方法
Metric を開き、Required Key の Mapping incomplete から Task Key を選んでください。その後 Save をクリックしてください。
Run Test ボタンをクリックできないのはなぜですか?Metric の設定をまだ保存していないためです。
原因
保存していない Metric では Preview を実行できません。
解決方法
左下の Save をクリックして設定を保存してください。
Preview のセルが赤く表示されるのはなぜですか?必ず入力する必要のあるサンプル値が空欄になっているためです。
原因
Metric が必要とするキーのセルは空欄にできません。空欄にできるのは Gold Score のみです。
解決方法
赤いセルにサンプル値を入力してから、もう一度 Run Test をクリックしてください。
Decision Model の結果に理由がないのはなぜですか?Decision Model は理由を書かないためです。
原因
Decision Model はテキストを生成せず、決めた選択肢から 1 つを選ぶだけです。そのため速く安い代わりに、理由はありません。
解決方法
理由が必要な場合は、Generative Model で Metric を作成してください。Decision Model では、結果の行をクリックすると選択肢ごとの確率を確認できます。
Generative Model の Metric を保存できないのはなぜですか?プロンプトにキーが 1 つもないためです。
原因
System Prompt または User Prompt に、キーが 1 つ以上必要です。
解決方法
{{query}} のように、上部に表示されているキーをプロンプトに入れてください。例は Generative Model で作成するにあります。

最終更新日