Platform Docs
Try DatumoEval

評価レポート

Run Report で、リリース判定、判定グループ別の分析、バージョン比較の結果を確認します。

1. Run Report を開く

①Run Report の構成

Run Report は、Run が終わると自動で作成される結果レポートです。Release Gate に基づいて、リリースしてよいかを判定します。Release Gate は Criteria ごとに定める判定基準です。チャートを別途作成する必要はありません。

Report 画面は、上から順に次の部分に分かれています。

領域表示内容
ヘッダーどの Run をどの基準で評価したか。
Run Detail、Criteria Detail、Share
Run Detail では使用量(コスト・トークン)も確認できます。
Conclusion Summaryバージョンごとの判定グループカードの Pass・Fail
Usage タブこの Run にかかったコスト、トークン、時間。使用量の確認で説明しています。
判定グループタブグループ別のバージョン比較と失敗原因の分析
  • Run に Metric を追加すると、Report が再作成されます。このときのステータスは Run Updating、Report Updating です。
  • 再作成中も既存の Report を閲覧できます。
  • Release Gate の設定方法は Criteria の管理で説明しています。
  1. 1-1Run Report を開く

    1. 左メニューで Evaluation Dashboard をクリックします。
    2. Default Page の Run Report が開きます。画面構成は Run Report の構成を参照してください。
    • Run が終わると Report が自動で作成されます。
    • Run が進行中の場合、Report はありません。

2. Run と基準の確認

①判定グループ

判定グループは、Report が Pass・Fail を個別に判定する単位です。Criteria の評価領域と Module がそれぞれグループになります。

判定グループ評価対象結果の構造デフォルトの Fail Threshold
General PerformanceApplicationSub Group › Task › Metric10%
Policy & UXApplicationSub Group › Task › Metric5%
SafetyApplicationSub Group › Task › Metric2%
Module PerformanceModuleTask › Metric10%
  • Application グループのカードには、Application のバージョンごとに 1 行ずつ表示されます。
  • Module のカードは、Module のバージョンごとに 1 枚ずつ表示されます(例:RAG BM25、RAG Hybrid)。
  • Run に含まれないグループは、カードもタブも表示されません。

②判定基準

用語意味デフォルト値
ケースベンチマークデータ 1 件を Metric 1 つで採点した結果-
Correctness Thresholdケースを正解とみなす最低スコア。
スコアがこれより低いと Incorrect です。
0.5
失敗率Metric の採点ケースのうち Incorrect ケースが占める割合-
Fail ThresholdMetric ごとに定める許容失敗率。
失敗率がこの値を超えると、その Metric は不合格です。
判定グループごとに異なる
  • Criteria 画面の Release Gate では名称が異なります。
    • Correctness Threshold は Pass score として設定します。0.0~1.0 の値です。
    • Fail Threshold は Failure rate として設定します。0~100(%)の値です。
  • Incorrect ケースは Metric Fail Rate Detail で確認できます。スコアの低い順に表示されます。

③基準時点

Report の値は、作成時点の値で固定されます。後から設定を変更しても、作成済みの Report は変わりません。

値固定される時点
Application、Task、Metric、Benchmark SetRun を開始した時点
Correctness Threshold、Fail ThresholdReport の作成を開始した時点
  • 変更した基準は、次の Run の Report から反映されます。
  • Run Time は Run を実行した時刻です。Report を作成した時刻ではありません。
  1. 2-1Run の切り替え

    1. タイトルの Run #142 ⌄ をクリックします。
    2. 表示する Run の行をクリックします。

    進行中の Run や Report のない Run は薄く表示され、選択できません。

  2. 2-2評価情報の確認

    1. Run Detail で Task・Metric・データ件数を確認します。
    2. 評価した Application と Module のバージョンを確認します。
    • Report の値は、Run と Report を作成した時点の値です。
    • 現在の設定と異なる場合があります。基準時点を参照してください。
  3. 2-3判定基準の確認

    1. Criteria Detail の横にある Criteria 名をクリックします。
    2. Metric ごとの Fail Threshold を確認します。用語は判定基準で説明しています。

    Run で選択した Metric のみ表示されます。

  4. 2-4Report の共有

    1. Share をクリックすると Report のリンクがコピーされます。

    現在表示している Run の Report が共有されます。


3. リリース判定の確認

①判定の順序

判定は Metric 単位で行います。グループカードの結果は、その中の Metric の判定をまとめたものです。

  1. ケースの判定:スコアが Correctness Threshold より低いと Incorrect です。
  2. Metric の判定:失敗率が Fail Threshold を超えると、その Metric は不合格です。
  3. グループの判定:Metric がすべて合格ならカードは Pass です。1 つでも不合格があればカードは Fail です。

たとえば、Fail Threshold が 10% の Metric があるとします。データ 80 件中 4 件が Incorrect なら失敗率は 5% で合格です。10 件が Incorrect なら失敗率は 12.5% で不合格です。

  • 一部のケースがエラーの場合は、そのケースだけを除いて失敗率を計算します。
  • すべてのケースがエラーの Metric は判定から除外します。
  • カードの大きな % はグループ全体の失敗率です。参考用の要約値であり、判定の根拠ではありません。
  1. 3-1判定結果を見る

    1. Conclusion Summary タブをクリックします。
    2. バージョン別のグループカードで Pass と Fail を確認します。グループについては判定グループを参照してください。
    • Metric が 1 つでも Fail ならカードは Fail です。
    • 計算方法は判定の順序で例を挙げて説明しています。
  2. 3-2Fail の原因を探す

    1. Fail カードの N metrics not met をクリックします。
    2. 基準を超えた Metric と失敗率を確認します。
    3. % の横の ⓘ にマウスを重ねると、判定の理由が表示されます。

    カードの % は参考用の要約値です。判定の根拠ではありません。


4. バージョン比較

①バージョン比較

バージョン比較では、同じ Application または Module の 2 つのバージョンを 1 対 1 で比較します。同じベンチマークデータで 2 つのバージョンの判定がどのように分かれたかを示します。新しいバージョンに切り替えてよいかを判断するときに使います。

  • 左が基準となる A バージョン、右が比較対象の B バージョンです。
  • ケースは 2 つのバージョンの判定に応じて 4 つの枠に分かれます。枠の名前にはバージョン名が入ります。
枠意味読み方
A のみ CorrectA は正解し、B は不正解だったケースB に切り替えると失うもの
B のみ CorrectB は正解し、A は不正解だったケースB に切り替えると得るもの
Both Version Correct両バージョンとも正解したケースどちらのバージョンも問題なし
Both Version Incorrect両バージョンとも不正解だったケースバージョンを切り替えても残る失敗
  • 2 つのバージョンの判定が異なるケースを Conflicting ケースと呼びます。
  • Metric Comparison でリードしているバージョンは、失敗率がより低いバージョンです。失敗率が同じ場合は Tied と表示されます。
  • 3 つ以上のバージョンを一度に比較することはできません。A を固定し、B だけを切り替えながら確認します。
  1. 4-1比較するバージョンの選択

    1. General Performance などのグループタブをクリックします。
    2. 左側で基準となる A バージョンを選びます。
    3. 右側で比較する B バージョンを選びます。
    4. A と B を入れ替えるには Swap versions をクリックします。
    • 一方で選んだバージョンは、反対側では選べません。
    • 現在使っているバージョンを A、切り替え候補のバージョンを B にすると読みやすくなります。
    • 初めての場合は、まずバージョン比較をお読みください。
  2. 4-2判定が分かれたケースの確認

    1. 左側の枠で Case ごとの件数を確認します。
    2. 表示する Case の枠をクリックします。
    3. Metric Distribution で、失敗が集中している Metric を確認します。
    4. ケースカードで、2 つのバージョンのスコアとその差を確認します。
    5. View all をクリックすると、Filtered Result パネルにすべて表示されます。
    • まず Both Version Incorrect を確認します。バージョンを切り替えても残る失敗です。
    • スコアの差は A − B です。正の値なら A のスコアの方が高いことを示します。
  3. 4-3Metric 別の比較

    1. カードのヘッダーで、リードしているバージョンと勝ったケース数を確認します。
    2. バージョンの行で、2 つのバージョンの Pass・Fail を比較します。
    3. バーで失敗率と Fail Threshold の線を確認します。
    4. Reference Comparison で、全バージョン中の順位を確認します。

    バージョンの行は A・B の順ではなく、失敗率の低い順に並びます。


5. 失敗原因の分析

①失敗分析の領域

判定グループタブの下部にある Version Detail で、失敗がどこに集中しているかを確認します。

領域まとめる基準対象表示される条件
Query Cluster似た質問同士をまとめた質問タイプ正解した質問と不正解だった質問の両方LLM-as-a-judge 評価を行った場合
Score Reason Cluster似た失敗理由同士をまとめた理由Incorrect ケースのみ上記の条件に加え、Incorrect ケースがある場合
Metadata Incorrect Rateメタデータキーの値Incorrect データ条件を満たすキーがある場合
  • 失敗理由とは、Metric がスコアとともに残す判定の根拠(スコア理由)です。
  • 2 つのクラスターは、Run で最も多く使われた Judge Model が作成します。
  • クラスターの名前と説明の作成に使ったトークンは、Trial のトークン使用量に含まれます。
  • メタデータは Benchmark Set の付加情報の列です(例:難易度、チャネル)。
  1. 5-1質問タイプ別の失敗

    1. Version Detail で表示するバージョンを選びます。
    2. Query Cluster で質問タイプ別の件数を比較します。失敗分析の領域を参照してください。
    3. Incorrect Rate By Query Cluster で失敗率の高いタイプを確認します。
    4. ボックスやカードをクリックすると、Filtered Result パネルが開きます。
    • ボックスの大きさは質問数です。正解した質問と不正解だった質問の両方を数えます。
    • LLM-as-a-judge 評価を行った場合のみ表示されます。
  2. 5-2失敗理由の確認

    1. Score Reason Cluster で理由別の失敗件数を比較します。
    2. Fail Reason Breakdown で理由ごとの Metric の割合を確認します。

    不正解のケースのみを理由別にまとめて表示します。

  3. 5-3Metadata 別の失敗率

    1. Metadata Incorrect Rate で Key タブを選びます。
    2. 値ごとの失敗率を確認します。

    値の種類が 10 個を超える場合は、不正解の多い 10 個のみ表示されます。

  4. 5-4Metric 別の失敗ケース

    1. Sub Group を展開します。
    2. Metric カードの右側の矢印をクリックしてカードを展開します。
    3. View Detail をクリックして、失敗ケースをすべて表示します。

    代表的な失敗ケースはスコアの低い順に表示されます。

  5. 5-5Module の分析

    1. Module Performance タブをクリックします。
    2. Select Module をクリックします。
    3. 表示する Module を選びます。
    • Module を切り替えると、バージョンの選択がデフォルトに戻ります。
    • Module には Sub Group がないため、Task の下に直接 Metric が表示されます。

6. 使用量の確認

1 回の Run にかかったコスト、トークン、時間(レイテンシ)を確認します。コストを表示するには、バージョンごとにトークンのパスと単価を設定しておく必要があります。方法は Application API 連携で説明しています。

①使用量を見る

  • 簡易表示:ヘッダーの Run Detail で、Judge Model とバージョン別のコスト、トークン数を確認します。
  • 詳細表示:Usage タブで確認します。
Usage タブの領域表示内容
Usage Rankingコスト(またはトークン、時間)が大きいバージョンの順位
Distribution by Benchmark Rowデータ 1 行ごとにかかったコストまたは時間の分布。オレンジ色は平均を大きく上回る行です。
Usage Detailバージョン別のトークン、コスト、時間の合計と 1 行あたりの平均
App & Module Total全体の合計
Judge Model Usage / Judge Model Total採点に使った Judge Model の使用量

②使用量が表示されない場合

画面の表示理由対処
Pending setupこのバージョンの単価がまだ設定されていません。Admin が Set up Usage で設定します。
Not recorded使用量の記録機能が導入される前に実行された Run です。使用量を確認するには Run を新たに実行します。
Couldn't calculate usageトークンのパスがレスポンスと一致しません。Set up Usage でパスを修正します。
  • 上記のバージョンは合計から除外されます。除外された数は App & Module Total の下の Excludes … に表示されます。
  • すべてのバージョンが Pending setup の場合は、実際のデータではなく SAMPLE と表示されたサンプルのバーが表示されます。

③使用量の設定

Run Report から直接設定できます。設定できるのは Admin のみで、その他のユーザーには Contact admin to set up と表示されます。

  1. Run Detail で Pending setup のバージョンにマウスを重ね、Set up Usage をクリック
  2. Input Tokens、Output Tokens にトークンのパスを入力(Pick from response で選択することも可能)
  3. 100 万トークンあたりの入力・出力の価格を入力
  4. 設定するバージョンがまだあれば Next、最後なら Save をクリック

保存すると、この Run の使用量が新しい設定で再計算されます。同じ設定はバージョンに保存され、次回以降の Run でも使われます。

Pending setup ($) と表示されるバージョンは、トークン数がすでに記録されています。価格を 2 つ入力するだけで完了です。


よくある質問

Run Report が表示されないのはなぜですか?Run が進行中か、Report を作成できない Run であるためです。
原因
Report は Run が終わってから作成されます。Run のすべての Metric がエラーの場合は作成されません。Run Report 機能のリリース前に終わった Run にもありません。
解決方法
Run が終わるまでお待ちください。すべての Metric がエラーの場合は、Run を再試行してください。再試行すると以前の Report は残らず、新しい Report に置き換わります。
Report の作成に失敗した場合はどうすればよいですか?Run の切り替えメニューで Report Failed の行の Retry をクリックしてみてください。
原因
Report の作成中にエラーが発生すると Report Failed と表示されます。この Run は選択できません。
解決方法
Report Failed の行の Retry をクリックしてください。作成が完了すると Report Completed に変わります。
カードの % は基準以下なのに、なぜ Fail になるのですか?判定はカードの % ではなく、Metric 単位で行うためです。
原因
カードの % はグループ全体を要約した参考値です。Metric が 1 つでも自身の Fail Threshold を超えると、カードは Fail になります。
解決方法
N metrics not met を展開して、基準を超えた Metric を確認してください。判定方法は判定の順序を参照してください。
Report の値が現在の設定と異なるのはなぜですか?Report は作成時点の値を表示するためです。
原因
Application・Task・Metric・データは Run 開始時点の値です。判定基準は Report の作成を開始した時点の値です。
解決方法
これは正常な動作です。現在の設定は Criteria 画面で確認してください。変更した基準は次の Run から反映されます。基準時点を参照してください。
Query Cluster や Score Reason Cluster がないのはなぜですか?LLM-as-a-judge 評価を行った場合にのみ作成されるためです。
原因
rule-based 評価のみを行った場合や、Judge Model に LLM が含まれない場合は作成されません。不正解のケースがない場合は、Score Reason Cluster のみ表示されません。
解決方法
Criteria に LLM-as-a-judge 評価を追加して Run を実行してください。
Metadata の失敗率の領域が表示されないのはなぜですか?条件を満たす Metadata Key がないためです。
原因
Key ごとに不正解のデータを値別にまとめたとき、5 件以上のまとまりが 2 つ以上ある場合にのみ表示されます。
解決方法
これは正常な動作です。条件を満たす Key がある場合にのみ表示されます。
バージョンの使用量が Not recorded と表示されるのはなぜですか?使用量の記録機能が導入される前に実行された Run であるためです。
原因
当時は使用量が保存されていなかったため、後から設定しても確認できません。
解決方法
使用量を確認するには、Run を新たに実行してください。
Total cost が実際より低く見えるのはなぜですか?合計から除外されたバージョンがあるためです。
原因
単価を設定していないバージョンや記録のないバージョンは、合計に含まれません。
解決方法
App & Module Total の下の Excludes … で除外された数を確認し、Admin に Set up Usage で設定してもらってください。
Couldn't calculate usage と表示されるのはなぜですか?トークンのパスがレスポンスと一致しないためです。
原因
保存したパスでは、レスポンスからトークン数を見つけられませんでした。
解決方法
Set up Usage で Pick from response を使ってパスを選び直し、保存してください。
Set up Usage が表示されないのはなぜですか?設定できるのは Admin のみであるためです。
原因
その他のユーザーには Contact admin to set up と表示されます。Not recorded のバージョンは設定できないため、ボタンがありません。
解決方法
Workspace の Admin に設定を依頼してください。
単価を変更したら、なぜ過去の Run のコストも変わったのですか?Run Report から保存すると、その Run が再計算されるためです。
原因
新しい設定でこの Run のコストを再計算しました。
解決方法
これは正常な動作です。同じ単価が次回以降の Run にも適用されます。

最終更新日