Platform Docs
Try DatumoEval

評価履歴

評価(Run Eval)で生成された Eval Result を確認し、エラーが発生した項目を再実行します。

1. 結果一覧の確認

①結果画面の構成

結果画面は、1 つの Run における 1 つの Task の結果を表で表示します。Runs 画面で Task 名をクリックすると開きます。

  • 画面上部に Runs > Run 名 と Task 名が表示されます。
  • 表の行は、Benchmark Set のデータ 1 件です。先頭の ID 列で区別します。
  • 表の列は、データの値、Output、スコアの順に並びます。
列グループ列名の例内容
InputqueryApplication に入力した値
Referenceexpected_responseMetric が採点時に参照する正解
Metadataクエリ作成者評価には使わない付加情報
Outputresponse_Gemini-ProVersion が生成した応答
スコアAverage score_Gemini-Pro
Context Recall_score_Gemini-Pro
平均スコアと Metric ごとのスコア
判定根拠Context Recall_reason_Gemini-ProMetric がそのスコアを付けた理由
  • Sort と Filter で必要な行だけを絞り込んで表示します。Column Visibility で列を非表示にします。
  • 結果は評価時点の値で保存されます。ただし、Metadata は最新の値で表示されます。

Input、Reference、Metadata の意味は 評価のコアコンセプト で説明しています。

②平均スコア

平均スコアは、1 行の中で同じ Version の Metric スコアを平均した値です。列名は Average score_<Version> です。

  • エラーが発生した Metric は除いて平均を計算します。
  • Output を取得できなかった行は - と表示されます。
  • Filter で Average Score の範囲を指定すると、スコアの低い行だけを絞り込んで表示できます。

③Version ごとの結果

Run で Version を 2 つ以上オンにすると、結果が Version ごとに分かれます。

  • 表:Output とスコアの列が Version ごとに個別に作成されます。列名の末尾に Version 名が付きます(例:response_Gemini-Pro、response_RAG-v1.2)。
  • Row Detail:右上に Version タブが表示されます。タブをクリックして、Version ごとの結果を個別に確認します。

同じデータの Version ごとのスコアを並べて比較できます。Version の選択については 評価の実行 で説明しています。

  1. 1-1結果画面を開く

    1. Runs 画面で Task 名をクリックして結果画面を開きます。初めての場合は、先に 結果画面の構成 を読んでください。
    2. 画面上部で Run 名と Task 名を確認します。
  2. 1-2スコアの確認

    1. データ行ごとに Version 別の Output を確認します。
    2. Metric のスコア欄と Average score を確認します。
    3. Sort、Filter で必要な行だけを絞り込んで表示します。
    4. Export をクリックして結果をエクスポートします。

2. Row Detail の確認

①Row Detail

Row Detail は、データ 1 件の内容と結果を 1 つの画面にまとめて表示するパネルです。表で行をクリックすると開きます。

位置表示される内容
左側Run Name、Subgroup、Task
Input、Reference、Metadata
右側Version タブ、Latency、Token Usage
Output、Results by Metric
  • Results by Metric で Metric をクリックすると、その Metric の Score と Reason が表示されます。
  • パネル上部の一覧または矢印で、前の行や次の行に移動します。
  1. 2-1行の詳細を見る

    1. 一覧でデータ行をクリックして Row Detail を開きます。
    2. Input、Reference、Metadata を確認します。
    3. Output と Results by Metric を確認します。
    4. Version タブをクリックして、別の Version の結果を表示します。

    Version タブは、2 つ以上の API Version を評価したときに表示されます。Version ごとの結果 を参照してください。


3. エラーの確認

①Fetch と評価

評価は 2 つのステージで進みます。Fetch が終わってから評価が始まります。

ステージ処理内容進行中の表示
FetchVersion の API を呼び出して Output を取得します。Fetching is in progress (n%)
評価取得した Output を Metric が採点します。Evaluation is in progress (n%)

進行中の表示は、結果画面上部のプログレスバーに表示されます。プログレスバーが消えたら、両方のステージが完了しています。

②エラーの種類

エラーは、どのステージで発生したかによって 2 種類に分かれます。

エラー意味表での表示
Fetch errorOutput を取得できませんでした。Output のセルが赤く表示されます(例:[E-504] API response timeout)。
その行のスコア欄は - です。
Evaluation errorOutput はあるものの、採点に失敗しました。スコア欄に Error が赤く表示されます。

エラーがあると、画面上部に Error Status Bar が表示されます。バーには両方のエラーの件数があわせて表示されます(例:Fetch errors: 2 · Evaluation errors: 2)。

  1. 3-1Error Status Bar の確認

    1. 画面上部の Error Status Bar でエラーの件数を確認します。エラーは エラーの種類 のとおり 2 種類です。
    2. 赤いセルでエラーが発生した項目を確認します。
    3. バーを閉じるには、右側の X をクリックします。

    X で閉じても、この画面に再度アクセスするとバーが再表示されます。


4. 失敗した項目の再実行

①Retry と Retry All

エラーが発生した項目は再実行できます。

方法再実行する範囲
赤いセルの再試行アイコンその項目 1 件
Error Status Bar の Retry Allエラーが発生したすべての項目
  • Retry All をクリックすると、確認ダイアログに再実行する件数が表示されます(Fetch items、Evaluation items)。
  • Fetch error の項目を先に再取得します。その後、評価を実行します。
  • Output を再取得した項目は、Metric による採点もやり直します。
  1. 4-1Retry All を実行

    1. Error Status Bar の Retry All をクリックします。
    2. 確認ダイアログで Retry をクリックします。
    3. 上部のプログレスバーで再実行の状況を確認します。
    4. 再実行が終わったら、結果をもう一度確認します。
    • Fetch が必要な項目を先に処理します。
    • その後、Evaluation を実行します。
    • 詳しい順序は Retry と Retry All にあります。

よくある質問

画面上部に Error Status Bar が表示されるのはなぜですか?評価中にエラーが発生した項目があるためです。
原因
応答を取得できなかった項目や、評価に失敗した項目があるとバーが表示されます。詳しくは エラーの種類 を読んでください。
解決方法
Retry All をクリックして、失敗した項目を再実行してください。
X で閉じた Error Status Bar がまた表示されるのはなぜですか?X はバーを一時的に非表示にするだけであるためです。
原因
エラーが残っていると、結果画面に再度アクセスしたときにバーが再表示されます。
解決方法
バーを消すには、Retry All で失敗した項目を再実行してください。
Retry All をクリックしたのに、スコアがすぐに表示されないのはなぜですか?Fetch を先に完了してから評価を実行するためです。
原因
応答を再取得する必要がある項目があると、その処理が終わってから評価が始まります。
解決方法
上部のプログレスバーが消えるまで待ってから、結果をもう一度確認してください。2 つのステージについては Fetch と評価 で説明しています。
Row Detail で別の Version の結果が表示されないのはなぜですか?Version タブを切り替えて確認してみてください。Version タブにはその Version の結果だけが表示されるためです。
原因
API Version を 2 つ以上評価すると、Row Detail が Version ごとのタブに分かれます。
解決方法
右上の Version タブをクリックして、結果を個別に確認してください。

最終更新日