評価履歴
評価(Run Eval)で生成された Eval Result を確認し、エラーが発生した項目を再実行します。
1. 結果一覧の確認
①結果画面の構成
結果画面は、1 つの Run における 1 つの Task の結果を表で表示します。Runs 画面で Task 名をクリックすると開きます。
- 画面上部に
Runs > Run 名と Task 名が表示されます。 - 表の行は、Benchmark Set のデータ 1 件です。先頭の
ID列で区別します。 - 表の列は、データの値、Output、スコアの順に並びます。
| 列グループ | 列名の例 | 内容 |
|---|---|---|
| Input | query | Application に入力した値 |
| Reference | expected_response | Metric が採点時に参照する正解 |
| Metadata | クエリ作成者 | 評価には使わない付加情報 |
| Output | response_Gemini-Pro | Version が生成した応答 |
| スコア | Average score_Gemini-ProContext Recall_score_Gemini-Pro | 平均スコアと Metric ごとのスコア |
| 判定根拠 | Context Recall_reason_Gemini-Pro | Metric がそのスコアを付けた理由 |
SortとFilterで必要な行だけを絞り込んで表示します。Column Visibilityで列を非表示にします。- 結果は評価時点の値で保存されます。ただし、Metadata は最新の値で表示されます。
Input、Reference、Metadata の意味は 評価のコアコンセプト で説明しています。
②平均スコア
平均スコアは、1 行の中で同じ Version の Metric スコアを平均した値です。列名は Average score_<Version> です。
- エラーが発生した Metric は除いて平均を計算します。
- Output を取得できなかった行は
-と表示されます。 FilterでAverage Scoreの範囲を指定すると、スコアの低い行だけを絞り込んで表示できます。
③Version ごとの結果
Run で Version を 2 つ以上オンにすると、結果が Version ごとに分かれます。
- 表:Output とスコアの列が Version ごとに個別に作成されます。列名の末尾に Version 名が付きます(例:
response_Gemini-Pro、response_RAG-v1.2)。 - Row Detail:右上に Version タブが表示されます。タブをクリックして、Version ごとの結果を個別に確認します。
同じデータの Version ごとのスコアを並べて比較できます。Version の選択については 評価の実行 で説明しています。
1-1結果画面を開く
- Runs 画面で Task 名をクリックして結果画面を開きます。初めての場合は、先に 結果画面の構成 を読んでください。
- 画面上部で Run 名と Task 名を確認します。
1-2スコアの確認
- データ行ごとに Version 別の Output を確認します。
- Metric のスコア欄と Average score を確認します。
Sort、Filterで必要な行だけを絞り込んで表示します。Exportをクリックして結果をエクスポートします。
2. Row Detail の確認
①Row Detail
Row Detail は、データ 1 件の内容と結果を 1 つの画面にまとめて表示するパネルです。表で行をクリックすると開きます。
| 位置 | 表示される内容 |
|---|---|
| 左側 | Run Name、Subgroup、TaskInput、Reference、Metadata |
| 右側 | Version タブ、Latency、Token UsageOutput、Results by Metric |
Results by Metricで Metric をクリックすると、その Metric のScoreとReasonが表示されます。- パネル上部の一覧または矢印で、前の行や次の行に移動します。
2-1行の詳細を見る
- 一覧でデータ行をクリックして Row Detail を開きます。
Input、Reference、Metadataを確認します。OutputとResults by Metricを確認します。- Version タブをクリックして、別の Version の結果を表示します。
Version タブは、2 つ以上の API Version を評価したときに表示されます。Version ごとの結果 を参照してください。
3. エラーの確認
①Fetch と評価
評価は 2 つのステージで進みます。Fetch が終わってから評価が始まります。
| ステージ | 処理内容 | 進行中の表示 |
|---|---|---|
| Fetch | Version の API を呼び出して Output を取得します。 | Fetching is in progress (n%) |
| 評価 | 取得した Output を Metric が採点します。 | Evaluation is in progress (n%) |
進行中の表示は、結果画面上部のプログレスバーに表示されます。プログレスバーが消えたら、両方のステージが完了しています。
②エラーの種類
エラーは、どのステージで発生したかによって 2 種類に分かれます。
| エラー | 意味 | 表での表示 |
|---|---|---|
| Fetch error | Output を取得できませんでした。 | Output のセルが赤く表示されます(例:[E-504] API response timeout)。その行のスコア欄は - です。 |
| Evaluation error | Output はあるものの、採点に失敗しました。 | スコア欄に Error が赤く表示されます。 |
エラーがあると、画面上部に Error Status Bar が表示されます。バーには両方のエラーの件数があわせて表示されます(例:Fetch errors: 2 · Evaluation errors: 2)。
3-1Error Status Bar の確認
- 画面上部の
Error Status Barでエラーの件数を確認します。エラーは エラーの種類 のとおり 2 種類です。 - 赤いセルでエラーが発生した項目を確認します。
- バーを閉じるには、右側の
Xをクリックします。
Xで閉じても、この画面に再度アクセスするとバーが再表示されます。- 画面上部の
4. 失敗した項目の再実行
①Retry と Retry All
エラーが発生した項目は再実行できます。
| 方法 | 再実行する範囲 |
|---|---|
| 赤いセルの再試行アイコン | その項目 1 件 |
Error Status Bar の Retry All | エラーが発生したすべての項目 |
Retry Allをクリックすると、確認ダイアログに再実行する件数が表示されます(Fetch items、Evaluation items)。- Fetch error の項目を先に再取得します。その後、評価を実行します。
- Output を再取得した項目は、Metric による採点もやり直します。
4-1Retry All を実行
Error Status BarのRetry Allをクリックします。- 確認ダイアログで
Retryをクリックします。 - 上部のプログレスバーで再実行の状況を確認します。
- 再実行が終わったら、結果をもう一度確認します。
- Fetch が必要な項目を先に処理します。
- その後、Evaluation を実行します。
- 詳しい順序は Retry と Retry All にあります。
よくある質問
画面上部に Error Status Bar が表示されるのはなぜですか?評価中にエラーが発生した項目があるためです。
- 原因
- 応答を取得できなかった項目や、評価に失敗した項目があるとバーが表示されます。詳しくは エラーの種類 を読んでください。
- 解決方法
Retry Allをクリックして、失敗した項目を再実行してください。
X で閉じた Error Status Bar がまた表示されるのはなぜですか?X はバーを一時的に非表示にするだけであるためです。
- 原因
- エラーが残っていると、結果画面に再度アクセスしたときにバーが再表示されます。
- 解決方法
- バーを消すには、
Retry Allで失敗した項目を再実行してください。
Retry All をクリックしたのに、スコアがすぐに表示されないのはなぜですか?Fetch を先に完了してから評価を実行するためです。
- 原因
- 応答を再取得する必要がある項目があると、その処理が終わってから評価が始まります。
- 解決方法
- 上部のプログレスバーが消えるまで待ってから、結果をもう一度確認してください。2 つのステージについては Fetch と評価 で説明しています。
Row Detail で別の Version の結果が表示されないのはなぜですか?Version タブを切り替えて確認してみてください。Version タブにはその Version の結果だけが表示されるためです。
- 原因
- API Version を 2 つ以上評価すると、Row Detail が Version ごとのタブに分かれます。
- 解決方法
- 右上の Version タブをクリックして、結果を個別に確認してください。