評価レポート
Run Report で、リリース判定、判定グループ別の分析、バージョン比較の結果を確認します。
1. Run Report を開く
①Run Report の構成
Run Report は、Run が終わると自動で作成される結果レポートです。Release Gate に基づいて、リリースしてよいかを判定します。Release Gate は Criteria ごとに定める判定基準です。チャートを別途作成する必要はありません。
Report 画面は、上から順に次の部分に分かれています。
| 領域 | 表示内容 |
|---|---|
| ヘッダー | どの Run をどの基準で評価したか。Run Detail、Criteria Detail、ShareRun Detail では使用量(コスト・トークン)も確認できます。 |
Conclusion Summary | バージョンごとの判定グループカードの Pass・Fail |
Usage タブ | この Run にかかったコスト、トークン、時間。使用量の確認で説明しています。 |
| 判定グループタブ | グループ別のバージョン比較と失敗原因の分析 |
- Run に Metric を追加すると、Report が再作成されます。このときのステータスは
Run Updating、Report Updatingです。 - 再作成中も既存の Report を閲覧できます。
- Release Gate の設定方法は Criteria の管理で説明しています。
1-1Run Report を開く
- 左メニューで
Evaluation Dashboardをクリックします。 Default PageのRun Reportが開きます。画面構成は Run Report の構成を参照してください。
- Run が終わると Report が自動で作成されます。
- Run が進行中の場合、Report はありません。
- 左メニューで
2. Run と基準の確認
①判定グループ
判定グループは、Report が Pass・Fail を個別に判定する単位です。Criteria の評価領域と Module がそれぞれグループになります。
| 判定グループ | 評価対象 | 結果の構造 | デフォルトの Fail Threshold |
|---|---|---|---|
General Performance | Application | Sub Group › Task › Metric | 10% |
Policy & UX | Application | Sub Group › Task › Metric | 5% |
Safety | Application | Sub Group › Task › Metric | 2% |
Module Performance | Module | Task › Metric | 10% |
- Application グループのカードには、Application のバージョンごとに 1 行ずつ表示されます。
- Module のカードは、Module のバージョンごとに 1 枚ずつ表示されます(例:
RAG BM25、RAG Hybrid)。 - Run に含まれないグループは、カードもタブも表示されません。
②判定基準
| 用語 | 意味 | デフォルト値 |
|---|---|---|
| ケース | ベンチマークデータ 1 件を Metric 1 つで採点した結果 | - |
Correctness Threshold | ケースを正解とみなす最低スコア。 スコアがこれより低いと Incorrect です。 | 0.5 |
| 失敗率 | Metric の採点ケースのうち Incorrect ケースが占める割合 | - |
Fail Threshold | Metric ごとに定める許容失敗率。 失敗率がこの値を超えると、その Metric は不合格です。 | 判定グループごとに異なる |
- Criteria 画面の Release Gate では名称が異なります。
Correctness ThresholdはPass scoreとして設定します。0.0~1.0 の値です。Fail ThresholdはFailure rateとして設定します。0~100(%)の値です。
IncorrectケースはMetric Fail Rate Detailで確認できます。スコアの低い順に表示されます。
③基準時点
Report の値は、作成時点の値で固定されます。後から設定を変更しても、作成済みの Report は変わりません。
| 値 | 固定される時点 |
|---|---|
| Application、Task、Metric、Benchmark Set | Run を開始した時点 |
Correctness Threshold、Fail Threshold | Report の作成を開始した時点 |
- 変更した基準は、次の Run の Report から反映されます。
Run Timeは Run を実行した時刻です。Report を作成した時刻ではありません。
2-1Run の切り替え
- タイトルの
Run #142 ⌄をクリックします。 - 表示する Run の行をクリックします。
進行中の Run や Report のない Run は薄く表示され、選択できません。
- タイトルの
2-2評価情報の確認
Run Detailで Task・Metric・データ件数を確認します。- 評価した Application と Module のバージョンを確認します。
- Report の値は、Run と Report を作成した時点の値です。
- 現在の設定と異なる場合があります。基準時点を参照してください。
2-3判定基準の確認
Criteria Detailの横にある Criteria 名をクリックします。- Metric ごとの
Fail Thresholdを確認します。用語は判定基準で説明しています。
Run で選択した Metric のみ表示されます。
2-4Report の共有
Shareをクリックすると Report のリンクがコピーされます。
現在表示している Run の Report が共有されます。
3. リリース判定の確認
①判定の順序
判定は Metric 単位で行います。グループカードの結果は、その中の Metric の判定をまとめたものです。
- ケースの判定:スコアが
Correctness Thresholdより低いとIncorrectです。 - Metric の判定:失敗率が
Fail Thresholdを超えると、その Metric は不合格です。 - グループの判定:Metric がすべて合格ならカードは
Passです。1 つでも不合格があればカードはFailです。
たとえば、Fail Threshold が 10% の Metric があるとします。データ 80 件中 4 件が Incorrect なら失敗率は 5% で合格です。10 件が Incorrect なら失敗率は 12.5% で不合格です。
- 一部のケースがエラーの場合は、そのケースだけを除いて失敗率を計算します。
- すべてのケースがエラーの Metric は判定から除外します。
- カードの大きな % はグループ全体の失敗率です。参考用の要約値であり、判定の根拠ではありません。
4. バージョン比較
①バージョン比較
バージョン比較では、同じ Application または Module の 2 つのバージョンを 1 対 1 で比較します。同じベンチマークデータで 2 つのバージョンの判定がどのように分かれたかを示します。新しいバージョンに切り替えてよいかを判断するときに使います。
- 左が基準となる A バージョン、右が比較対象の B バージョンです。
- ケースは 2 つのバージョンの判定に応じて 4 つの枠に分かれます。枠の名前にはバージョン名が入ります。
| 枠 | 意味 | 読み方 |
|---|---|---|
A のみ Correct | A は正解し、B は不正解だったケース | B に切り替えると失うもの |
B のみ Correct | B は正解し、A は不正解だったケース | B に切り替えると得るもの |
Both Version Correct | 両バージョンとも正解したケース | どちらのバージョンも問題なし |
Both Version Incorrect | 両バージョンとも不正解だったケース | バージョンを切り替えても残る失敗 |
- 2 つのバージョンの判定が異なるケースを Conflicting ケースと呼びます。
Metric Comparisonでリードしているバージョンは、失敗率がより低いバージョンです。失敗率が同じ場合はTiedと表示されます。- 3 つ以上のバージョンを一度に比較することはできません。A を固定し、B だけを切り替えながら確認します。
4-1比較するバージョンの選択
General Performanceなどのグループタブをクリックします。- 左側で基準となる A バージョンを選びます。
- 右側で比較する B バージョンを選びます。
- A と B を入れ替えるには
Swap versionsをクリックします。
- 一方で選んだバージョンは、反対側では選べません。
- 現在使っているバージョンを A、切り替え候補のバージョンを B にすると読みやすくなります。
- 初めての場合は、まずバージョン比較をお読みください。
4-2判定が分かれたケースの確認
- 左側の枠で Case ごとの件数を確認します。
- 表示する Case の枠をクリックします。
Metric Distributionで、失敗が集中している Metric を確認します。- ケースカードで、2 つのバージョンのスコアとその差を確認します。
View allをクリックすると、Filtered Resultパネルにすべて表示されます。
- まず
Both Version Incorrectを確認します。バージョンを切り替えても残る失敗です。 - スコアの差は
A − Bです。正の値なら A のスコアの方が高いことを示します。
4-3Metric 別の比較
- カードのヘッダーで、リードしているバージョンと勝ったケース数を確認します。
- バージョンの行で、2 つのバージョンの
Pass・Failを比較します。 - バーで失敗率と
Fail Thresholdの線を確認します。 Reference Comparisonで、全バージョン中の順位を確認します。
バージョンの行は A・B の順ではなく、失敗率の低い順に並びます。
5. 失敗原因の分析
①失敗分析の領域
判定グループタブの下部にある Version Detail で、失敗がどこに集中しているかを確認します。
| 領域 | まとめる基準 | 対象 | 表示される条件 |
|---|---|---|---|
Query Cluster | 似た質問同士をまとめた質問タイプ | 正解した質問と不正解だった質問の両方 | LLM-as-a-judge 評価を行った場合 |
Score Reason Cluster | 似た失敗理由同士をまとめた理由 | Incorrect ケースのみ | 上記の条件に加え、Incorrect ケースがある場合 |
Metadata Incorrect Rate | メタデータキーの値 | Incorrect データ | 条件を満たすキーがある場合 |
- 失敗理由とは、Metric がスコアとともに残す判定の根拠(スコア理由)です。
- 2 つのクラスターは、Run で最も多く使われた Judge Model が作成します。
- クラスターの名前と説明の作成に使ったトークンは、Trial のトークン使用量に含まれます。
- メタデータは Benchmark Set の付加情報の列です(例:
難易度、チャネル)。
5-1質問タイプ別の失敗
Version Detailで表示するバージョンを選びます。Query Clusterで質問タイプ別の件数を比較します。失敗分析の領域を参照してください。Incorrect Rate By Query Clusterで失敗率の高いタイプを確認します。- ボックスやカードをクリックすると、
Filtered Resultパネルが開きます。
- ボックスの大きさは質問数です。正解した質問と不正解だった質問の両方を数えます。
- LLM-as-a-judge 評価を行った場合のみ表示されます。
5-2失敗理由の確認
Score Reason Clusterで理由別の失敗件数を比較します。Fail Reason Breakdownで理由ごとの Metric の割合を確認します。
不正解のケースのみを理由別にまとめて表示します。
5-3Metadata 別の失敗率
Metadata Incorrect Rateで Key タブを選びます。- 値ごとの失敗率を確認します。
値の種類が 10 個を超える場合は、不正解の多い 10 個のみ表示されます。
5-4Metric 別の失敗ケース
- Sub Group を展開します。
- Metric カードの右側の矢印をクリックしてカードを展開します。
View Detailをクリックして、失敗ケースをすべて表示します。
代表的な失敗ケースはスコアの低い順に表示されます。
5-5Module の分析
Module Performanceタブをクリックします。Select Moduleをクリックします。- 表示する Module を選びます。
- Module を切り替えると、バージョンの選択がデフォルトに戻ります。
- Module には Sub Group がないため、Task の下に直接 Metric が表示されます。
6. 使用量の確認
1 回の Run にかかったコスト、トークン、時間(レイテンシ)を確認します。コストを表示するには、バージョンごとにトークンのパスと単価を設定しておく必要があります。方法は Application API 連携で説明しています。
①使用量を見る
- 簡易表示:ヘッダーの
Run Detailで、Judge Model とバージョン別のコスト、トークン数を確認します。 - 詳細表示:
Usageタブで確認します。
Usage タブの領域 | 表示内容 |
|---|---|
Usage Ranking | コスト(またはトークン、時間)が大きいバージョンの順位 |
Distribution by Benchmark Row | データ 1 行ごとにかかったコストまたは時間の分布。オレンジ色は平均を大きく上回る行です。 |
Usage Detail | バージョン別のトークン、コスト、時間の合計と 1 行あたりの平均 |
App & Module Total | 全体の合計 |
Judge Model Usage / Judge Model Total | 採点に使った Judge Model の使用量 |
②使用量が表示されない場合
| 画面の表示 | 理由 | 対処 |
|---|---|---|
Pending setup | このバージョンの単価がまだ設定されていません。 | Admin が Set up Usage で設定します。 |
Not recorded | 使用量の記録機能が導入される前に実行された Run です。 | 使用量を確認するには Run を新たに実行します。 |
Couldn't calculate usage | トークンのパスがレスポンスと一致しません。 | Set up Usage でパスを修正します。 |
- 上記のバージョンは合計から除外されます。除外された数は
App & Module Totalの下のExcludes …に表示されます。 - すべてのバージョンが
Pending setupの場合は、実際のデータではなくSAMPLEと表示されたサンプルのバーが表示されます。
③使用量の設定
Run Report から直接設定できます。設定できるのは Admin のみで、その他のユーザーには Contact admin to set up と表示されます。
Run DetailでPending setupのバージョンにマウスを重ね、Set up UsageをクリックInput Tokens、Output Tokensにトークンのパスを入力(Pick from responseで選択することも可能)- 100 万トークンあたりの入力・出力の価格を入力
- 設定するバージョンがまだあれば
Next、最後ならSaveをクリック
保存すると、この Run の使用量が新しい設定で再計算されます。同じ設定はバージョンに保存され、次回以降の Run でも使われます。
Pending setup ($) と表示されるバージョンは、トークン数がすでに記録されています。価格を 2 つ入力するだけで完了です。
よくある質問
Run Report が表示されないのはなぜですか?Run が進行中か、Report を作成できない Run であるためです。
- 原因
- Report は Run が終わってから作成されます。Run のすべての Metric がエラーの場合は作成されません。Run Report 機能のリリース前に終わった Run にもありません。
- 解決方法
- Run が終わるまでお待ちください。すべての Metric がエラーの場合は、Run を再試行してください。再試行すると以前の Report は残らず、新しい Report に置き換わります。
Report の作成に失敗した場合はどうすればよいですか?Run の切り替えメニューで Report Failed の行の Retry をクリックしてみてください。
- 原因
- Report の作成中にエラーが発生すると
Report Failedと表示されます。この Run は選択できません。 - 解決方法
Report Failedの行のRetryをクリックしてください。作成が完了するとReport Completedに変わります。
カードの % は基準以下なのに、なぜ Fail になるのですか?判定はカードの % ではなく、Metric 単位で行うためです。
- 原因
- カードの % はグループ全体を要約した参考値です。Metric が 1 つでも自身の
Fail Thresholdを超えると、カードは Fail になります。 - 解決方法
N metrics not metを展開して、基準を超えた Metric を確認してください。判定方法は判定の順序を参照してください。
Report の値が現在の設定と異なるのはなぜですか?Report は作成時点の値を表示するためです。
- 原因
- Application・Task・Metric・データは Run 開始時点の値です。判定基準は Report の作成を開始した時点の値です。
- 解決方法
- これは正常な動作です。現在の設定は Criteria 画面で確認してください。変更した基準は次の Run から反映されます。基準時点を参照してください。
Query Cluster や Score Reason Cluster がないのはなぜですか?LLM-as-a-judge 評価を行った場合にのみ作成されるためです。
- 原因
- rule-based 評価のみを行った場合や、Judge Model に LLM が含まれない場合は作成されません。不正解のケースがない場合は、Score Reason Cluster のみ表示されません。
- 解決方法
- Criteria に LLM-as-a-judge 評価を追加して Run を実行してください。
Metadata の失敗率の領域が表示されないのはなぜですか?条件を満たす Metadata Key がないためです。
- 原因
- Key ごとに不正解のデータを値別にまとめたとき、5 件以上のまとまりが 2 つ以上ある場合にのみ表示されます。
- 解決方法
- これは正常な動作です。条件を満たす Key がある場合にのみ表示されます。
バージョンの使用量が Not recorded と表示されるのはなぜですか?使用量の記録機能が導入される前に実行された Run であるためです。
- 原因
- 当時は使用量が保存されていなかったため、後から設定しても確認できません。
- 解決方法
- 使用量を確認するには、Run を新たに実行してください。
Total cost が実際より低く見えるのはなぜですか?合計から除外されたバージョンがあるためです。
- 原因
- 単価を設定していないバージョンや記録のないバージョンは、合計に含まれません。
- 解決方法
App & Module Totalの下のExcludes …で除外された数を確認し、Admin にSet up Usageで設定してもらってください。
Couldn't calculate usage と表示されるのはなぜですか?トークンのパスがレスポンスと一致しないためです。
- 原因
- 保存したパスでは、レスポンスからトークン数を見つけられませんでした。
- 解決方法
Set up UsageでPick from responseを使ってパスを選び直し、保存してください。
Set up Usage が表示されないのはなぜですか?設定できるのは Admin のみであるためです。
- 原因
- その他のユーザーには
Contact admin to set upと表示されます。Not recordedのバージョンは設定できないため、ボタンがありません。 - 解決方法
- Workspace の Admin に設定を依頼してください。
単価を変更したら、なぜ過去の Run のコストも変わったのですか?Run Report から保存すると、その Run が再計算されるためです。
- 原因
- 新しい設定でこの Run のコストを再計算しました。
- 解決方法
- これは正常な動作です。同じ単価が次回以降の Run にも適用されます。