評価の実行
Task、Metric、Version を選んで評価(Run)を実行し、Run の履歴を確認します。
1. 評価の実行を開始する
①Run
Run は、評価を 1 回実行した記録です。Run Evaluation ダイアログで選んだ Criteria、Version、Task、Metric で評価します。
- 実行した Run は Runs 画面に蓄積されます。最新の Run がいちばん上にあります。
- 1 つの Run には、選んだ Task の結果が Version ごとに含まれます。
- Run 名には、デフォルトで
Run#9のように番号が付きます。
評価は Task 単位で実行されます。Task、Benchmark Set、Metric の関係は評価のコアコンセプトで説明しています。
②適用される Criteria
どの画面で Run Evaluation をクリックするかによって、最初に選択される Criteria が異なります。
| 開始した画面 | 最初に選択される Criteria |
|---|---|
| Runs 画面 | Default Criteria |
| Criteria Setting 画面 | 表示していた Criteria |
- ダイアログ上部の Criteria エリアで、別の Criteria に切り替えられます。
- 別の Criteria に切り替えてから戻っても、選んだ Task と Metric はそのまま残ります。
- Task がない Criteria を選ぶと
This Criteria has no Tasks to evaluate.と表示されます。Criteria Setting で Task と Metric を追加してから、もう一度実行します。
1-1Runs 画面から開始
- 左メニューで
Runsをクリックします。 - 右上の
Run Evaluationをクリックします。 - 上部の Criteria が
Default Criteriaになっていることを確認します。
Runs 画面から開始すると、
Default Criteriaが最初に適用されます。先に適用される Criteriaを読んでください。- 左メニューで
1-2Criteria Setting 画面から開始
- 左メニューで
Criteriaをクリックします。 - 評価に使う Criteria のタブを開きます。
- 右上の
Run Evaluationをクリックします。 - 表示していた Criteria が選択されていることを確認します。
- 左メニューで
2. 評価条件の選択
①評価対象の選択
Run Evaluation ダイアログで、今回の Run で評価する Task と Metric を選びます。ダイアログのタイトルは Select Tasks To Evaluate です。選んだ Task と Metric だけを評価します。
| エリア | 評価するもの | 表示構造 |
|---|---|---|
Application Eval (End to End) | Application 全体の最終応答 | Task Group(評価領域)→ Subgroup → Task |
Module Eval | Application を構成する個々の Module | Module(例:Text to SQL、Router)→ Task |
- Task を選ぶと、その Task の Metric がすべて一緒に選択されます。不要な Metric だけ選択を解除します。
- 警告アイコンが付いた Metric は選択できません。接続設定が必要であることを示します(
Connection required to evaluate this metric.)。 Get Output Onlyをオンにすると、Metric による評価をスキップして出力だけを取得します。このとき、Nextの代わりにStartボタンが表示されます。
②Version
Version は、評価する API を設定する単位です。Application に登録した Version のうち、評価する Version のスイッチをオンにします。
- オンにした Version ごとに、同じ Task と Benchmark Set で出力を個別に生成します。そのため、同じ基準で Version 同士を比較できます。
Application Eval (End to End)では、ダイアログ上部で Version をオンにします(例:Gemini-Pro、RAG-v1.2)。Module Evalでは、Module ごとに下部のVersion行でオンにします(例:Router_v1、Router_v2)。- Version を 2 つオンにすると、出力と評価の件数も 2 倍になります。
評価を実行するには、Version ごとに API 連携と Output Mapping を完了しておく必要があります。方法はApplication の API 連携で説明しています。
③実行確認ダイアログ
Next をクリックすると、実行確認ダイアログ(Confirm Evaluation Run)が開きます。このダイアログで Run 名と予想件数を確認します。
| 項目 | 意味 |
|---|---|
Run Name | Run 一覧に表示される名前。空欄にはできません。 |
Expected Output | 新たに生成する出力の数。Task のデータ件数 × オンにした Version 数です。 |
Expected Eval Result | 新たに生成する採点結果の数。出力の数 × 選んだ Metric 数です。 |
Run Evaluation をクリックすると、出力の生成と評価がすぐに始まります。開始した Run は停止もキャンセルもできません。予想件数を確認してから実行してください。
Run 名は実行後も、Run 一覧で名前の横にある鉛筆アイコンから変更できます。
2-1Criteria の変更
- ダイアログ上部の Criteria エリアをクリックします。
- 一覧から評価に使う Criteria を選択します。
Criteria を切り替えてから戻っても、選んだ Task と Metric はそのまま残ります。
2-2評価項目の選択
2-3実行の確認
Run Nameと予想件数を確認します。各項目の意味は実行確認ダイアログにあります。Run Evaluationをクリックします。
実行を開始すると、停止もキャンセルもできません。
3. Run 履歴の確認
①Run のステータス
Runs 画面で Run を展開すると、Task と Version ごとに進行状況が表示されます。出力を取得する段階(Fetch)が終わると、採点の段階(評価)が始まります。
Fetching Status は出力の取得状況です。
| 表示 | 意味 |
|---|---|
Waiting | 出力を取得する前です。 |
Fetching | 出力を取得しています。 |
Fetched | すべてのデータの出力を取得しました。 |
Partial Fetch | 一部のデータの出力を取得できませんでした。 |
Fetched Error | すべてのデータの出力を取得できませんでした。 |
Metrics には、Metric ごとの採点状況が表示されます。
| 表示 | 意味 |
|---|---|
Waiting | 採点前です。 |
Evaluating | 採点中です。 |
スコア(例:0.77) | 採点が終わったデータの平均スコアです。警告アイコンが付いている場合は、エラーになったデータを除いて算出した平均です。 |
Error | すべてのデータの採点に失敗しました。 |
Start Eval | 実行時に選ばなかった Metric です。クリックすると、その Metric だけを評価します。 |
- すべての評価が終わると、Run 名の横に
Run Completedと表示されます。 Start Eval状態の Metric をまとめて評価するには、Run All Evalsをクリックします。- エラーになった項目は、結果画面から再実行します。方法は評価履歴で説明しています。
3-1Run 一覧の確認
- 一覧のいちばん上で、新しく実行した Run を確認します。
- Run の左にある矢印で、Task ごとの結果を展開します。表示の意味は Run のステータス を参照してください。
- Task 名をクリックして評価結果を開きます。
結果画面は Eval Result のドキュメントで説明します。
よくある質問
希望する Criteria ではなく、なぜデフォルトの Criteria が設定されるのですか?Runs 画面から開始すると、Default Criteria が最初に適用されるためです。
- 原因
- Runs 画面の
Run Evaluationは、常にDefault Criteriaでダイアログを開きます。 - 解決方法
- ダイアログ上部の Criteria エリアで Criteria を変更してください。Criteria Setting 画面で
Run Evaluationをクリックしても構いません。
Criteria を変更したのに、なぜ先に選んだ Task と Metric が残っているのですか?Criteria ごとに選んだ Task と Metric を記憶しているためです。正常な動作です。
- 原因
- 別の Criteria に移動してから戻っても、先に選んだ Task と Metric を記憶しています。
- 解決方法
- 実行前に Task と Metric の選択をもう一度確認してください。適用される Criteria もあわせて読んでください。
実行した Run を停止できないのはなぜですか?開始した Run を停止・キャンセルする機能がないためです。
- 原因
- 確認ダイアログで
Run Evaluationをクリックすると、応答の生成と評価がすぐに始まります。 - 解決方法
- 確認ダイアログで予想件数と
Run Nameを確認してから実行してください。各項目の意味は実行確認ダイアログにあります。