Platform Docs
Try DatumoEval

評価の実行

Task、Metric、Version を選んで評価(Run)を実行し、Run の履歴を確認します。

1. 評価の実行を開始する

①Run

Run は、評価を 1 回実行した記録です。Run Evaluation ダイアログで選んだ Criteria、Version、Task、Metric で評価します。

  • 実行した Run は Runs 画面に蓄積されます。最新の Run がいちばん上にあります。
  • 1 つの Run には、選んだ Task の結果が Version ごとに含まれます。
  • Run 名には、デフォルトで Run#9 のように番号が付きます。

評価は Task 単位で実行されます。Task、Benchmark Set、Metric の関係は評価のコアコンセプトで説明しています。

②適用される Criteria

どの画面で Run Evaluation をクリックするかによって、最初に選択される Criteria が異なります。

開始した画面最初に選択される Criteria
Runs 画面Default Criteria
Criteria Setting 画面表示していた Criteria
  • ダイアログ上部の Criteria エリアで、別の Criteria に切り替えられます。
  • 別の Criteria に切り替えてから戻っても、選んだ Task と Metric はそのまま残ります。
  • Task がない Criteria を選ぶと This Criteria has no Tasks to evaluate. と表示されます。Criteria Setting で Task と Metric を追加してから、もう一度実行します。
  1. 1-1Runs 画面から開始

    1. 左メニューで Runs をクリックします。
    2. 右上の Run Evaluation をクリックします。
    3. 上部の Criteria が Default Criteria になっていることを確認します。

    Runs 画面から開始すると、Default Criteria が最初に適用されます。先に適用される Criteriaを読んでください。

  2. 1-2Criteria Setting 画面から開始

    1. 左メニューで Criteria をクリックします。
    2. 評価に使う Criteria のタブを開きます。
    3. 右上の Run Evaluation をクリックします。
    4. 表示していた Criteria が選択されていることを確認します。

2. 評価条件の選択

①評価対象の選択

Run Evaluation ダイアログで、今回の Run で評価する Task と Metric を選びます。ダイアログのタイトルは Select Tasks To Evaluate です。選んだ Task と Metric だけを評価します。

エリア評価するもの表示構造
Application Eval (End to End)Application 全体の最終応答Task Group(評価領域)→ Subgroup → Task
Module EvalApplication を構成する個々の ModuleModule(例:Text to SQL、Router)→ Task
  • Task を選ぶと、その Task の Metric がすべて一緒に選択されます。不要な Metric だけ選択を解除します。
  • 警告アイコンが付いた Metric は選択できません。接続設定が必要であることを示します(Connection required to evaluate this metric.)。
  • Get Output Only をオンにすると、Metric による評価をスキップして出力だけを取得します。このとき、Next の代わりに Start ボタンが表示されます。

②Version

Version は、評価する API を設定する単位です。Application に登録した Version のうち、評価する Version のスイッチをオンにします。

  • オンにした Version ごとに、同じ Task と Benchmark Set で出力を個別に生成します。そのため、同じ基準で Version 同士を比較できます。
  • Application Eval (End to End) では、ダイアログ上部で Version をオンにします(例:Gemini-Pro、RAG-v1.2)。
  • Module Eval では、Module ごとに下部の Version 行でオンにします(例:Router_v1、Router_v2)。
  • Version を 2 つオンにすると、出力と評価の件数も 2 倍になります。

評価を実行するには、Version ごとに API 連携と Output Mapping を完了しておく必要があります。方法はApplication の API 連携で説明しています。

③実行確認ダイアログ

Next をクリックすると、実行確認ダイアログ(Confirm Evaluation Run)が開きます。このダイアログで Run 名と予想件数を確認します。

項目意味
Run NameRun 一覧に表示される名前。空欄にはできません。
Expected Output新たに生成する出力の数。Task のデータ件数 × オンにした Version 数です。
Expected Eval Result新たに生成する採点結果の数。出力の数 × 選んだ Metric 数です。

Run Evaluation をクリックすると、出力の生成と評価がすぐに始まります。開始した Run は停止もキャンセルもできません。予想件数を確認してから実行してください。

Run 名は実行後も、Run 一覧で名前の横にある鉛筆アイコンから変更できます。

  1. 2-1Criteria の変更

    1. ダイアログ上部の Criteria エリアをクリックします。
    2. 一覧から評価に使う Criteria を選択します。

    Criteria を切り替えてから戻っても、選んだ Task と Metric はそのまま残ります。

  2. 2-2評価項目の選択

    1. 評価する Version のスイッチをオンにします。
    2. 評価する Task を選択します。
    3. Task ごとに評価する Metric を選択します。
    4. Next をクリックします。

    必要な Task と Metric だけを選んでも構いません。評価対象の選択を参照してください。

  3. 2-3実行の確認

    1. Run Name と予想件数を確認します。各項目の意味は実行確認ダイアログにあります。
    2. Run Evaluation をクリックします。

    実行を開始すると、停止もキャンセルもできません。


3. Run 履歴の確認

①Run のステータス

Runs 画面で Run を展開すると、Task と Version ごとに進行状況が表示されます。出力を取得する段階(Fetch)が終わると、採点の段階(評価)が始まります。

Fetching Status は出力の取得状況です。

表示意味
Waiting出力を取得する前です。
Fetching出力を取得しています。
Fetchedすべてのデータの出力を取得しました。
Partial Fetch一部のデータの出力を取得できませんでした。
Fetched Errorすべてのデータの出力を取得できませんでした。

Metrics には、Metric ごとの採点状況が表示されます。

表示意味
Waiting採点前です。
Evaluating採点中です。
スコア(例:0.77)採点が終わったデータの平均スコアです。警告アイコンが付いている場合は、エラーになったデータを除いて算出した平均です。
Errorすべてのデータの採点に失敗しました。
Start Eval実行時に選ばなかった Metric です。クリックすると、その Metric だけを評価します。
  • すべての評価が終わると、Run 名の横に Run Completed と表示されます。
  • Start Eval 状態の Metric をまとめて評価するには、Run All Evals をクリックします。
  • エラーになった項目は、結果画面から再実行します。方法は評価履歴で説明しています。
  1. 3-1Run 一覧の確認

    1. 一覧のいちばん上で、新しく実行した Run を確認します。
    2. Run の左にある矢印で、Task ごとの結果を展開します。表示の意味は Run のステータス を参照してください。
    3. Task 名をクリックして評価結果を開きます。

    結果画面は Eval Result のドキュメントで説明します。


よくある質問

希望する Criteria ではなく、なぜデフォルトの Criteria が設定されるのですか?Runs 画面から開始すると、Default Criteria が最初に適用されるためです。
原因
Runs 画面の Run Evaluation は、常に Default Criteria でダイアログを開きます。
解決方法
ダイアログ上部の Criteria エリアで Criteria を変更してください。Criteria Setting 画面で Run Evaluation をクリックしても構いません。
Criteria を変更したのに、なぜ先に選んだ Task と Metric が残っているのですか?Criteria ごとに選んだ Task と Metric を記憶しているためです。正常な動作です。
原因
別の Criteria に移動してから戻っても、先に選んだ Task と Metric を記憶しています。
解決方法
実行前に Task と Metric の選択をもう一度確認してください。適用される Criteria もあわせて読んでください。
実行した Run を停止できないのはなぜですか?開始した Run を停止・キャンセルする機能がないためです。
原因
確認ダイアログで Run Evaluation をクリックすると、応答の生成と評価がすぐに始まります。
解決方法
確認ダイアログで予想件数と Run Name を確認してから実行してください。各項目の意味は実行確認ダイアログにあります。

最終更新日