Platform Docs
Try DatumoEval

結果の確認

シミュレーション結果のダッシュボードとシナリオごとの会話を確認し、使用量を設定したうえで Trajectory をアップロードしてツール呼び出しを評価します。

1. 結果ダッシュボードの確認

①結果画面の構成

シミュレーションが終わると結果画面が開きます。上から順に 4 つのエリアがあります。

エリア表示内容
Evaluation Result通過率、Pass・Fail の数、評価項目ごとの通過率(Pass rate by condition)
Usageこの Set で使用した Total Tokens と Total Cost。View Detail を展開するとステージごとのコスト(Cost by Stage)
Representative Failures条件の 80% 以上を満たせなかったシナリオ
All Scenariosシナリオごとの評価項目の結果

②Pass の判定

シナリオは、すべての評価項目を通過した場合にのみ Pass になります。1 つでも失敗した項目があれば Fail です。

評価項目確認する内容
Must Mention必ず伝えるべき値を回答で伝えたか
Expected Behaviorポリシー上守るべき行動を守ったか
Expected Actions正しいツールを正しい引数で呼び出したか
  • Expected Actions は、Trajectory の分析が終わってから判定に含まれます。それまでは Not evaluated と表示されます。
  • Pass Rate は、Pass になったシナリオの割合です。
  • Pass rate by condition の conditions met は満たした条件の数、scenarios passed はその項目をすべて通過したシナリオの数です。
  • シナリオはすべての条件を満たさないと通過しないため、通過率が項目ごとの通過率より低くなることがあります。

③代表的な失敗の確認

Representative Failures には、失敗したシナリオのうち条件の 80% 以上を満たせなかったシナリオが最大 3 件表示されます。

  • カード上部に、6 of 7 conditions not met のように満たせなかった条件の数と Task が表示されます。
  • その下に、評価項目ごとに満たせなかった条件が表示されます。Must Mention は欠けている値、Expected Behavior は守れなかった行動、Expected Actions は誤って呼び出したツールです。
  • 項目が多い場合は +1 more のように折りたたまれています。クリックして展開します。
  • View Detail をクリックすると、そのシナリオの詳細パネルが開きます。
  • すべてのシナリオが通過した場合や、80% 以上失敗したシナリオがない場合は、カードの代わりに案内メッセージが表示されます。
  1. 1-1評価結果の確認

    1. Pass Rate と Pass・Fail の数を確認します。
    2. Pass rate by condition で評価項目ごとの通過率を確認します。

    判定基準は Pass の判定 で確認できます。

  2. 1-2使用量の確認

    1. Total Tokens と Total Cost を確認します。
    2. View Detail をクリックします。
    3. Cost by Stage でステージごとのコストを確認します。
    • AI Agent のコストは、単価を設定すると合計に含まれます。
    • 詳しくは Usage の合計 を参照してください。
  3. 1-3代表的な失敗の確認

    1. Representative Failures で、条件の 80% 以上を満たせなかったシナリオを確認します。
    2. 満たせなかった条件が多い場合は +1 more で展開します。
    3. View Detail でそのシナリオの詳細パネルを開きます。
  4. 1-4全シナリオの確認

    1. All Scenarios でシナリオごとの結果を確認します。
    2. 行をクリックすると詳細パネルが開きます。
    • 各セルに Pass・Fail と(通過数/全体数)が表示されます。
    • Expected Actions 列は Trajectory の分析が終わると表示されます。

2. シナリオごとの結果の確認

①詳細パネル

All Scenarios で行をクリックするか、Representative Failures で View Detail をクリックすると、右側に詳細パネルが開きます。

タブ内容
Result会話内容、評価項目ごとの判定、使用量
Scenario評価に使ったシナリオの内容と元の JSON、シナリオ生成の使用量
  • 会話内の Must Mention の値は緑色で強調表示されます。
  • Must Mention カードで通過した値をクリックすると、会話内のその位置に移動します。
  • 同じ値をもう一度クリックすると、次の位置に移動します。
  • Expected Actions は、Trajectory の分析が終わるまで Not Evaluated と表示されます。
  1. 2-1パネルを開く

    1. All Scenarios でシナリオの行をクリックします。
    2. 詳細パネルで会話を確認します。
  2. 2-2評価項目の確認

    1. Must Mention で値ごとの判定を確認します。
    2. 通過した値をクリックすると、会話内のその位置が強調表示されます。
    3. Expected Behavior で行動ごとの判定を確認します。
  3. 2-3使用量の確認

    1. Usage でこのシナリオの使用量を確認します。

    ステージごとの内訳は Usage の合計 で確認できます。

  4. 2-4シナリオの確認

    1. Scenario タブをクリックします。
    2. 評価に使ったシナリオの内容を確認します。

3. 使用量の設定

①使用量の合計

Usage の合計には、次の使用量が含まれます。

ステージ合計に含まれるタイミング
Scenario Generationシナリオを生成したとき
LLM User会話が終わったとき
AI Agent会話が終わり、単価が設定されているとき
Judge Model採点が終わったとき
  • View Detail を展開すると、ステージごとのコスト(Cost by Stage)が Generation、Simulation、Evaluation に分けて表示されます。
  • 単価を設定していない場合、AI Agent のコストは合計から除外され、AI Agent usage is pending setup and excluded from totals. という案内が表示されます。Cost by Stage では AI Agent が Pending setup と表示され、割合も AI Agent を除いて計算されます(Shares exclude AI Agent)。
  • 単価を保存した直後は AI Agent usage is being calculated and excluded from totals for now. が表示されます。計算が終わると合計に含まれます。
  • 採点中または採点エラーが発生したシナリオは、Judge Model の使用量が除外されます。

②AI Agent の単価

AI Agent の単価は Set up Usage で設定します。評価対象のエージェントの応答からトークン数を読み取ってコストを計算します。

項目入力する内容
Input Tokens応答内で入力トークン数が入っているパス(例:response_1.usage.prompt_tokens)。
Output Tokens応答内で出力トークン数が入っているパス
Input token cost ($)入力トークン 100 万個あたりの価格
Output token cost ($)出力トークン 100 万個あたりの価格
  • Set up Usage は Admin のみ使用できます。ほかのユーザーには Contact your admin to set it up. が表示されます。
  • 設定は Application 単位で保存されます。同じ Application のすべての Set に適用されます。
  • 保存すると、いま表示している結果の AI Agent のコストが再計算されます。
  • マルチターンの会話では、すべての Turn のトークンを合算して計算します。
  1. 3-1設定ウィンドウを開く

    1. Usage の下の案内で Set up Usage をクリックします。View Detail を展開して AI Agent の行からクリックすることもできます。

    Admin のみ設定できます。

  2. 3-2トークンのパスを入力

    1. Input Tokens に入力トークン数のパスを入力します。
    2. Pick from response で応答例からパスを選ぶこともできます。
    3. Output Tokens も同じ方法で入力します。

    パスが正しければ、下に Mapped: 1240 のように値が表示されます。

  3. 3-3単価を入力

    1. トークン 100 万個あたりの入力・出力の価格を入力します。
    2. 下のボックスで 1 Turn あたりの予想コストを確認します。
    3. Save をクリックします。
    • 同じ Application のすべての Set に適用されます。
    • 各項目の意味は AI Agent の単価 を参照してください。

4. Trajectory のアップロード

①Trajectory

Trajectory は、シミュレーション中にエージェントが呼び出したツールの記録です。会話履歴だけではツール呼び出しがわからないため、別途アップロードします。

  • Tool Schema を含めた Set でのみアップロードできます。
  • シミュレーションがすべて終わった後、結果画面からアップロードします。
  • .json または .jsonl ファイルに対応しています。

②分析ステータス

ステータス画面
アップロード前黄色の案内 Tool call evaluation isn't included yet.
分析中青色の案内 Analyzing trajectory. Upload Trajectory が無効になる
分析完了案内が消え、Expected Actions の結果が反映される。ボタンが Re-upload Trajectory に変わる
分析失敗赤色の案内と Retry、Upload Again ボタン
  • 分析が終わると、Pass と Fail の数、通過率が再計算されます。
  • 分析中は Set を削除できません。
  • 別のファイルで再評価するには Re-upload Trajectory をクリックします。新しいファイルをアップロードすると、現在の Expected Actions の結果が置き換わります。
  1. 4-1ファイルをアップロード

    1. 黄色の案内メッセージを確認します。
    2. Upload Trajectory をクリックします。
    3. ファイルをドラッグ&ドロップするか、クリックして選択します。
    4. Upload をクリックします。
  2. 4-2分析結果の確認

    1. 分析中は青色の案内が表示されます。
    2. 分析が終わると Expected Actions の通過率が表示されます。
    3. 別のファイルで再評価するには Re-upload Trajectory をクリックします。

    Pass と Fail の数、Pass Rate も、ツール呼び出しの結果を含めて再計算されます。

  3. 4-3分析失敗時の対応

    1. 赤色の案内が表示されたら、ファイル形式を確認します。
    2. Retry をクリックして再分析します。
    3. ファイルを差し替えてアップロードするには Upload Again をクリックします。

よくある質問

Upload Trajectory ボタンがないのはなぜですか?Tool Schema なしで作成した Set であるためです。
原因
ツール呼び出しの評価は、Tool Schema を含めた Set でのみ行います。一覧の Trajectory 列に No Tool Schema と表示されます。
解決方法
ツール呼び出しまで評価するには、Tool Schema を含めて新しい Set を作成してください。
総コストが実際より低く表示されるのはなぜですか?AI Agent のコストが除外されているためです。
原因
AI Agent の単価を設定しないと、合計から除外されます。
解決方法
Admin が Set up Usage で単価を設定してください。方法は AI Agent の単価 にあります。
Set up Usage が表示されないのはなぜですか?Admin のみ設定できるためです。
原因
Admin でない場合は、ボタンの代わりに管理者に問い合わせるよう案内が表示されます。
解決方法
Workspace の Admin に単価の設定を依頼してください。
単価を保存したのに、コストが変わらないのはなぜですか?まだ計算中であるためです。
原因
単価を保存すると AI Agent のコストを再計算します。その間は Calculating と表示されます。
解決方法
しばらくしてから再度確認してください。
Expected Actions が Not Evaluated と表示されるのはなぜですか?Trajectory の分析が終わっていないためです。
原因
ツール呼び出しは会話履歴だけではわかりません。
解決方法
結果画面で Trajectory をアップロードしてください。分析が終わると判定が反映されます。
Trajectory の分析に失敗した場合はどうすればよいですか?ファイルが .json または .jsonl 形式か確認してから、Retry をクリックしてみてください。
原因
Trajectory は .json または .jsonl ファイルのみ分析します。
解決方法
ファイルを確認してから Retry をクリックするか、Upload Again でファイルを再アップロードしてください。

最終更新日