結果の確認
シミュレーション結果のダッシュボードとシナリオごとの会話を確認し、使用量を設定したうえで Trajectory をアップロードしてツール呼び出しを評価します。
1. 結果ダッシュボードの確認
①結果画面の構成
シミュレーションが終わると結果画面が開きます。上から順に 4 つのエリアがあります。
| エリア | 表示内容 |
|---|---|
Evaluation Result | 通過率、Pass・Fail の数、評価項目ごとの通過率(Pass rate by condition) |
Usage | この Set で使用した Total Tokens と Total Cost。View Detail を展開するとステージごとのコスト(Cost by Stage) |
Representative Failures | 条件の 80% 以上を満たせなかったシナリオ |
All Scenarios | シナリオごとの評価項目の結果 |
②Pass の判定
シナリオは、すべての評価項目を通過した場合にのみ Pass になります。1 つでも失敗した項目があれば Fail です。
| 評価項目 | 確認する内容 |
|---|---|
Must Mention | 必ず伝えるべき値を回答で伝えたか |
Expected Behavior | ポリシー上守るべき行動を守ったか |
Expected Actions | 正しいツールを正しい引数で呼び出したか |
Expected Actionsは、Trajectory の分析が終わってから判定に含まれます。それまではNot evaluatedと表示されます。Pass Rateは、Passになったシナリオの割合です。Pass rate by conditionのconditions metは満たした条件の数、scenarios passedはその項目をすべて通過したシナリオの数です。- シナリオはすべての条件を満たさないと通過しないため、通過率が項目ごとの通過率より低くなることがあります。
③代表的な失敗の確認
Representative Failures には、失敗したシナリオのうち条件の 80% 以上を満たせなかったシナリオが最大 3 件表示されます。
- カード上部に、
6 of 7 conditions not metのように満たせなかった条件の数と Task が表示されます。 - その下に、評価項目ごとに満たせなかった条件が表示されます。
Must Mentionは欠けている値、Expected Behaviorは守れなかった行動、Expected Actionsは誤って呼び出したツールです。 - 項目が多い場合は
+1 moreのように折りたたまれています。クリックして展開します。 View Detailをクリックすると、そのシナリオの詳細パネルが開きます。- すべてのシナリオが通過した場合や、80% 以上失敗したシナリオがない場合は、カードの代わりに案内メッセージが表示されます。
1-1評価結果の確認
Pass RateとPass・Failの数を確認します。Pass rate by conditionで評価項目ごとの通過率を確認します。
判定基準は Pass の判定 で確認できます。
1-2使用量の確認
Total TokensとTotal Costを確認します。View Detailをクリックします。Cost by Stageでステージごとのコストを確認します。
- AI Agent のコストは、単価を設定すると合計に含まれます。
- 詳しくは Usage の合計 を参照してください。
1-3代表的な失敗の確認
Representative Failuresで、条件の 80% 以上を満たせなかったシナリオを確認します。- 満たせなかった条件が多い場合は
+1 moreで展開します。 View Detailでそのシナリオの詳細パネルを開きます。
1-4全シナリオの確認
All Scenariosでシナリオごとの結果を確認します。- 行をクリックすると詳細パネルが開きます。
- 各セルに
Pass・Failと(通過数/全体数)が表示されます。 Expected Actions列は Trajectory の分析が終わると表示されます。
2. シナリオごとの結果の確認
①詳細パネル
All Scenarios で行をクリックするか、Representative Failures で View Detail をクリックすると、右側に詳細パネルが開きます。
| タブ | 内容 |
|---|---|
Result | 会話内容、評価項目ごとの判定、使用量 |
Scenario | 評価に使ったシナリオの内容と元の JSON、シナリオ生成の使用量 |
- 会話内の
Must Mentionの値は緑色で強調表示されます。 Must Mentionカードで通過した値をクリックすると、会話内のその位置に移動します。- 同じ値をもう一度クリックすると、次の位置に移動します。
Expected Actionsは、Trajectory の分析が終わるまでNot Evaluatedと表示されます。
2-1パネルを開く
All Scenariosでシナリオの行をクリックします。- 詳細パネルで会話を確認します。
2-2評価項目の確認
Must Mentionで値ごとの判定を確認します。- 通過した値をクリックすると、会話内のその位置が強調表示されます。
Expected Behaviorで行動ごとの判定を確認します。
2-3使用量の確認
Usageでこのシナリオの使用量を確認します。
ステージごとの内訳は Usage の合計 で確認できます。
2-4シナリオの確認
Scenarioタブをクリックします。- 評価に使ったシナリオの内容を確認します。
3. 使用量の設定
①使用量の合計
Usage の合計には、次の使用量が含まれます。
| ステージ | 合計に含まれるタイミング |
|---|---|
Scenario Generation | シナリオを生成したとき |
LLM User | 会話が終わったとき |
AI Agent | 会話が終わり、単価が設定されているとき |
Judge Model | 採点が終わったとき |
View Detailを展開すると、ステージごとのコスト(Cost by Stage)がGeneration、Simulation、Evaluationに分けて表示されます。- 単価を設定していない場合、AI Agent のコストは合計から除外され、
AI Agent usage is pending setup and excluded from totals.という案内が表示されます。Cost by Stageでは AI Agent がPending setupと表示され、割合も AI Agent を除いて計算されます(Shares exclude AI Agent)。 - 単価を保存した直後は
AI Agent usage is being calculated and excluded from totals for now.が表示されます。計算が終わると合計に含まれます。 - 採点中または採点エラーが発生したシナリオは、Judge Model の使用量が除外されます。
②AI Agent の単価
AI Agent の単価は Set up Usage で設定します。評価対象のエージェントの応答からトークン数を読み取ってコストを計算します。
| 項目 | 入力する内容 |
|---|---|
Input Tokens | 応答内で入力トークン数が入っているパス(例:response_1.usage.prompt_tokens)。 |
Output Tokens | 応答内で出力トークン数が入っているパス |
Input token cost ($) | 入力トークン 100 万個あたりの価格 |
Output token cost ($) | 出力トークン 100 万個あたりの価格 |
Set up Usageは Admin のみ使用できます。ほかのユーザーにはContact your admin to set it up.が表示されます。- 設定は Application 単位で保存されます。同じ Application のすべての Set に適用されます。
- 保存すると、いま表示している結果の AI Agent のコストが再計算されます。
- マルチターンの会話では、すべての Turn のトークンを合算して計算します。
3-1設定ウィンドウを開く
Usageの下の案内でSet up Usageをクリックします。View Detailを展開して AI Agent の行からクリックすることもできます。
Admin のみ設定できます。
3-2トークンのパスを入力
Input Tokensに入力トークン数のパスを入力します。Pick from responseで応答例からパスを選ぶこともできます。Output Tokensも同じ方法で入力します。
パスが正しければ、下に
Mapped: 1240のように値が表示されます。3-3単価を入力
- トークン 100 万個あたりの入力・出力の価格を入力します。
- 下のボックスで 1 Turn あたりの予想コストを確認します。
Saveをクリックします。
- 同じ Application のすべての Set に適用されます。
- 各項目の意味は AI Agent の単価 を参照してください。
4. Trajectory のアップロード
①Trajectory
Trajectory は、シミュレーション中にエージェントが呼び出したツールの記録です。会話履歴だけではツール呼び出しがわからないため、別途アップロードします。
- Tool Schema を含めた Set でのみアップロードできます。
- シミュレーションがすべて終わった後、結果画面からアップロードします。
.jsonまたは.jsonlファイルに対応しています。
②分析ステータス
| ステータス | 画面 |
|---|---|
| アップロード前 | 黄色の案内 Tool call evaluation isn't included yet. |
| 分析中 | 青色の案内 Analyzing trajectory. Upload Trajectory が無効になる |
| 分析完了 | 案内が消え、Expected Actions の結果が反映される。ボタンが Re-upload Trajectory に変わる |
| 分析失敗 | 赤色の案内と Retry、Upload Again ボタン |
- 分析が終わると、Pass と Fail の数、通過率が再計算されます。
- 分析中は Set を削除できません。
- 別のファイルで再評価するには
Re-upload Trajectoryをクリックします。新しいファイルをアップロードすると、現在のExpected Actionsの結果が置き換わります。
4-1ファイルをアップロード
- 黄色の案内メッセージを確認します。
Upload Trajectoryをクリックします。- ファイルをドラッグ&ドロップするか、クリックして選択します。
Uploadをクリックします。
4-2分析結果の確認
- 分析中は青色の案内が表示されます。
- 分析が終わると
Expected Actionsの通過率が表示されます。 - 別のファイルで再評価するには
Re-upload Trajectoryをクリックします。
Pass と Fail の数、Pass Rate も、ツール呼び出しの結果を含めて再計算されます。
4-3分析失敗時の対応
- 赤色の案内が表示されたら、ファイル形式を確認します。
Retryをクリックして再分析します。- ファイルを差し替えてアップロードするには
Upload Againをクリックします。
よくある質問
Upload Trajectory ボタンがないのはなぜですか?Tool Schema なしで作成した Set であるためです。
- 原因
- ツール呼び出しの評価は、Tool Schema を含めた Set でのみ行います。一覧の
Trajectory列にNo Tool Schemaと表示されます。 - 解決方法
- ツール呼び出しまで評価するには、Tool Schema を含めて新しい Set を作成してください。
総コストが実際より低く表示されるのはなぜですか?AI Agent のコストが除外されているためです。
- 原因
- AI Agent の単価を設定しないと、合計から除外されます。
- 解決方法
- Admin が
Set up Usageで単価を設定してください。方法は AI Agent の単価 にあります。
Set up Usage が表示されないのはなぜですか?Admin のみ設定できるためです。
- 原因
- Admin でない場合は、ボタンの代わりに管理者に問い合わせるよう案内が表示されます。
- 解決方法
- Workspace の Admin に単価の設定を依頼してください。
単価を保存したのに、コストが変わらないのはなぜですか?まだ計算中であるためです。
- 原因
- 単価を保存すると AI Agent のコストを再計算します。その間は
Calculatingと表示されます。 - 解決方法
- しばらくしてから再度確認してください。
Expected Actions が Not Evaluated と表示されるのはなぜですか?Trajectory の分析が終わっていないためです。
- 原因
- ツール呼び出しは会話履歴だけではわかりません。
- 解決方法
- 結果画面で Trajectory をアップロードしてください。分析が終わると判定が反映されます。
Trajectory の分析に失敗した場合はどうすればよいですか?ファイルが .json または .jsonl 形式か確認してから、Retry をクリックしてみてください。
- 原因
- Trajectory は
.jsonまたは.jsonlファイルのみ分析します。 - 解決方法
- ファイルを確認してから
Retryをクリックするか、Upload Againでファイルを再アップロードしてください。