シナリオの確認と実行
作成された Scenario を確認し、モデルを選んでシミュレーションを実行した後、進行状況を確認します。
1. Scenario の確認
①Scenario
Scenario は、仮想ユーザーとの会話の状況を定義したテストケースです。ID は S-01、S-02 の形式です。
| カード | 内容 |
|---|---|
User Persona | 仮想ユーザーのプロフィール、感情(Emotion)、緊急度(Urgency)、口調(Tone) |
Task Instructions | 仮想ユーザーが会話で達成する目標と行動の指針 |
Expected Actions | エージェントが呼び出すべきツールと引数 |
Must Mention | エージェントが回答で必ず伝えるべき値 |
Expected Behavior | エージェントがポリシー上守るべき行動 |
View JSON | Scenario の元の JSON |
Expected Actionsは、Tool Schema を入れた Set にのみ表示されます。- 作成された Scenario は編集できません。変更するには、ポリシー文書を修正して新しい Set を作成します。
②生成時の使用量
左側の Total Generation Usage は、Scenario の作成に使った使用量の合計です。右側のタイトルの横には、選択した Scenario 1 件の使用量が表示されます。
| 項目 | 意味 |
|---|---|
Tokens | 使用したトークン数 |
Cost | かかったコスト |
Latency | 生成にかかった時間 |
結果画面の Scenario タブでも同じ値を確認できます。
1-1Scenario を選ぶ
- 上部のステップ表示で
ScenarioがDoneになっていることを確認します。 - 左側の一覧で Scenario をクリックします。
- 上部のステップ表示で
1-2Scenario の内容を確認
User Personaで仮想ユーザーを確認します。Task Instructionsで会話の目標を確認します。Expected Actionsで呼び出すツールを確認します。Must MentionとExpected Behaviorを確認します。- 元データが必要な場合は
View JSONを展開します。
カードごとの内容は Scenario にまとめています。
1-3ポリシー文書を確認
View Detailをクリックします。- 入力した Policy と Tool Schema を確認します。
1-4Set の情報を編集
- タイトルの横の鉛筆アイコンをクリックします。
- 名前と説明を編集し、
Saveをクリックします。
1-5Set を削除
- 右上の
Deleteをクリックします。 - 確認ダイアログで
Deleteをクリックします。
- Scenario、会話、評価結果がすべて削除されます。
- 削除した Set は元に戻せません。
- 右上の
2. シミュレーションの実行
①実行モデル
シミュレーションを開始するときに、3 つのモデルを選びます。
| 項目 | 役割 |
|---|---|
Application Version | 評価するエージェント |
User LLM | Scenario の仮想ユーザー役を務めるモデル |
Judge Model | 会話を Must Mention と Expected Behavior を基準に採点するモデル |
Application Versionは、Application に登録したバージョンの中から選びます。User LLMとJudge Modelは、Datumo のモデルの中から選びます。
実行中は Set を削除できません。実行が終わるまでお待ちください。
2-1実行ウィンドウを開く
- 右上の
Run Simulationをクリックします。
- 右上の
2-2モデルを選ぶ
Application Versionで評価するエージェントを選びます。User LLMを選びます。Judge Modelを選びます。
モデルごとの役割は 実行モデル で確認できます。
2-3実行を開始
Start Simulationをクリックします。- ステップ表示が
SimulationRunningに変わります。
登録されたモデルがない場合、
Start Simulationは無効になっています。
3. 進行状況の確認
①Scenario のステータス
Scenario ごとに、会話と採点が個別に進みます。会話が終わった Scenario から順に採点します。
| ステータス | 意味 |
|---|---|
Waiting | 前の Scenario が終わるのを待っている |
Running | 仮想ユーザーとエージェントが会話している |
Evaluating | 会話が終わり、採点している |
Pass | すべての評価項目を通過した |
Fail | 1 つ以上の評価項目を通過できなかった |
Error | 会話中または採点中にエラーが発生した |
- 一覧の
Turn Nは、これまでに交わした会話のターン数です。 - 評価結果と
Usageは、会話が終わった後に表示されます。 - すべての Scenario が終わると、結果画面に移ります。
②Fail と Error
| 区分 | 意味 | 対応 |
|---|---|---|
Fail | 会話は終わったが、評価基準を満たせなかった | 結果画面で原因を確認します。 |
Error | 会話または採点を終えられなかった | Retry All Errors で再実行します。 |
- 会話中の Error は、会話から再実行します。
- 採点中の Error は、採点だけを再実行します。
Errorが残っている間は、結果画面に移りません。
3-1全体の進行を確認
Statusで Set 全体のステータスを確認します。- 一覧で Scenario ごとのステータスとターン数を確認します。
ステータスごとの意味は Scenario のステータス で確認できます。
3-2会話を確認
Resultタブで会話をリアルタイムに確認します。- 採点が終わると、右側のカードに項目ごとの
Pass・Failが表示されます。 Expected Actionsはこの段階では評価しません。
- Trajectory をアップロードすると
Expected Actionsを評価します。 - 方法は 結果の確認 で説明しています。
3-3Error を再実行
Errorステータスの Scenario を確認します。Retry All Errorsをクリックします。
会話の Error は会話から、採点の Error は採点だけを再実行します。
よくある質問
Start Simulation をクリックできないのはなぜですか?登録された Gen & Judge Model がないためです。
- 原因
User LLMとJudge Modelを Datumo のモデルの中から選択しないと、シミュレーションを開始できません。- 解決方法
User LLMとJudge Modelを選択してから、もう一度実行してください。
Expected Actions カードが表示されないのはなぜですか?Tool Schema なしで作成した Set であるためです。
- 原因
- ツール呼び出しの基準は Tool Schema から作られます。
- 解決方法
- ツール呼び出しまで評価するには、Tool Schema を入れて新しい Set を作成してください。
Scenario の内容を編集できますか?いいえ、作成された Scenario は編集できません。
- 原因
- Scenario はポリシー文書から作成されます。画面では閲覧のみ可能です。
- 解決方法
- ポリシー文書を修正して新しい Set を作成してください。名前にバージョンを付けると比較しやすくなります。
実行中の Set はいつ削除できますか?シミュレーションが終わってから削除してください。実行中は Delete がオフになっています。
- 原因
- 実行中は
Deleteが無効になっています。 - 解決方法
- 実行が終わってから削除してください。
Error がずっと残っているのはなぜですか?会話または採点を終えられなかった Scenario があるためです。
- 原因
Errorがあると、結果画面に移りません。- 解決方法
Retry All Errorsをクリックして再実行してください。違いは Fail と Error を参照してください。
シミュレーションの作成とテストにかかる総コストはどう確認しますか?結果画面の Usage カードの Cost で確認してください。
- 原因
Usageの合計には、Scenario Generation、LLM User、AI Agent、Judge Modelの使用量がすべて含まれます。AI Agent の単価を設定していない場合、AI Agent のコストは合計から除外されます。また、採点中または採点で Error になった Scenario は Judge Model の使用量が除外されます。- 解決方法
- Scenario 作成のコストだけを見るには、この画面左側の
Total Generation Usageを確認してください。会話と採点まで含めた総コストは、結果画面のUsageカードのCostで確認してください。AI Agent のコストまで含めるには、Admin がSet up Usageで単価を設定してください。詳しくは 生成時の使用量 と 結果の確認 を参照してください。