Platform Docs
Try DatumoEval

シナリオの確認と実行

作成された Scenario を確認し、モデルを選んでシミュレーションを実行した後、進行状況を確認します。

1. Scenario の確認

①Scenario

Scenario は、仮想ユーザーとの会話の状況を定義したテストケースです。ID は S-01、S-02 の形式です。

カード内容
User Persona仮想ユーザーのプロフィール、感情(Emotion)、緊急度(Urgency)、口調(Tone)
Task Instructions仮想ユーザーが会話で達成する目標と行動の指針
Expected Actionsエージェントが呼び出すべきツールと引数
Must Mentionエージェントが回答で必ず伝えるべき値
Expected Behaviorエージェントがポリシー上守るべき行動
View JSONScenario の元の JSON
  • Expected Actions は、Tool Schema を入れた Set にのみ表示されます。
  • 作成された Scenario は編集できません。変更するには、ポリシー文書を修正して新しい Set を作成します。

②生成時の使用量

左側の Total Generation Usage は、Scenario の作成に使った使用量の合計です。右側のタイトルの横には、選択した Scenario 1 件の使用量が表示されます。

項目意味
Tokens使用したトークン数
Costかかったコスト
Latency生成にかかった時間

結果画面の Scenario タブでも同じ値を確認できます。

  1. 1-1Scenario を選ぶ

    1. 上部のステップ表示で Scenario が Done になっていることを確認します。
    2. 左側の一覧で Scenario をクリックします。
  2. 1-2Scenario の内容を確認

    1. User Persona で仮想ユーザーを確認します。
    2. Task Instructions で会話の目標を確認します。
    3. Expected Actions で呼び出すツールを確認します。
    4. Must Mention と Expected Behavior を確認します。
    5. 元データが必要な場合は View JSON を展開します。

    カードごとの内容は Scenario にまとめています。

  3. 1-3ポリシー文書を確認

    1. View Detail をクリックします。
    2. 入力した Policy と Tool Schema を確認します。
  4. 1-4Set の情報を編集

    1. タイトルの横の鉛筆アイコンをクリックします。
    2. 名前と説明を編集し、Save をクリックします。
  5. 1-5Set を削除

    1. 右上の Delete をクリックします。
    2. 確認ダイアログで Delete をクリックします。
    • Scenario、会話、評価結果がすべて削除されます。
    • 削除した Set は元に戻せません。

2. シミュレーションの実行

①実行モデル

シミュレーションを開始するときに、3 つのモデルを選びます。

項目役割
Application Version評価するエージェント
User LLMScenario の仮想ユーザー役を務めるモデル
Judge Model会話を Must Mention と Expected Behavior を基準に採点するモデル
  • Application Version は、Application に登録したバージョンの中から選びます。
  • User LLM と Judge Model は、Datumo のモデルの中から選びます。

実行中は Set を削除できません。実行が終わるまでお待ちください。

  1. 2-1実行ウィンドウを開く

    1. 右上の Run Simulation をクリックします。
  2. 2-2モデルを選ぶ

    1. Application Version で評価するエージェントを選びます。
    2. User LLM を選びます。
    3. Judge Model を選びます。

    モデルごとの役割は 実行モデル で確認できます。

  3. 2-3実行を開始

    1. Start Simulation をクリックします。
    2. ステップ表示が Simulation Running に変わります。

    登録されたモデルがない場合、Start Simulation は無効になっています。


3. 進行状況の確認

①Scenario のステータス

Scenario ごとに、会話と採点が個別に進みます。会話が終わった Scenario から順に採点します。

ステータス意味
Waiting前の Scenario が終わるのを待っている
Running仮想ユーザーとエージェントが会話している
Evaluating会話が終わり、採点している
Passすべての評価項目を通過した
Fail1 つ以上の評価項目を通過できなかった
Error会話中または採点中にエラーが発生した
  • 一覧の Turn N は、これまでに交わした会話のターン数です。
  • 評価結果と Usage は、会話が終わった後に表示されます。
  • すべての Scenario が終わると、結果画面に移ります。

②Fail と Error

区分意味対応
Fail会話は終わったが、評価基準を満たせなかった結果画面で原因を確認します。
Error会話または採点を終えられなかったRetry All Errors で再実行します。
  • 会話中の Error は、会話から再実行します。
  • 採点中の Error は、採点だけを再実行します。
  • Error が残っている間は、結果画面に移りません。
  1. 3-1全体の進行を確認

    1. Status で Set 全体のステータスを確認します。
    2. 一覧で Scenario ごとのステータスとターン数を確認します。

    ステータスごとの意味は Scenario のステータス で確認できます。

  2. 3-2会話を確認

    1. Result タブで会話をリアルタイムに確認します。
    2. 採点が終わると、右側のカードに項目ごとの Pass・Fail が表示されます。
    3. Expected Actions はこの段階では評価しません。
    • Trajectory をアップロードすると Expected Actions を評価します。
    • 方法は 結果の確認 で説明しています。
  3. 3-3Error を再実行

    1. Error ステータスの Scenario を確認します。
    2. Retry All Errors をクリックします。

    会話の Error は会話から、採点の Error は採点だけを再実行します。


よくある質問

Start Simulation をクリックできないのはなぜですか?登録された Gen & Judge Model がないためです。
原因
User LLM と Judge Model を Datumo のモデルの中から選択しないと、シミュレーションを開始できません。
解決方法
User LLM と Judge Model を選択してから、もう一度実行してください。
Expected Actions カードが表示されないのはなぜですか?Tool Schema なしで作成した Set であるためです。
原因
ツール呼び出しの基準は Tool Schema から作られます。
解決方法
ツール呼び出しまで評価するには、Tool Schema を入れて新しい Set を作成してください。
Scenario の内容を編集できますか?いいえ、作成された Scenario は編集できません。
原因
Scenario はポリシー文書から作成されます。画面では閲覧のみ可能です。
解決方法
ポリシー文書を修正して新しい Set を作成してください。名前にバージョンを付けると比較しやすくなります。
実行中の Set はいつ削除できますか?シミュレーションが終わってから削除してください。実行中は Delete がオフになっています。
原因
実行中は Delete が無効になっています。
解決方法
実行が終わってから削除してください。
Error がずっと残っているのはなぜですか?会話または採点を終えられなかった Scenario があるためです。
原因
Error があると、結果画面に移りません。
解決方法
Retry All Errors をクリックして再実行してください。違いは Fail と Error を参照してください。
シミュレーションの作成とテストにかかる総コストはどう確認しますか?結果画面の Usage カードの Cost で確認してください。
原因
Usage の合計には、Scenario Generation、LLM User、AI Agent、Judge Model の使用量がすべて含まれます。AI Agent の単価を設定していない場合、AI Agent のコストは合計から除外されます。また、採点中または採点で Error になった Scenario は Judge Model の使用量が除外されます。
解決方法
Scenario 作成のコストだけを見るには、この画面左側の Total Generation Usage を確認してください。会話と採点まで含めた総コストは、結果画面の Usage カードの Cost で確認してください。AI Agent のコストまで含めるには、Admin が Set up Usage で単価を設定してください。詳しくは 生成時の使用量 と 結果の確認 を参照してください。

最終更新日