Platform Docs
Try DatumoEval

シミュレーション

ポリシー文書から評価シナリオを自動生成し、仮想ユーザーとのマルチターン会話でAIエージェントがポリシーを遵守しているかを検証するシミュレーションモジュールです。

DATUMO シミュレーション(Simulation)は、エージェントがポリシーを守って会話しているかを、仮想ユーザーとのマルチターン会話で評価する機能です。テスト用の会話を自分で作らなくても、ポリシー文書から評価用の Scenario が自動で作成されます。

ひとことで言うと

ポリシー文書である Agent Policy を入れて Simulation Set を作成すると、ポリシーから Scenario が自動で作成されます。各 Scenario は仮想ユーザーとエージェントの会話として実行され、Judge Model が評価項目で採点して Pass または Fail を判定します。


シミュレーションの構造

図
単位役割下位の構成
Application評価するエージェント複数の Simulation Set
Simulation Set1 回のシミュレーション評価の単位Agent Policy 1 件、Tool Schema 0〜1 件、複数の Scenario
Agent Policyエージェントが守るべきルール。Scenario と採点基準の出どころ-
Tool Schemaエージェントが使えるツールの定義。入れるとツール呼び出しも評価-
Scenario仮想ユーザーが何を依頼するかを定めたテストケースUser Persona、Task Instructions、評価項目
評価項目Judge Model が会話を採点する基準Must Mention、Expected Behavior、Expected Actions

例で見る

カード会社の相談エージェントが「クレジットカード解約ポリシー」を正しく守っているかを、リリース前に確認するケースを例に説明します。

ステップ例
Agent Policyカードの解約依頼を受けたら、まず本人確認を行い、解約前に年会費の返金と残りの分割払いについて案内する。
Tool Schemaverify_identity(user_id), cancel_card(card_id)
作成された ScenarioS-01 忙しい会社員がアプリで解約を急かす · S-02 分割払いが残っている顧客が解約を依頼する · S-03 家族カードを代わりに解約しようとする
Scenario 1 件の構成例

S-02 分割払いが残っている顧客が解約を依頼する

構成要素内容
User Persona40 代の自営業者。解約理由は年会費の負担。口調は丁寧だが、早く結論を求める
Task Instructionsクレジットカードの解約を依頼する。分割払いが残っていることは自分からは言わない。
Must Mention残りの分割払い金額と、解約後の支払い方法
Expected Behavior解約処理の前に本人確認を行う。分割払いが残っていることを案内する。
Expected Actionsverify_identity を呼び出した後に cancel_card を呼び出す

例のポリシー、Scenario、ツール名は説明のために設定した値です。実際の Scenario は、入れたポリシーに応じて作成されます。


Simulation Set

Simulation Set は、ポリシー文書、作成された Scenario、実行設定、評価結果をひとつにまとめた単位です。一覧の 1 行が 1 つの Set で、作成から結果の確認までを同じ Set の中で進めます。

  • ポリシーを修正したら新しい Set を作成し、以前の Set と結果を比較します。
  • 同じ Scenario で Application のバージョンを変えて実行すると、バージョン同士を比較できます。

Agent Policy と Tool Schema

入力必須役割
Agent Policy必須エージェントが従うべきルールを記した企画・ポリシー文書です。Scenario と採点基準はすべてこの文書から作られます。.md ファイルをアップロードするか、直接入力します。
Tool Schema任意エージェントが呼び出せるツール(関数)の定義です。入れると Expected Actions が作成され、ツール呼び出しの正確さまで評価します。入れない場合は会話の内容だけを評価します。

ポリシー文書が具体的であるほど、Scenario と採点基準も具体的に作成されます。「本人確認の後に解約」のように、順序と条件がわかるように書くのがおすすめです。


Scenario

Scenario は、仮想ユーザーが誰で、どのような状況で何を依頼するかを定めたテストケースです。ID は S-01、S-02 … の形式です。

構成要素説明
User Persona仮想ユーザーのプロフィール、感情、口調
Task Instructions会話で達成する目標と行動の指針
評価項目エージェントが会話で守るべきこと。下の表を参照

評価項目

評価項目確認する内容作成される条件
Must Mentionエージェントが必ず伝えるべき値を伝えたか常に
Expected Behaviorポリシー上守るべき行動をとったか常に
Expected Actions呼び出すべきツールを正しい引数で呼び出したかTool Schema を入れたとき
  • 評価項目を 1 つでも通過できなければ、その Scenario は Fail です。
  • 作成された Scenario は読み取り専用です。内容を変えるには、ポリシーを修正して新しい Set を作成します。

シミュレーション全体の流れ

シミュレーションは、ポリシー入力 → Scenario 作成 → 会話 → 採点 → 分析 の順に進みます。

図
  1. Agent Policy と Tool Schema を入れて Set を作成すると、Scenario が作成されます。一覧のステータスは Scenario Generating → Ready に変わります。
  2. 作成された Scenario を確認した後、Application のバージョン、User LLM、Judge Model を選んで実行します。
  3. User LLM が仮想ユーザーを演じてエージェントと会話します。会話はリアルタイムで蓄積されます。
  4. 会話が終わった Scenario から順に Judge Model が採点します。Scenario のステータスは Waiting → Running → Evaluating → Pass / Fail に変わります。
  5. 結果画面で Pass Rate と Scenario ごとの結果を確認します。Tool Schema を入れた場合は、Trajectory をアップロードしてツール呼び出しまで評価します。
モデル役割
User LLMScenario の仮想ユーザーを演じます。
Judge Model会話を Must Mention と Expected Behavior で採点します。

2 つのモデルは、G-4. 生成・評価モデルの登録で登録したモデルの中から選びます。

Fail と Error は異なります。 Fail は、会話は正常に終了したものの評価基準を通過できなかったことを意味し、それ自体が評価結果です。Error は、ツール呼び出しの失敗や API エラーによってシミュレーション自体が失敗したことを意味します。Error は再実行する必要があり、残っている間は次のステップに進めません。


次のステップ

ドキュメント内容
S-1. シミュレーションセットの作成Set 一覧の確認、ポリシー文書の入力、Scenario の作成
S-2. シナリオの確認と実行Scenario の確認、モデルの選択、シミュレーションの実行
S-3. 結果の確認結果ダッシュボード、会話の確認、Trajectory の評価

最終更新日