シミュレーション
ポリシー文書から評価シナリオを自動生成し、仮想ユーザーとのマルチターン会話でAIエージェントがポリシーを遵守しているかを検証するシミュレーションモジュールです。
DATUMO シミュレーション(Simulation)は、エージェントがポリシーを守って会話しているかを、仮想ユーザーとのマルチターン会話で評価する機能です。テスト用の会話を自分で作らなくても、ポリシー文書から評価用の Scenario が自動で作成されます。
ひとことで言うと
ポリシー文書である Agent Policy を入れて Simulation Set を作成すると、ポリシーから Scenario が自動で作成されます。各 Scenario は仮想ユーザーとエージェントの会話として実行され、Judge Model が評価項目で採点して Pass または Fail を判定します。
シミュレーションの構造
| 単位 | 役割 | 下位の構成 |
|---|---|---|
| Application | 評価するエージェント | 複数の Simulation Set |
| Simulation Set | 1 回のシミュレーション評価の単位 | Agent Policy 1 件、Tool Schema 0〜1 件、複数の Scenario |
| Agent Policy | エージェントが守るべきルール。Scenario と採点基準の出どころ | - |
| Tool Schema | エージェントが使えるツールの定義。入れるとツール呼び出しも評価 | - |
| Scenario | 仮想ユーザーが何を依頼するかを定めたテストケース | User Persona、Task Instructions、評価項目 |
| 評価項目 | Judge Model が会話を採点する基準 | Must Mention、Expected Behavior、Expected Actions |
例で見る
カード会社の相談エージェントが「クレジットカード解約ポリシー」を正しく守っているかを、リリース前に確認するケースを例に説明します。
| ステップ | 例 |
|---|---|
| Agent Policy | カードの解約依頼を受けたら、まず本人確認を行い、解約前に年会費の返金と残りの分割払いについて案内する。 |
| Tool Schema | verify_identity(user_id), cancel_card(card_id) |
| 作成された Scenario | S-01 忙しい会社員がアプリで解約を急かす · S-02 分割払いが残っている顧客が解約を依頼する · S-03 家族カードを代わりに解約しようとする |
Scenario 1 件の構成例
S-02 分割払いが残っている顧客が解約を依頼する
| 構成要素 | 内容 |
|---|---|
User Persona | 40 代の自営業者。解約理由は年会費の負担。口調は丁寧だが、早く結論を求める |
Task Instructions | クレジットカードの解約を依頼する。分割払いが残っていることは自分からは言わない。 |
Must Mention | 残りの分割払い金額と、解約後の支払い方法 |
Expected Behavior | 解約処理の前に本人確認を行う。分割払いが残っていることを案内する。 |
Expected Actions | verify_identity を呼び出した後に cancel_card を呼び出す |
例のポリシー、Scenario、ツール名は説明のために設定した値です。実際の Scenario は、入れたポリシーに応じて作成されます。
Simulation Set
Simulation Set は、ポリシー文書、作成された Scenario、実行設定、評価結果をひとつにまとめた単位です。一覧の 1 行が 1 つの Set で、作成から結果の確認までを同じ Set の中で進めます。
- ポリシーを修正したら新しい Set を作成し、以前の Set と結果を比較します。
- 同じ Scenario で Application のバージョンを変えて実行すると、バージョン同士を比較できます。
Agent Policy と Tool Schema
| 入力 | 必須 | 役割 |
|---|---|---|
| Agent Policy | 必須 | エージェントが従うべきルールを記した企画・ポリシー文書です。Scenario と採点基準はすべてこの文書から作られます。.md ファイルをアップロードするか、直接入力します。 |
| Tool Schema | 任意 | エージェントが呼び出せるツール(関数)の定義です。入れると Expected Actions が作成され、ツール呼び出しの正確さまで評価します。入れない場合は会話の内容だけを評価します。 |
ポリシー文書が具体的であるほど、Scenario と採点基準も具体的に作成されます。「本人確認の後に解約」のように、順序と条件がわかるように書くのがおすすめです。
Scenario
Scenario は、仮想ユーザーが誰で、どのような状況で何を依頼するかを定めたテストケースです。ID は S-01、S-02 … の形式です。
| 構成要素 | 説明 |
|---|---|
User Persona | 仮想ユーザーのプロフィール、感情、口調 |
Task Instructions | 会話で達成する目標と行動の指針 |
| 評価項目 | エージェントが会話で守るべきこと。下の表を参照 |
評価項目
| 評価項目 | 確認する内容 | 作成される条件 |
|---|---|---|
Must Mention | エージェントが必ず伝えるべき値を伝えたか | 常に |
Expected Behavior | ポリシー上守るべき行動をとったか | 常に |
Expected Actions | 呼び出すべきツールを正しい引数で呼び出したか | Tool Schema を入れたとき |
- 評価項目を 1 つでも通過できなければ、その Scenario は Fail です。
- 作成された Scenario は読み取り専用です。内容を変えるには、ポリシーを修正して新しい Set を作成します。
シミュレーション全体の流れ
シミュレーションは、ポリシー入力 → Scenario 作成 → 会話 → 採点 → 分析 の順に進みます。
- Agent Policy と Tool Schema を入れて Set を作成すると、Scenario が作成されます。一覧のステータスは
Scenario Generating→Readyに変わります。 - 作成された Scenario を確認した後、Application のバージョン、User LLM、Judge Model を選んで実行します。
- User LLM が仮想ユーザーを演じてエージェントと会話します。会話はリアルタイムで蓄積されます。
- 会話が終わった Scenario から順に Judge Model が採点します。Scenario のステータスは
Waiting→Running→Evaluating→Pass/Failに変わります。 - 結果画面で Pass Rate と Scenario ごとの結果を確認します。Tool Schema を入れた場合は、Trajectory をアップロードしてツール呼び出しまで評価します。
| モデル | 役割 |
|---|---|
User LLM | Scenario の仮想ユーザーを演じます。 |
Judge Model | 会話を Must Mention と Expected Behavior で採点します。 |
2 つのモデルは、G-4. 生成・評価モデルの登録で登録したモデルの中から選びます。
Fail と Error は異なります。 Fail は、会話は正常に終了したものの評価基準を通過できなかったことを意味し、それ自体が評価結果です。Error は、ツール呼び出しの失敗や API エラーによってシミュレーション自体が失敗したことを意味します。Error は再実行する必要があり、残っている間は次のステップに進めません。
次のステップ
| ドキュメント | 内容 |
|---|---|
| S-1. シミュレーションセットの作成 | Set 一覧の確認、ポリシー文書の入力、Scenario の作成 |
| S-2. シナリオの確認と実行 | Scenario の確認、モデルの選択、シミュレーションの実行 |
| S-3. 結果の確認 | 結果ダッシュボード、会話の確認、Trajectory の評価 |