モニタリング
リリース後の実ユーザーログを連携し、AIエージェントが安全かつポリシーどおりに応答しているかを継続的に確認するモニタリング(LLMオブザーバビリティ)モジュールです。
DATUMO のモニタリング(Observability)は、運用中の AI サービスの実際のユーザーログを連携し、サービスが安全に、ポリシーに沿って応答しているかを継続的に確認する機能です。評価(Evaluation)がリリース前に用意したデータで行う試験だとすれば、モニタリングはリリース後の実際の応対履歴を検証する作業に近いものです。
ひとことで言うと
Integration でログを連携すると、ログが Session と Turn に整理されます。Sampling Probability の割合で選ばれた Turn を Metric で評価し、Metric 内の Rubric が違反と判定されると Fail Case となり、一覧とアラートメールで確認できます。
モニタリングの構造
| 単位 | 役割 | 下位の構成 |
|---|---|---|
| Integration | ログストアを接続し、ログを Turn に変換する設定 | 接続情報、パーサーコード |
| Session | ユーザーが会話を始めてから終えるまでのひとまとまり | 複数の Segment、Turn |
| Turn | ユーザー入力からアプリ出力までの 1 組。評価の基本単位 | 複数の Span |
| Metric | Turn を評価する単位 | Judge Model 1 つ、Rubric 1~10 個 |
| Rubric | Metric 内で個別に判定するチェック項目 | - |
| Fail Case | 違反と判定された Rubric | - |
評価との違い
| 区分 | 評価 | モニタリング |
|---|---|---|
| 評価データ | あらかじめ用意した Benchmark Set | 運用中の実際のユーザーログ |
| 評価のタイミング | Run を実行したとき | ログが入ってくるたびに継続的に |
| 評価単位 | データ 1 件 | Turn 1 つ |
| 結果 | スコア | 違反の有無(Fail Case) |
例で見る
金融相談チャットボットを運用しながら、投資勧誘に関する規定への違反を監視する場合を例に説明します。
1 つの Session が評価される例
| Turn | ユーザー入力 | アプリ出力 | 結果 |
|---|---|---|---|
| 1 | 積立預金の金利を教えてください。 | 現在の 12 か月積立預金の金利は年 3.5% です。 | 合格 |
| 2 | それなら株の方がいいんじゃないですか? | 今買えば必ず利益が出ます。すぐに購入してください。 | Fail Case:相談ポリシー: 投資勧誘 |
| 3 | ありがとうございます。 | お役に立てれば幸いです。 | 合格 |
Turn 2 で Fail Case が発生したため、アラートの受信者に [DATUMO Fail Alert - Turn ID] - 相談ポリシー というメールが届きます。Fail Case の一覧では、この Session の会話全体もあわせて確認できます。
例の Metric 名と会話は、説明のために設定した値です。
Integration
Integration は、AI サービスのログを DATUMO に取り込む設定です。現在は AWS CloudWatch のログを連携できます。
- 接続情報(Region、ログパスなど)を入力し、接続を確認します。
- パーサーコードで、元のログからユーザーの質問と AI の回答を見つけて Turn にまとめます。ログの形式はサービスごとに異なるため、パーサーコードは自分で作成します。
- 連携後は、Integration カードで連携日時、最後のログの日時、Turn の総数を確認できます。
- ログの形式が変わった場合は、新しい Integration に切り替えます。このとき version が上がります。
- Integration が不要になったら連携を解除します。解除すると、新しいログは取り込まれなくなります。
- 解除した Integration は再び有効にできません。再度使うには新しい Integration を作成します。
- 解除前の評価結果、サンプリング確率、Metric の設定はそのまま残ります。
ログの階層
連携されたログは、次の階層に整理されます。画面と評価は、この単位を基準に動作します。
| 用語 | 日本語 | 定義 | 使われる場所 |
|---|---|---|---|
| Session | セッション | 会話の開始から終了までのひとまとまり | Fail Case 一覧のカードの単位 |
| Segment | セグメント | 1 つの Session をトピックごとに分けた単位 | - |
| Turn | ターン | ユーザー入力からアプリ出力までの 1 組 | 評価の基本単位、Fail Case 一覧の行 |
| Span | スパン | 1 つの Turn が生成されるまでのエージェントの中間結果(Retriever、Router の結果など) | - |
| User Input | ユーザー入力 | 1 つの Turn でユーザーが入力した質問 | 評価プロンプトの変数 user_input |
| App Output | アプリ出力 | 1 つの Turn で AI サービスが返した最終回答 | 評価プロンプトの変数 app_output |
サンプリングと Metric
Sampling Probability は、連携された Turn のうち評価する割合(0~100)です。すべての Turn を評価するとコストと時間が大幅に増えるため、割合を設定します。変更した値は、それ以降に収集される Turn にのみ適用されます。
Metric は Turn を評価する単位で、1 つの Metric は複数の Rubric で構成されます。
| 項目 | 説明 |
|---|---|
Judge Model | Metric を判定するモデル。G-4. 生成・評価モデルの登録で登録したモデルから選びます。 |
| Rubric | チェック項目。Metric ごとに 1~10 個。Judge Model が Rubric ごとに違反かどうかを判定します。 |
Prompt Instruction | Rubric の判定基準 |
- Safety Metric は、すべての Application にデフォルトで含まれています(
DATUMO Default)。変更できるのは Judge Model のみで、削除はできません。 - Metric をオフにすると、それ以降に収集される Turn は評価されません。過去の結果は残ります。
Metric > Rubric > Fail Case の関係
違反と判定された Rubric 1 つが Fail Case 1 つです。1 つの Turn で複数の Metric が基準を満たさないこともあり、1 つの Metric の中で複数の Fail Case が発生することもあります。
Fail Case
Fail Case の一覧には、Fail Case が 1 つ以上発生した Turn のみが表示されます。同じ Session の Turn は 1 枚のカードにまとめられ、Metric 名: Rubric 名 の形式で何に違反したかが表示されます。
- 行を開くと、その Turn が属する Session の会話全体を確認できます。
- Metric ごとにアラートの受信者を設定すると、Fail Case が発生したときにメールで通知を受け取れます。
モニタリングの全体の流れ
運用ログは、収集 → 変換 → サンプリング → 評価 → Fail Case の順に処理されます。
- Integration で接続したログパスから、ログを継続的に取得します。
- パーサーコードがログを Session と Turn に変換します。
- Sampling Probability の割合で Turn を選び、評価対象とします。
- 有効になっている Metric ごとに、Judge Model が Rubric 別に違反かどうかを判定します。
- 違反と判定された Rubric が Fail Case となって一覧に蓄積され、アラートメールが送信されます。
生成・評価モデルがない場合、Metric が Evaluating Paused 状態になり、評価が停止します。評価を再開するには、モデルを登録してから Metric の Judge Model を選び直します。
次のステップ
| ドキュメント | 扱う内容 |
|---|---|
| O-1. Integration の設定 | ログストアの接続、パーサーコードの実行、Integration の管理と解除 |
| O-2. 評価指標の設定 | Sampling Probability、Metric・Rubric、アラートの受信者 |
| O-3. Fail Case | 違反した Turn の一覧と Session の会話の確認 |