Platform Docs
Try DatumoEval

モニタリング

リリース後の実ユーザーログを連携し、AIエージェントが安全かつポリシーどおりに応答しているかを継続的に確認するモニタリング(LLMオブザーバビリティ)モジュールです。

DATUMO のモニタリング(Observability)は、運用中の AI サービスの実際のユーザーログを連携し、サービスが安全に、ポリシーに沿って応答しているかを継続的に確認する機能です。評価(Evaluation)がリリース前に用意したデータで行う試験だとすれば、モニタリングはリリース後の実際の応対履歴を検証する作業に近いものです。

ひとことで言うと

Integration でログを連携すると、ログが Session と Turn に整理されます。Sampling Probability の割合で選ばれた Turn を Metric で評価し、Metric 内の Rubric が違反と判定されると Fail Case となり、一覧とアラートメールで確認できます。


モニタリングの構造

図
単位役割下位の構成
Integrationログストアを接続し、ログを Turn に変換する設定接続情報、パーサーコード
Sessionユーザーが会話を始めてから終えるまでのひとまとまり複数の Segment、Turn
Turnユーザー入力からアプリ出力までの 1 組。評価の基本単位複数の Span
MetricTurn を評価する単位Judge Model 1 つ、Rubric 1~10 個
RubricMetric 内で個別に判定するチェック項目-
Fail Case違反と判定された Rubric-

評価との違い

区分評価モニタリング
評価データあらかじめ用意した Benchmark Set運用中の実際のユーザーログ
評価のタイミングRun を実行したときログが入ってくるたびに継続的に
評価単位データ 1 件Turn 1 つ
結果スコア違反の有無(Fail Case)

例で見る

金融相談チャットボットを運用しながら、投資勧誘に関する規定への違反を監視する場合を例に説明します。

1 つの Session が評価される例
Turnユーザー入力アプリ出力結果
1積立預金の金利を教えてください。現在の 12 か月積立預金の金利は年 3.5% です。合格
2それなら株の方がいいんじゃないですか?今買えば必ず利益が出ます。すぐに購入してください。Fail Case:相談ポリシー: 投資勧誘
3ありがとうございます。お役に立てれば幸いです。合格

Turn 2 で Fail Case が発生したため、アラートの受信者に [DATUMO Fail Alert - Turn ID] - 相談ポリシー というメールが届きます。Fail Case の一覧では、この Session の会話全体もあわせて確認できます。

例の Metric 名と会話は、説明のために設定した値です。


Integration

Integration は、AI サービスのログを DATUMO に取り込む設定です。現在は AWS CloudWatch のログを連携できます。

  1. 接続情報(Region、ログパスなど)を入力し、接続を確認します。
  2. パーサーコードで、元のログからユーザーの質問と AI の回答を見つけて Turn にまとめます。ログの形式はサービスごとに異なるため、パーサーコードは自分で作成します。
  • 連携後は、Integration カードで連携日時、最後のログの日時、Turn の総数を確認できます。
  • ログの形式が変わった場合は、新しい Integration に切り替えます。このとき version が上がります。
  • Integration が不要になったら連携を解除します。解除すると、新しいログは取り込まれなくなります。
  • 解除した Integration は再び有効にできません。再度使うには新しい Integration を作成します。
  • 解除前の評価結果、サンプリング確率、Metric の設定はそのまま残ります。

ログの階層

連携されたログは、次の階層に整理されます。画面と評価は、この単位を基準に動作します。

図
用語日本語定義使われる場所
Sessionセッション会話の開始から終了までのひとまとまりFail Case 一覧のカードの単位
Segmentセグメント1 つの Session をトピックごとに分けた単位-
Turnターンユーザー入力からアプリ出力までの 1 組評価の基本単位、Fail Case 一覧の行
Spanスパン1 つの Turn が生成されるまでのエージェントの中間結果(Retriever、Router の結果など)-
User Inputユーザー入力1 つの Turn でユーザーが入力した質問評価プロンプトの変数 user_input
App Outputアプリ出力1 つの Turn で AI サービスが返した最終回答評価プロンプトの変数 app_output

サンプリングと Metric

Sampling Probability は、連携された Turn のうち評価する割合(0~100)です。すべての Turn を評価するとコストと時間が大幅に増えるため、割合を設定します。変更した値は、それ以降に収集される Turn にのみ適用されます。

Metric は Turn を評価する単位で、1 つの Metric は複数の Rubric で構成されます。

項目説明
Judge ModelMetric を判定するモデル。G-4. 生成・評価モデルの登録で登録したモデルから選びます。
Rubricチェック項目。Metric ごとに 1~10 個。Judge Model が Rubric ごとに違反かどうかを判定します。
Prompt InstructionRubric の判定基準
  • Safety Metric は、すべての Application にデフォルトで含まれています(DATUMO Default)。変更できるのは Judge Model のみで、削除はできません。
  • Metric をオフにすると、それ以降に収集される Turn は評価されません。過去の結果は残ります。

Metric > Rubric > Fail Case の関係

違反と判定された Rubric 1 つが Fail Case 1 つです。1 つの Turn で複数の Metric が基準を満たさないこともあり、1 つの Metric の中で複数の Fail Case が発生することもあります。


Fail Case

Fail Case の一覧には、Fail Case が 1 つ以上発生した Turn のみが表示されます。同じ Session の Turn は 1 枚のカードにまとめられ、Metric 名: Rubric 名 の形式で何に違反したかが表示されます。

  • 行を開くと、その Turn が属する Session の会話全体を確認できます。
  • Metric ごとにアラートの受信者を設定すると、Fail Case が発生したときにメールで通知を受け取れます。

モニタリングの全体の流れ

運用ログは、収集 → 変換 → サンプリング → 評価 → Fail Case の順に処理されます。

図
  1. Integration で接続したログパスから、ログを継続的に取得します。
  2. パーサーコードがログを Session と Turn に変換します。
  3. Sampling Probability の割合で Turn を選び、評価対象とします。
  4. 有効になっている Metric ごとに、Judge Model が Rubric 別に違反かどうかを判定します。
  5. 違反と判定された Rubric が Fail Case となって一覧に蓄積され、アラートメールが送信されます。

生成・評価モデルがない場合、Metric が Evaluating Paused 状態になり、評価が停止します。評価を再開するには、モデルを登録してから Metric の Judge Model を選び直します。


次のステップ

ドキュメント扱う内容
O-1. Integration の設定ログストアの接続、パーサーコードの実行、Integration の管理と解除
O-2. 評価指標の設定Sampling Probability、Metric・Rubric、アラートの受信者
O-3. Fail Case違反した Turn の一覧と Session の会話の確認

最終更新日