Platform Docs
Try DatumoEval

Fail Case

Metric 違反が出たターンを一覧から探し、そのターンが属するセッションの会話全体を確認します。

1. Fail Case 一覧の確認

①Fail Case 一覧

Fail Case 一覧には、Fail Case が 1 件以上出たターンのみが表示されます。すべての Rubric を通過したターンは表示されません。

列説明
Session IDターンが属するセッションの ID
Turn IDターンの ID
Time Stampターンの時刻。ユーザー入力の時刻が基準です。
User Inputユーザーが入力した質問
App OutputAI サービスの最終回答
Metric: Fail Caseこのターンで違反と判定された Metric と Rubric
  • 同じセッションのターンは 1 枚のカードにまとめられます。
  • 最新のセッションが上に表示されます。セッション内のターンは会話の順に表示されます。
  • 1 ページに 50 セッションを表示します。

②Fail Case の表記

Metric: Fail Case 列は Metric 名: Rubric 名 の形式で表示されます。

例意味
Safety: 暴言Safety Metric で、暴言 Rubric が違反と判定された
キャラクターの一貫性: 口調, 幼児キャラクターの一貫性 Metric で、2 つの Rubric が違反と判定された
  • 1 つのターンに複数の Metric が表示されることがあります。
  1. 1-1一覧を開く

    1. 左メニューで Fail Case をクリックします。
    2. 列の見出しを確認します。

    各列の意味は Fail Case 一覧 にあります。

  2. 1-2違反ターンの確認

    1. セッションカードの中で違反ターンを確認します。
    2. Metric: Fail Case で違反項目を確認します。
    3. 下部のページ番号で次のセッションを表示します。

    読み方は Fail Case の表記 で確認できます。


一覧が長い場合は、フィルターと検索で絞り込みます。

  • Metric フィルターで、確認したい Rubric を選びます。Rubric は Metric ごとにまとめて表示されます。
  • 複数選択すると、いずれか 1 つでも該当するターンを表示します。
  • 検索は、Session ID、User Input、App Output を対象に行います。
  • 検索語と一致する文字は強調表示されます。
  1. 2-1フィルターの適用

    1. Metric の横のフィルターをクリックします。
    2. 確認したい Rubric を選びます。
    3. フィルターボタンに選んだ項目が表示されます。
    4. 元に戻すには、リセットアイコンをクリックします。
  2. 2-2検索

    1. 検索欄に Session ID や文章を入力します。
    2. 一致するセッションだけが一覧に残ります。

3. セッション詳細の確認

①Session パネル

一覧の行をクリックすると、右側に Session パネルが開きます。詳細情報はターン単位ではなく、セッション単位で表示されます。

領域内容
ヘッダーSession ID、Copy Link、閉じる
サマリー全ターン数と、Fail Case が出たターン数
Fail cases onlyオンにすると、Fail Case が出たターンのみを表示
ターンターン番号と ID、時刻、応答時間(Latency)、Fail Case、会話
  • Fail Case が出たターンは青い背景で表示されます。
  • Copy Link でコピーしたリンクを開くと、このセッションが開いた状態の画面が表示されます。
  1. 3-1セッションを開く

    1. 一覧で行をクリックします。
    2. Session パネルで Session ID を確認します。
  2. 3-2会話の確認

    1. サマリーで全ターン数と Fail Case のターン数を確認します。
    2. ターンごとに Fail Case と会話を確認します。
    3. Fail cases only をオンにすると、Fail Case のターンだけが残ります。
  3. 3-3リンクの共有

    1. Copy Link をクリックし、リンクをチームメンバーに送ります。

    リンクを開くと、このセッションを検索した状態で Session パネルが開きます。


4. アラートメールで確認

①基準未達の Alert メール

Fail Case が出ると、Metric に指定した受信者にメールが送られます。受信者は Metric の設定 で指定します。

項目内容
件名[DATUMO Fail Alert - Turn ID] - Metric name
Metric Name違反が出た Metric
Fail Reason違反と判定された Rubric
User Input、App Outputそのターンの質問と回答
  1. 4-1メールの確認

    1. メールの件名でターン ID と Metric を確認します。
    2. 本文で違反内容を確認します。
  2. 4-2詳細を開く

    1. Go to Detail をクリックします。
    2. そのセッションが開いた状態の Fail Case 画面が表示されます。

よくある質問

Fail Case 画面に何も表示されないのはなぜですか?Integration がないか、まだ Fail Case が出ていないためです。
原因
Integration がない場合は There are no integrations yet. が表示されます。違反ターンがない場合は There are no Fail Cases yet. が表示されます。
解決方法
Integration がない場合は、Go to Integration Setting から連携してください。手順は Integration の設定 にあります。
通過したターンはどこで確認できますか?Session パネルで確認できます。
原因
一覧には Fail Case が出たターンのみが表示されます。
解決方法
行をクリックして Session パネルを開いてください。Fail cases only がオフであれば、セッションのすべてのターンが表示されます。
一部の期間のターンが一覧にない場合はどうすればよいですか?その期間の Gen & Judge モデルと Metric の状態を確認してみてください。
原因
生成・評価モデルがなかった期間や、Metric がオフになっていた期間のターンは評価されません。サンプリングで選ばれなかったターンも評価されません。
解決方法
その期間のモデルと Metric の状態を確認してください。評価されなかったターンが後から再評価されることはありません。
フィルターをかけると結果が表示されないのはなぜですか?選んだ条件に該当するターンがないためです。
原因
フィルターと検索語を併用すると、両方の条件を満たすターンのみが表示されます。
解決方法
リセットアイコンでフィルターを解除するか、検索語を消してください。

最終更新日