Fail Case
Metric 違反が出たターンを一覧から探し、そのターンが属するセッションの会話全体を確認します。
1. Fail Case 一覧の確認
①Fail Case 一覧
Fail Case 一覧には、Fail Case が 1 件以上出たターンのみが表示されます。すべての Rubric を通過したターンは表示されません。
| 列 | 説明 |
|---|---|
Session ID | ターンが属するセッションの ID |
Turn ID | ターンの ID |
Time Stamp | ターンの時刻。ユーザー入力の時刻が基準です。 |
User Input | ユーザーが入力した質問 |
App Output | AI サービスの最終回答 |
Metric: Fail Case | このターンで違反と判定された Metric と Rubric |
- 同じセッションのターンは 1 枚のカードにまとめられます。
- 最新のセッションが上に表示されます。セッション内のターンは会話の順に表示されます。
- 1 ページに 50 セッションを表示します。
②Fail Case の表記
Metric: Fail Case 列は Metric 名: Rubric 名 の形式で表示されます。
| 例 | 意味 |
|---|---|
Safety: 暴言 | Safety Metric で、暴言 Rubric が違反と判定された |
キャラクターの一貫性: 口調, 幼児 | キャラクターの一貫性 Metric で、2 つの Rubric が違反と判定された |
- 1 つのターンに複数の Metric が表示されることがあります。
1-1一覧を開く
- 左メニューで
Fail Caseをクリックします。 - 列の見出しを確認します。
各列の意味は Fail Case 一覧 にあります。
- 左メニューで
1-2違反ターンの確認
- セッションカードの中で違反ターンを確認します。
Metric: Fail Caseで違反項目を確認します。- 下部のページ番号で次のセッションを表示します。
読み方は Fail Case の表記 で確認できます。
2. フィルターと検索
①フィルターと検索
一覧が長い場合は、フィルターと検索で絞り込みます。
Metricフィルターで、確認したい Rubric を選びます。Rubric は Metric ごとにまとめて表示されます。- 複数選択すると、いずれか 1 つでも該当するターンを表示します。
- 検索は、Session ID、User Input、App Output を対象に行います。
- 検索語と一致する文字は強調表示されます。
2-1フィルターの適用
Metricの横のフィルターをクリックします。- 確認したい Rubric を選びます。
- フィルターボタンに選んだ項目が表示されます。
- 元に戻すには、リセットアイコンをクリックします。
2-2検索
- 検索欄に Session ID や文章を入力します。
- 一致するセッションだけが一覧に残ります。
3. セッション詳細の確認
①Session パネル
一覧の行をクリックすると、右側に Session パネルが開きます。詳細情報はターン単位ではなく、セッション単位で表示されます。
| 領域 | 内容 |
|---|---|
| ヘッダー | Session ID、Copy Link、閉じる |
| サマリー | 全ターン数と、Fail Case が出たターン数 |
Fail cases only | オンにすると、Fail Case が出たターンのみを表示 |
| ターン | ターン番号と ID、時刻、応答時間(Latency)、Fail Case、会話 |
- Fail Case が出たターンは青い背景で表示されます。
Copy Linkでコピーしたリンクを開くと、このセッションが開いた状態の画面が表示されます。
3-1セッションを開く
- 一覧で行をクリックします。
- Session パネルで Session ID を確認します。
3-2会話の確認
- サマリーで全ターン数と Fail Case のターン数を確認します。
- ターンごとに Fail Case と会話を確認します。
Fail cases onlyをオンにすると、Fail Case のターンだけが残ります。
3-3リンクの共有
Copy Linkをクリックし、リンクをチームメンバーに送ります。
リンクを開くと、このセッションを検索した状態で Session パネルが開きます。
4. アラートメールで確認
①基準未達の Alert メール
Fail Case が出ると、Metric に指定した受信者にメールが送られます。受信者は Metric の設定 で指定します。
| 項目 | 内容 |
|---|---|
| 件名 | [DATUMO Fail Alert - Turn ID] - Metric name |
Metric Name | 違反が出た Metric |
Fail Reason | 違反と判定された Rubric |
User Input、App Output | そのターンの質問と回答 |
4-1メールの確認
- メールの件名でターン ID と Metric を確認します。
- 本文で違反内容を確認します。
4-2詳細を開く
Go to Detailをクリックします。- そのセッションが開いた状態の Fail Case 画面が表示されます。
よくある質問
Fail Case 画面に何も表示されないのはなぜですか?Integration がないか、まだ Fail Case が出ていないためです。
- 原因
- Integration がない場合は
There are no integrations yet.が表示されます。違反ターンがない場合はThere are no Fail Cases yet.が表示されます。 - 解決方法
- Integration がない場合は、
Go to Integration Settingから連携してください。手順は Integration の設定 にあります。
通過したターンはどこで確認できますか?Session パネルで確認できます。
- 原因
- 一覧には Fail Case が出たターンのみが表示されます。
- 解決方法
- 行をクリックして Session パネルを開いてください。
Fail cases onlyがオフであれば、セッションのすべてのターンが表示されます。
一部の期間のターンが一覧にない場合はどうすればよいですか?その期間の Gen & Judge モデルと Metric の状態を確認してみてください。
- 原因
- 生成・評価モデルがなかった期間や、Metric がオフになっていた期間のターンは評価されません。サンプリングで選ばれなかったターンも評価されません。
- 解決方法
- その期間のモデルと Metric の状態を確認してください。評価されなかったターンが後から再評価されることはありません。
フィルターをかけると結果が表示されないのはなぜですか?選んだ条件に該当するターンがないためです。
- 原因
- フィルターと検索語を併用すると、両方の条件を満たすターンのみが表示されます。
- 解決方法
- リセットアイコンでフィルターを解除するか、検索語を消してください。