Criteria の管理
Criteria と Subgroup を作成・管理する方法と、デプロイ判定の基準である Release Gate を設定する方法を説明します。
1. Edit Mode を有効にする
①Edit Mode
Edit Mode は、Criteria の構成を変更できる状態です。Criteria 画面右上の Edit Mode スイッチでオン・オフを切り替えます。
| 状態 | できること |
|---|---|
| オフ | Criteria 構成の閲覧、Release Gate の設定 |
| オン | + New Subgroup、+ New Task、Subgroup メニュー、Task メニューの使用 |
Release Gate の設定は、Edit Mode のオン・オフに関係なく開けます。
1-1Edit Mode をオンにする
- 右上の
Edit Modeをオンにします。
Release Gate の設定はオフのままでも開けます。
- 右上の
2. Criteria の管理
①Criteria
Criteria は、1 つの Application を評価する基準のまとまりです。評価を実行すると、Criteria 内の Task がまとめて評価されます。
- 1 つの Application に複数の Criteria を作成できます。
- 目的に応じて使い分けます(例:
v1.0 リリース前の検証、定期点検)。 - 新しい Criteria は、デフォルトで Application の
Initial Criteria Settingsをもとに作成されます。推奨 Task も一緒に追加されます。 - 推奨 Task は Application と Module の設定によって異なります。
Start from an emptyを選択すると、推奨 Task なしの空の Criteria を作成します。
Criteria、Subgroup、Task の全体的な関係は 評価のコアコンセプトで説明しています。
2-1Criteria の作成
- タブの横の
+をクリックします。 Criteria Nameを入力します。- 空の Criteria から始める場合は
Start from an emptyを選択します。 Completeをクリックします。
- 選択しない場合は
Initial Criteria Settingsで作成されます。 - 2 つの方式の違いは Criteria で確認できます。
- タブの横の
2-2Criteria 名の変更
- 名前の横の編集アイコンをクリックします。
- 新しい名前を入力し、
Saveをクリックします。
2-3Criteria のコピー
- 右上のコピーアイコンをクリックします。
Completeをクリックします。- 上部のタブでコピーを確認します。
コピーできるのは同じ Application 内だけです。
3. Subgroup の管理
①Subgroup と Task
Criteria 画面は 4 つの評価領域に分かれています。領域ごとに Task のまとめ方が異なります。
| 評価領域 | 確認する内容 | Task をまとめる単位 |
|---|---|---|
| General Performance | サービスが基本的に備えるべき知識と能力 | Subgroup |
| Policy & UX | 社内ポリシーを守っているか、ユーザー体験に合っているか | Subgroup |
| Safety | 危険な応答をしないか | Subgroup |
| Module Performance | 各 Module がそれぞれの役割を十分に果たしているか | Module |
- Subgroup は、1 つの領域内で Task をテーマ別にまとめるグループです。ユーザーが自分で作成し、名前を付けます。
- Task は、実際に評価を実行する単位です。Task は Subgroup の下に追加します。
- Module Performance には Subgroup がありません。Application に設定した Module ごとに Task をまとめます。Module は Application Setting で追加します。
たとえば金融相談チャットボットであれば、次のように構成します。
Safety (評価領域)
└─ 有害な質問への対応 (Subgroup)
└─ 有害なリクエストの拒否 (Task)
Subgroup を削除すると、その中の Task もすべて削除されます。
3-1Subgroup の作成
+ New Subgroupをクリックします。初めての場合は、先に Subgroup と Task をお読みください。- 名前を入力し、
Completeをクリックします。 - 一覧で新しい Subgroup を確認します。
3-2Subgroup 名の変更
- Subgroup 名の横の矢印をクリックします。
Edit Subgroupを選択します。- 名前を修正し、
Completeをクリックします。
3-3Subgroup の削除
- メニューから
Delete Subgroupを選択します。 - 確認ダイアログで
Deleteをクリックします。
Subgroup 内の Task もすべて削除されます。
- メニューから
4. Release Gate の設定
①Release Gate
Release Gate は、デプロイしてよいかを判定する基準です。Run Report では、この基準で Pass または Fail を判定します。
- Release Gate は Criteria に属します。Criteria を作成すると一緒に作成されます。
- Criteria をコピーすると、Release Gate も一緒にコピーされます。
- 個別に設定しなくても、デフォルト値で判定します。
Criteria 画面上部のサマリーバーには、グループごとの許容失敗率が ≤ N% の形式で表示されます。グループごとのデフォルトの許容失敗率は次のとおりです。
| グループ | デフォルトの許容失敗率 |
|---|---|
| General Performance | 10% |
| Module Performance | 10% |
| Policy & UX | 5% |
| Safety | 2% |
基準は Run Report の開始時に固定されます。基準を変更しても、作成済みの Report の判定はそのままです。変更した基準は次の評価から反映されます。
②Pass score と Failure rate
Release Gate は、Metric ごとに 2 つの値で定義します。
| 項目 | 意味 | 入力範囲 | デフォルト値 |
|---|---|---|---|
Pass score | データ 1 件が合格する最低スコア | 0.0 ~ 1.0 | 0.5 |
Failure rate | Metric で許容する失敗の割合(%) | 0 ~ 100 | グループのデフォルト許容失敗率 |
- どちらの値も小数点以下第 2 位まで入力できます。
- 範囲外の値は入力できません。
たとえば Pass score が 0.5、Failure rate が 10 だとします。データ 100 件のうち 0.5 点未満が 10 件を超えると、その Metric は基準を満たしません。
③判定方法
Release Gate は、グループではなく Metric 単位で判定します。
- データ 1 件のスコアが
Pass scoreより低い場合、その件は失敗です。 - Metric の失敗の割合が
Failure rateを超えると、その Metric は未達です。 - グループ内の Metric が 1 つでも未達であれば、グループは Fail です。
サマリーバーの % はグループ全体を要約した値であり、判定の根拠ではありません。たとえば、グループの失敗率が 5% で基準の 7% 以内であっても Fail になることがあります。グループ内のある Metric の失敗率が、その Metric 自身の基準である 10% を超えた場合です。
失敗とエラーは区別して数えます。
| 区分 | 意味 | 判定での扱い |
|---|---|---|
| 失敗 | 採点結果が基準より低い | 失敗の割合に含める |
| エラー | 評価が行われず、スコアがない | 失敗の割合から除外する |
Metric のすべてのデータがエラーの場合、その Metric は判定から除外されます。
4-1サマリーバーの確認
- サマリーバーでグループごとの許容失敗率を確認します。
- サマリーバーの % は要約値です。実際の判定は Metric 単位で行います。
- 先に Release Gate をお読みください。
4-2合格基準の入力
- サマリーバー右側の
Settingをクリックします。 - グループ名の前の三角形を押してグループを展開します。
- Metric ごとに
Pass scoreとFailure rateを入力します。2 つの値の意味は Pass score と Failure rate にあります。
Pass score:0.0 ~ 1.0、デフォルト値 0.5Failure rate:0 ~ 100- デフォルトの許容失敗率:General・Module Performance 10%、Policy & UX 5%、Safety 2%
- サマリーバー右側の
4-3グループへの一括適用
- グループヘッダーの
Set all failure ratesに値を入力します。 Applyをクリックすると、グループ内のすべての Metric に適用されます。
- グループヘッダーの
4-4設定の保存
Saveをクリックします。
Xで閉じると保存されません。4-5判定方法の確認
- 判定は Metric 単位で行います。
- ケースのスコアが
Pass scoreより低い場合は失敗です。 - Metric の失敗率が
Failure rateを超えると未達です。 - Metric が 1 つでも未達であれば、グループは Fail です。
- 例は 判定方法 で確認できます。
よくある質問
Criteria や Subgroup を編集できないのはなぜですか?Edit Mode がオフになっているためです。
- 原因
Edit Modeがオフのときは、+ New Subgroupや Subgroup メニューなどの編集機能が表示されません。- 解決方法
- 右上の
Edit Modeをオンにしてください。オンにすると使える機能は Edit Mode にまとめています。
Pass score や Failure rate に値を入力できないのはなぜですか?入力範囲外の値であるためです。
- 原因
Pass scoreは 0.0 ~ 1.0、Failure rateは 0 ~ 100 の範囲の値のみ受け付けます。- 解決方法
- 範囲内の値を、小数点以下第 2 位まで入力してください。
Set all failure rates に入力した値が消えるのはなぜですか?グループヘッダーの入力値は保存されないためです。
- 原因
- ヘッダーの値は、グループ内の Metric に一括で適用するためのものです。ダイアログを開き直すとデフォルト値が表示されます。
- 解決方法
- 適用された値は各 Metric の行で確認してください。Metric の行には最後に保存した値が残っています。
変更した Release Gate の基準が保存されないのはなぜですか?Save を押さずにダイアログを閉じたためです。
- 原因
Xでダイアログを閉じると、変更した値はすべて取り消されます。- 解決方法
- 値を変更したら
Saveを押してください。
サマリーバーでは基準内なのに、なぜ Fail と判定されるのですか?判定はグループではなく Metric 単位で行うためです。
- 原因
- サマリーバーの % はグループ全体を要約した値です。グループ内の Metric が 1 つでも自身の基準を超えると、グループは Fail になります。
- 解決方法
Settingで Metric ごとのFailure rateを確認してください。判定の順序は 判定方法 を参照してください。