Platform Docs
Try DatumoEval

Criteria の管理

Criteria と Subgroup を作成・管理する方法と、デプロイ判定の基準である Release Gate を設定する方法を説明します。

1. Edit Mode を有効にする

①Edit Mode

Edit Mode は、Criteria の構成を変更できる状態です。Criteria 画面右上の Edit Mode スイッチでオン・オフを切り替えます。

状態できること
オフCriteria 構成の閲覧、Release Gate の設定
オン+ New Subgroup、+ New Task、Subgroup メニュー、Task メニューの使用

Release Gate の設定は、Edit Mode のオン・オフに関係なく開けます。

  1. 1-1Edit Mode をオンにする

    1. 右上の Edit Mode をオンにします。

    Release Gate の設定はオフのままでも開けます。


2. Criteria の管理

①Criteria

Criteria は、1 つの Application を評価する基準のまとまりです。評価を実行すると、Criteria 内の Task がまとめて評価されます。

  • 1 つの Application に複数の Criteria を作成できます。
  • 目的に応じて使い分けます(例:v1.0 リリース前の検証、定期点検)。
  • 新しい Criteria は、デフォルトで Application の Initial Criteria Settings をもとに作成されます。推奨 Task も一緒に追加されます。
  • 推奨 Task は Application と Module の設定によって異なります。
  • Start from an empty を選択すると、推奨 Task なしの空の Criteria を作成します。

Criteria、Subgroup、Task の全体的な関係は 評価のコアコンセプトで説明しています。

  1. 2-1Criteria の作成

    1. タブの横の + をクリックします。
    2. Criteria Name を入力します。
    3. 空の Criteria から始める場合は Start from an empty を選択します。
    4. Complete をクリックします。
    • 選択しない場合は Initial Criteria Settings で作成されます。
    • 2 つの方式の違いは Criteria で確認できます。
  2. 2-2Criteria 名の変更

    1. 名前の横の編集アイコンをクリックします。
    2. 新しい名前を入力し、Save をクリックします。
  3. 2-3Criteria のコピー

    1. 右上のコピーアイコンをクリックします。
    2. Complete をクリックします。
    3. 上部のタブでコピーを確認します。

    コピーできるのは同じ Application 内だけです。


3. Subgroup の管理

①Subgroup と Task

Criteria 画面は 4 つの評価領域に分かれています。領域ごとに Task のまとめ方が異なります。

評価領域確認する内容Task をまとめる単位
General Performanceサービスが基本的に備えるべき知識と能力Subgroup
Policy & UX社内ポリシーを守っているか、ユーザー体験に合っているかSubgroup
Safety危険な応答をしないかSubgroup
Module Performance各 Module がそれぞれの役割を十分に果たしているかModule
  • Subgroup は、1 つの領域内で Task をテーマ別にまとめるグループです。ユーザーが自分で作成し、名前を付けます。
  • Task は、実際に評価を実行する単位です。Task は Subgroup の下に追加します。
  • Module Performance には Subgroup がありません。Application に設定した Module ごとに Task をまとめます。Module は Application Setting で追加します。

たとえば金融相談チャットボットであれば、次のように構成します。

Safety                      (評価領域)
└─ 有害な質問への対応        (Subgroup)
   └─ 有害なリクエストの拒否  (Task)

Subgroup を削除すると、その中の Task もすべて削除されます。

  1. 3-1Subgroup の作成

    1. + New Subgroup をクリックします。初めての場合は、先に Subgroup と Task をお読みください。
    2. 名前を入力し、Complete をクリックします。
    3. 一覧で新しい Subgroup を確認します。
  2. 3-2Subgroup 名の変更

    1. Subgroup 名の横の矢印をクリックします。
    2. Edit Subgroup を選択します。
    3. 名前を修正し、Complete をクリックします。
  3. 3-3Subgroup の削除

    1. メニューから Delete Subgroup を選択します。
    2. 確認ダイアログで Delete をクリックします。

    Subgroup 内の Task もすべて削除されます。


4. Release Gate の設定

①Release Gate

Release Gate は、デプロイしてよいかを判定する基準です。Run Report では、この基準で Pass または Fail を判定します。

  • Release Gate は Criteria に属します。Criteria を作成すると一緒に作成されます。
  • Criteria をコピーすると、Release Gate も一緒にコピーされます。
  • 個別に設定しなくても、デフォルト値で判定します。

Criteria 画面上部のサマリーバーには、グループごとの許容失敗率が ≤ N% の形式で表示されます。グループごとのデフォルトの許容失敗率は次のとおりです。

グループデフォルトの許容失敗率
General Performance10%
Module Performance10%
Policy & UX5%
Safety2%

基準は Run Report の開始時に固定されます。基準を変更しても、作成済みの Report の判定はそのままです。変更した基準は次の評価から反映されます。

②Pass score と Failure rate

Release Gate は、Metric ごとに 2 つの値で定義します。

項目意味入力範囲デフォルト値
Pass scoreデータ 1 件が合格する最低スコア0.0 ~ 1.00.5
Failure rateMetric で許容する失敗の割合(%)0 ~ 100グループのデフォルト許容失敗率
  • どちらの値も小数点以下第 2 位まで入力できます。
  • 範囲外の値は入力できません。

たとえば Pass score が 0.5、Failure rate が 10 だとします。データ 100 件のうち 0.5 点未満が 10 件を超えると、その Metric は基準を満たしません。

③判定方法

Release Gate は、グループではなく Metric 単位で判定します。

  1. データ 1 件のスコアが Pass score より低い場合、その件は失敗です。
  2. Metric の失敗の割合が Failure rate を超えると、その Metric は未達です。
  3. グループ内の Metric が 1 つでも未達であれば、グループは Fail です。

サマリーバーの % はグループ全体を要約した値であり、判定の根拠ではありません。たとえば、グループの失敗率が 5% で基準の 7% 以内であっても Fail になることがあります。グループ内のある Metric の失敗率が、その Metric 自身の基準である 10% を超えた場合です。

失敗とエラーは区別して数えます。

区分意味判定での扱い
失敗採点結果が基準より低い失敗の割合に含める
エラー評価が行われず、スコアがない失敗の割合から除外する

Metric のすべてのデータがエラーの場合、その Metric は判定から除外されます。

  1. 4-1サマリーバーの確認

    1. サマリーバーでグループごとの許容失敗率を確認します。
    • サマリーバーの % は要約値です。実際の判定は Metric 単位で行います。
    • 先に Release Gate をお読みください。
  2. 4-2合格基準の入力

    1. サマリーバー右側の Setting をクリックします。
    2. グループ名の前の三角形を押してグループを展開します。
    3. Metric ごとに Pass score と Failure rate を入力します。2 つの値の意味は Pass score と Failure rate にあります。
    • Pass score:0.0 ~ 1.0、デフォルト値 0.5
    • Failure rate:0 ~ 100
    • デフォルトの許容失敗率:General・Module Performance 10%、Policy & UX 5%、Safety 2%
  3. 4-3グループへの一括適用

    1. グループヘッダーの Set all failure rates に値を入力します。
    2. Apply をクリックすると、グループ内のすべての Metric に適用されます。
  4. 4-4設定の保存

    1. Save をクリックします。

    X で閉じると保存されません。

  5. 4-5判定方法の確認

    1. 判定は Metric 単位で行います。
    • ケースのスコアが Pass score より低い場合は失敗です。
    • Metric の失敗率が Failure rate を超えると未達です。
    • Metric が 1 つでも未達であれば、グループは Fail です。
    • 例は 判定方法 で確認できます。

よくある質問

Criteria や Subgroup を編集できないのはなぜですか?Edit Mode がオフになっているためです。
原因
Edit Mode がオフのときは、+ New Subgroup や Subgroup メニューなどの編集機能が表示されません。
解決方法
右上の Edit Mode をオンにしてください。オンにすると使える機能は Edit Mode にまとめています。
Pass score や Failure rate に値を入力できないのはなぜですか?入力範囲外の値であるためです。
原因
Pass score は 0.0 ~ 1.0、Failure rate は 0 ~ 100 の範囲の値のみ受け付けます。
解決方法
範囲内の値を、小数点以下第 2 位まで入力してください。
Set all failure rates に入力した値が消えるのはなぜですか?グループヘッダーの入力値は保存されないためです。
原因
ヘッダーの値は、グループ内の Metric に一括で適用するためのものです。ダイアログを開き直すとデフォルト値が表示されます。
解決方法
適用された値は各 Metric の行で確認してください。Metric の行には最後に保存した値が残っています。
変更した Release Gate の基準が保存されないのはなぜですか?Save を押さずにダイアログを閉じたためです。
原因
X でダイアログを閉じると、変更した値はすべて取り消されます。
解決方法
値を変更したら Save を押してください。
サマリーバーでは基準内なのに、なぜ Fail と判定されるのですか?判定はグループではなく Metric 単位で行うためです。
原因
サマリーバーの % はグループ全体を要約した値です。グループ内の Metric が 1 つでも自身の基準を超えると、グループは Fail になります。
解決方法
Setting で Metric ごとの Failure rate を確認してください。判定の順序は 判定方法 を参照してください。

最終更新日