Platform Docs
Try DatumoEval

ダッシュボード

完了したレッドチーミングの Run 結果を、Run Summary カード、Taxonomy・Strategy ヒートマップ、Sample の直接比較で分析します。

1. ダッシュボードを開いて保存する

①ダッシュボードに表示される Run

ダッシュボードでは、完了した Run の結果を並べて比較します。最初に開くと、Current Batch に最新の Batch が表示されます。

項目ルール
Domain1 つの画面には 1 つの Domain だけが表示されます。ダッシュボードは Domain ごとに分かれています。
Runその Domain に属する Run だけを選択できます。
Run の数最大 6 件まで選択できます。Runs 画面の Compare で 6 件を超えて取り込んだ場合は、一覧の上位 6 件が選択されます。

Error になった Run はダッシュボードに表示されません。Error になった Seed も結果に表示されません。

②保存したダッシュボード

Save Dashboard をクリックすると、現在の Domain と Run の選択内容が、左側の Dashboards 一覧に新しいタブとして保存されます。

  • 保存したダッシュボードは、よく見る画面にすばやく戻るためのブックマークです。特定時点の結果を固定するものではありません。
  • 保存したダッシュボードの中でも、Run や Domain を変更したり削除したりできます。
  1. 1-1ダッシュボードを開く

    1. 左メニューの Red Teaming の下にある Dashboard をクリックします。
    2. Current Batch に最新の Batch が表示されていることを確認します。
    3. Domain を選びます。
    4. Run で比較する Run を最大 6 件まで選びます。

    選択できる Run のルールは ダッシュボードに表示される Run を参照してください。

  2. 1-2ダッシュボードを保存する

    1. 右上の Save Dashboard をクリックします。
    2. Dashboard Page Name を入力します。
    3. Complete をクリックします。
    4. 左側の Dashboards 一覧に追加されたタブを確認します。

    保存したダッシュボードは、結果を固定しないブックマークです。


2. Run Summary カードの確認

①Run Summary カード

選択した Run ごとにカードが 1 枚表示されます。カードは最大 6 枚で、Run の数に応じてレイアウトが変わります。

項目説明
ASR小数点以下 2 桁まで表示されます。値に応じて色が変わり、色の区分はヒートマップと同じです。
UnsafeUnsafe と判定された試行の数
Run 名Run のタイトル
ConfigAlgorithm、Seed Set などの実行設定
Target評価対象のモデルとバージョン
Resourceかかった時間とコスト
  1. 2-1カードを読む

    1. Run ごとにカードが 1 枚ずつあることを確認します。
    2. カードで ASR、Unsafe の数、実行設定、コストを確認します。各項目は Run Summary カード を参照してください。

3. ヒートマップの分析

①ヒートマップの読み方

ヒートマップは、どの Taxonomy と Strategy で攻撃が成功したかを Run ごとに示します。

ヒートマップ行列
Taxonomy HeatmapTaxonomyRun
Strategy HeatmapStrategyRun
Strategy × TaxonomyStrategyTaxonomy
  • セルは [ASR] (Unsafe/Total) の形式です。セルの色は ASR の値で決まり、値が高いほど赤に近くなります。
  • Taxonomy は上位 5 件だけが先に表示されます。すべて表示するには View {n} Taxonomy をクリックします。
  • セルをクリックすると、その条件が下の Sample の直接比較 のフィルターに入ります。
  • Strategy × Taxonomy は、特定の Taxonomy でどの Strategy が最も効果的だったかを示します。

②- セル

選択した Run の間で重複しない Taxonomy や Strategy は - で表示されます。ヒートマップ上部の What does "-" mean? をクリックすると、説明ウィンドウが開きます。

  1. 3-1Taxonomy・Strategy ヒートマップ

    1. Taxonomy Heatmap で Run ごとの攻撃成功率を確認します。
    2. セルの [ASR] (Unsafe/Total) の値を読みます。
    3. - セルは、選択した Run の間で重複しない項目です。
    4. Taxonomy をすべて表示するには View {n} Taxonomy をクリックします。
    5. Strategy Heatmap も同じ方法で読みます。

    セルの表記と - の意味は ヒートマップの読み方 を参照してください。

  2. 3-2Strategy × Taxonomy

    1. Strategy × Taxonomy で、Taxonomy ごとに効果が大きかった Strategy を探します。
    2. 詳しく見たいセルをクリックします。

    セルをクリックすると、Sample の直接比較に進みます。


4. Sample の直接比較

①比較の方法

同じ Seed に各 Run がどのように応答したかを並べて比較します。実行設定によって同じクエリの結果がどう異なるかを確認するときに使います。

  • Taxonomy と Strategy フィルターのデフォルト値は All です。選択した Run に実際に存在する値だけがオプションとして表示されます。
  • ヒートマップのセルをクリックした場合は、そのセルの条件がフィルターに自動で入ります。
  • 左側の Seed 一覧には、フィルター条件に合う Seed だけが表示されます。最初は 1 件目の Seed が選択されており、一覧の中で検索できます。
  • Iteration を複数回実行した場合は、最後の Iteration だけが表示されます。
  1. 4-1Seed ごとの応答を比較

    1. Taxonomy と Strategy のフィルターを選びます。
    2. 左側の一覧から Seed を 1 つ選びます。
    3. 右側で Run ごとの判定、攻撃クエリ、応答を比較します。

    Iteration が複数ある場合は、最後の Iteration だけが表示されます。


よくある質問

比較したい Run を選択できないのはなぜですか?現在のダッシュボードとは別の Domain の Run であるためです。
原因
ダッシュボードは Domain ごとに分かれており、同じ Domain の Run だけを選択できます。
解決方法
Domain をその Run の Domain に変更してください。
Compare で取り込んだ Run の一部しか表示されないのはなぜですか?ダッシュボードには Run を最大 6 件まで表示するためです。
原因
6 件を超えて取り込むと、一覧の上位 6 件だけが選択されます。
解決方法
比較する Run を 6 件以下に絞って選んでください。
Error になった Run がダッシュボードにないのはなぜですか?結果が不完全な Run は比較から除外されるためです。
原因
結果が完全でない Run は比較から除外されます。Error になった Seed も同様です。
解決方法
Runs 画面で Run Detail を開いて確認してください。
ヒートマップのセルに - が表示されるのはなぜですか?選択した Run の間で重複しない項目であるためです。
原因
1 つの Run にしかない Taxonomy や Strategy は、ほかの Run と比較できません。
解決方法
ヒートマップ上部の What does "-" mean? で説明を確認してください。
Taxonomy が 5 件しか表示されないのはなぜですか?上位 5 件だけを先に表示しているためです。
原因
Taxonomy が多いときに画面を短く保つため、折りたたんでいます。
解決方法
View {n} Taxonomy をクリックしてください。
保存したダッシュボードの結果が変わるのはなぜですか?保存したダッシュボードはブックマークであるためです。
原因
保存時に結果を固定せず、開くたびに最新の結果を表示します。
解決方法
特定時点の結果が必要な場合は、Run Detail の Export でダウンロードしてください。

最終更新日