Run 履歴
Quick Start または Advanced Setup でレッドチーミングの評価(Run)を実行し、Run 一覧で管理し、Run Detail で結果を確認します。
1. Quick Start で Run を実行
①Run と Batch
Run は、Target Model の 1 バージョンに対してレッドチーミングを 1 回実行した記録です。Batch は、同じ Seed Set、アルゴリズム、Judge Model で複数のバージョンに対して一度に実行した Run のまとまりです。
- New Run でバージョンを 2 つ選ぶと、Run が 2 つ作成され、1 つの Batch にまとめられます。
- 子 Run の名前は
[Batch name]_R1、[Batch name]_R2… の形式で決まります。 - 実行する前に、Seed Management で Seed Set を、Model setting でデフォルトモデルを準備しておくと便利です。
②実行方式
New Run をクリックすると、実行方式を選ぶダイアログが開きます。
| 方式 | ステップ | こんなときに使います |
|---|---|---|
Quick Start | Target Model → Seeds → Algorithm → Review & Run | 戦略と Judge を自動で設定し、すばやく実行します。 |
Advanced Setup (Custom) | Target Model → Seeds → Algorithm → Judge → Review & Run | Taxonomy、戦略、アルゴリズムのパラメーター、Judge を自分で構成します。 |
New Run を使うには、Gen & Judge Model が 1 つ以上登録されている必要があります。方法は 生成・評価モデルの登録 で説明しています。
③Target Model
E2E Application & Module で評価する対象を 1 つ選び、Version でバージョンを 1 つ以上選びます。
- 選んだバージョンの数だけ Run が作成されます(
N runs will be created — one per selected version)。 - バージョンを 1 つも選ばないと
Select at least one version.が表示され、Nextが無効になります。
④Seeds
Seed Set を 1 つ 選びます。Seed Set の Domain によって、Judge が使う Taxonomy が決まります。
- 名前で検索したり、Domain で絞り込んだりできます。
- 生成中またはエラー状態の Seed Set は一覧に表示されません。
⑤Algorithm
アルゴリズムを 1 つ 選びます。カードは Single-turn と Multi-turn にグループ分けされています。
| カードの要素 | 意味 |
|---|---|
| 説明 | アルゴリズムが攻撃プロンプトを作成する方法 |
★ Best for | このアルゴリズムが適している用途 |
Performance · Speed · Cost | 5 つの点で示す相対的な特性。点が多いほど高くなります。 |
⑥Review & Run
設定を確認し、Batch Name を決めて実行します。
Batch Nameは必須です。空白だけを入力した場合は未入力とみなされます。- すでに存在する名前の場合は
This batch name is already in use. Please enter a unique name.が表示されます。 - 下部には、この Batch にまとめられる Run の名前がバージョンごとに表示されます。
- Quick Start では、このステップで
Judge Modelを選びます。初期値は Model setting のデフォルト Judge Model です。 - 概要カードの
Edit →をクリックすると、そのステップに戻ります。
1-1実行方式を選択
- Runs 画面の右上にある
New Runをクリックします。 Quick Startをクリックします。
自分で構成する場合は
Advanced Setup (Custom)を選びます。実行方式 を参照してください。- Runs 画面の右上にある
1-2Target Model
E2E Application & Moduleで評価する対象を選びます。Versionで評価するバージョンを 1 つ以上選びます。- 作成される Run の数を確認します。
Nextをクリックします。
バージョンごとに Run が 1 つずつ作成されます。
1-3Seeds
- 名前で検索するか、Domain で絞り込みます。
- Seed Set を 1 つ選びます。
Nextをクリックします。
目的の Seed Set がない場合は、Seed Management でステータスを確認してください。
1-4Algorithm
- アルゴリズムのカードを 1 つ選びます。
★ Best forと Performance · Speed · Cost を比較します。Nextをクリックします。
1-5Review & Run
Batch Nameを入力します。Judge Modelを確認します。- 概要を確認し、変更する項目は
Edit →で戻って修正します。 Run Evaluationをクリックします。
実行すると、Runs 一覧に新しい Batch が追加されます。
2. Advanced Setup で詳細を設定
①Seed Taxonomy
Advanced Setup の Seeds ステップでは、Seed Set を選ぶとその Seed Set の Taxonomy がタグとして入力されます。除外する Taxonomy タグの選択を解除します。
②Strategy
Algorithm ステップで Strategy-based アルゴリズム を選ぶと、Strategy エリアが表示されます。カテゴリーごとに戦略を複数選択できます。
- 一部の戦略の先頭には、そのオープンソース戦略の出典(
Garak、PyRIT、STAR、AutoDANなど)が記載されています。 - 戦略グループを選ぶと、そのグループの戦略もまとめて選択されます。
| 選んだアルゴリズム | Strategy エリア |
|---|---|
STAR-Teaming | STAR 出典の戦略が自動で選択されます。選択を解除できます。 |
AutoDAN-Turbo | AutoDAN 出典の戦略が自動で選択されます。選択を解除できます。 |
Single shot | デフォルトの戦略セットが選択されます。選択を解除できます。 |
PAIR、TAP、Multi-turn など | 戦略の代わりに「The algorithm determines strategies automatically.」という案内が表示されます。 |
③Configuration
Algorithm ステップ下部の Configuration で、アルゴリズムごとの値を設定します。アルゴリズムを選ぶと常に表示されます。
Attackerは攻撃クエリを作成するモデル、Scorerは攻撃結果を採点するモデルです。max_iterations、threshold、max_turnなどのパラメーターはアルゴリズムごとに異なります。名前の横の ⓘ に説明があります。- 初期値は Model setting のアルゴリズム別のデフォルト値です。
④Judge
Judge ステップで判定方法を設定します。Quick Start にはないステップです。
| 項目 | 説明 |
|---|---|
Attack Success | 常にオンで、オフにできません。Safe/Unsafe の判定と ASR(Unsafe/Total)の基準です。 |
Add-on : How bad were the failures? | Unsafe の行に Harmfulness 列を追加し、深刻な失敗から抽出できるようにします。 |
Add-on : Did Safe answers actually refuse? | Safe の行に Refusal 列を追加し、能動的な拒否と偶然の安全を区別します。 |
Judge Model | 各試行を採点するモデル。初期値はデフォルトの Judge Model です。 |
- Preview テーブルに例として 4 行(Unsafe 2 行、Safe 2 行)が表示され、結果の形を確認できます。Add-on をオンにすると、すぐに列が追加されます。
- Advanced Setup の Review & Run には、Seed Taxonomy、Strategy、Judge の概要も表示されます。Judge Model は Judge ステップでのみ変更できます。
2-1Advanced Setup を開始
New RunダイアログでAdvanced Setup (Custom)をクリックします。- ステップが 5 つ(Judge を含む)あることを確認します。
Target Model ステップは Quick Start と同じです。
2-2Seed と Taxonomy
- Seed Set を 1 つ選びます。
- 入力された Seed Taxonomy タグを確認します。
- 除外する Taxonomy タグの選択を解除します。
2-3アルゴリズムと戦略
- アルゴリズムを選びます。
- Strategy エリアで使用する戦略を選びます。
- Configuration で Attacker、Scorer、パラメーターを確認します。
- 赤い案内が表示されたら、範囲内の値に修正します。
Strategy エリアは Strategy-based アルゴリズムでのみ表示されます。Strategy を参照してください。
2-4Judge の設定
Attack Successがオンになっていることを確認します。- 必要な Add-on をオンにします。
- Preview テーブルで追加された列を確認します。
Judge Modelを選び、Nextをクリックします。
2-5確認して実行
Batch Nameを入力します。- Seed Taxonomy、Strategy、Judge の概要を確認します。
Run Evaluationをクリックします。
3. Run 一覧の確認
①一覧の構成
Runs 画面では、Batch の行の下に子 Run の行がインデントされて並びます。Batch の行の ASR は、子 Run の ASR を集計して表示します。Run と Batch の意味は Run と Batch にあります。
| 列 | 説明 |
|---|---|
Batch · Run | Batch 名と子 Run 名。実行中は進捗率と ETA も表示されます。 |
Module | 評価対象の Module(Application、RAG、Retriever など) |
Target | 評価対象のモデルとバージョン |
Algorithm | 使用した攻撃アルゴリズム |
Seed | 使用した Seed Set |
ASR | 攻撃成功率(Unsafe / 全応答) |
Elapsed · Cost | 所要時間とコスト |
Start Date | 実行開始日 |
②一覧のフィルター
一覧上部のフィルターで、表示する Run を絞り込みます。複数の項目を選ぶと、フィルター欄にカンマ(,)区切りで並びます。
| フィルター | 選択方式 | 説明 |
|---|---|---|
Batch | 複数 | Run が実際に実行された Batch のみ表示されます。Batch 名を変更するとすぐに反映されます。 |
Target | 複数 | Module ごとにまとめて表示されます。 |
Algorithm | 複数 | Run で実際に使用したアルゴリズムのみ表示されます。 |
Seed | 複数 | Run で実際に使用した Seed Set のみ表示されます。 |
Status | 1 つまたは複数 | In Progress / Completed |
ASR ≥ | 下限値 | ▲▼ で 1 ずつ変更するか、直接入力します。 |
フィルターを 1 つ以上選ぶと、リセット(↺)ボタンが表示されます。クリックするとフィルターがすべてクリアされます。
③Run のステータス
Run のステータスによって、一覧でできることが異なります。
| 区分 | 実行中(Running、Pending) | 完了(Completed) |
|---|---|---|
| チェックボックスの選択 | 不可 | 可能 |
| Run · Batch 名の編集 | 不可 | 可能(✎ アイコン) |
ASR、Elapsed · Cost | — と表示 | 値を表示 |
| 右側のボタン | Stop Running | Compare Runs → |
エラーが発生した Run は、右側にエラー数(例: 3 error)が表示されます。
4. Run の管理
①Run の停止
実行中の Run は Stop Running で停止します。
- Batch の行でクリックすると、その Batch で実行中の すべての Run が停止します。
- Run の行でクリックすると、その Run だけ が停止します。
停止した Run と Batch は再開できません。もう一度実行するには、New Run で新しく作成します。
②Batch 名
完了した Batch は、名前の横の ✎ アイコンで名前を変更します。
- 他の Batch と同じ名前は使用できません。
- Batch 名を変更すると、子 Run の名前も
[New name]_R1の形式で一緒に変わります。
③比較と削除
完了した Run のチェックボックスを選ぶと、上部にボタンが表示されます。
| ボタン | 機能 |
|---|---|
Compare {N} runs | 選んだ Run を ダッシュボード で比較します。 |
Delete {N} runs | 確認ダイアログを経て、選んだ Run を削除します。 |
Batch の行の Compare Runs → | その Batch の Run 全体をダッシュボードで比較します。 |
何も選んでいない場合は、Select runs to compare or delete という文言だけが表示されます。
4-1Run の停止
- 実行中の Run の行で
Stop Runningをクリックします。 - 確認ダイアログで
Stopをクリックします。
停止した Run は再開できません。Run の停止 を参照してください。
- 実行中の Run の行で
4-2Batch 名の編集
- 完了した Batch 名の横の ✎ をクリックします。
- 新しい名前を入力します。
Saveをクリックします。
他の Batch と同じ名前は使用できません。
4-3Run の比較・削除
- 比較または削除する Run のチェックボックスを選びます。
- 比較するには
Compare {N} runsをクリックします。 - 削除するには
Delete {N} runsをクリックし、確認ダイアログでDeleteをクリックします。 - Batch 全体を比較するには、Batch の行の
Compare Runs →をクリックします。
比較画面はダッシュボードのドキュメントで説明しています。
5. Run 結果の確認
①Run Detail の概要
Run の行をクリックすると Run Detail が開きます。上部の文言に [Algorithm] attacking [Target] on [Seed] と終了時刻(または予想終了時刻)が表示されます。
| カード | 表示内容 |
|---|---|
ASR | Unsafe 数 / 全応答数。エラーが発生した試行は除外してカウントします(errored attempts excluded)。 |
Coverage | 完了した試行数 / 全体、扱った Taxonomy 数と戦略数 |
Error | judge error の数、target timeout の数 |
Resource | 所要時間、コスト、試行あたりの時間 |
Run のステータスによって画面が異なります。
| 区分 | 実行中 | 一時停止 / 完了 |
|---|---|---|
| 上部の文言 | expected to finish at {ETA}、進捗バー | 完了: finished at {time} / 一時停止: stopped at {progress} |
Stop Running ボタン | 表示 | 非表示 |
Export、Create Report (PDF)、削除 | 無効 | 有効 |
②結果テーブル
結果テーブルの 1 行が 1 回の攻撃試行です。すべての列で並べ替えができます。
| 列 | 説明 |
|---|---|
ID | 試行番号 |
Seed | 攻撃に使用した Seed |
Result | Safe / Unsafe の判定 |
Taxonomy | Seed の Risk Taxonomy |
Attack Prompt | Attacker が作成した攻撃クエリ |
Answer | Target Model の応答 |
Strategy | 適用した戦略 |
Iter | 反復回数 |
- まだ実行していない Seed の行は薄い文字で表示され、残りのセルは空欄です。判定前の行はクリックしても詳細が開きません。
- New Run の Judge ステップで Add-on をオンにすると、
Harmfulness(Unsafe の行)とRefusal(Safe の行)の列が追加されます。該当しない行は—と表示されます。
③Data Detail
行をクリックすると、右側に Data Detail パネルが開きます。
- 上部に Seed、Result、Taxonomy が表示されます。
- Iteration History には、反復ごとの結果が最新の Iter から順に並びます。各項目には Iter 番号、Strategy、Result が表示されます。
- 項目を展開すると、
Attacker questionと{Target} responseがペアで表示されます。マルチターンの場合は、複数のペアが続きます。
④エクスポート
一時停止または完了状態の Run を CSV ファイルでダウンロードします。結果が出た行のみエクスポートされます。
| オプション | シングルターン | マルチターン |
|---|---|---|
Last iteration only | Seed 1 つにつき 1 行。最後の Iter の攻撃プロンプト / 応答を別々の列に書き出します。 | 最後の Iter の会話全体を書き出します。 |
All iterations | すべての Iter の攻撃プロンプト / 応答をそれぞれ 1 行に書き出します。 | すべての Iter の会話全体をそれぞれ 1 行に書き出します。 |
5-1Run Detail を開く
- Run の行をクリックします。
- 上部の文言で Algorithm、Target、Seed と終了時刻を確認します。
- 概要カードで ASR、Coverage、Error、Resource を確認します。意味は Run Detail の概要 にあります。
5-2実行中の Run を停止
- 進捗バーと ETA を確認します。
Stop Runningをクリックします。- 確認ダイアログで
Pauseをクリックします。
停止した Run は、再開したり続きから実行したりできません。
5-3試行の詳細を見る
- 結果テーブルで行をクリックします。
- Data Detail の上部で Seed、Result、Taxonomy を確認します。
- Iteration History で Iter を展開し、攻撃クエリと応答を確認します。
- パネルを閉じるには ✕ をクリックします。
判定前の行は詳細が開きません。
5-4結果のエクスポート
Exportをクリックします。- Export のオプションを選びます。
Exportをクリックして CSV ファイルをダウンロードします。
実行中の Run はエクスポートできません。
よくある質問
Target Model ステップで Next をクリックできないのはなぜですか?バージョンを 1 つも選んでいないためです。
- 原因
- Run はバージョンごとに作成されるため、バージョンが 1 つ以上必要です。この場合、
Select at least one version.が表示されます。 - 解決方法
Versionでバージョンを 1 つ以上選んでください。
目的の Seed Set が一覧にない場合はどうすればよいですか?Seed Management で Seed Set のステータスを確認してみてください。生成中またはエラー状態の Seed Set は一覧に表示されません。
- 原因
- Seeds ステップには、すぐに使える Seed Set だけが表示されます。
- 解決方法
- Seed Management でステータスを確認してください。Seed Management を参照してください。
This batch name is already in use. と表示されるのはなぜですか?すでに存在する Batch 名であるためです。
- 原因
- Batch 名は他の Batch と重複できません。名前が重複していると
Run Evaluationもクリックできません。 - 解決方法
- 別の名前を入力してください。
Strategy エリアが表示されないのはなぜですか?戦略を自動で決めるアルゴリズムを選んでいるためです。
- 原因
- Strategy エリアは、
Single shot、STAR-Teaming、AutoDAN-Turboのような Strategy-based アルゴリズムでのみ表示されます。 - 解決方法
- 戦略を自分で選ぶには、Strategy-based アルゴリズムを選んでください。Quick Start には Strategy エリアがありません。
Configuration の入力欄の下に赤い文字が表示されるのはなぜですか?入力値が許容範囲を超えているためです。
- 原因
- パラメーターごとに、最大値などの範囲が決められています。
- 解決方法
- 案内文(例:
Max: 150)に合わせて値を修正してください。
停止した Run を再開できますか?いいえ、停止または一時停止した Run は再開できません。
- 原因
Stop RunningとPauseは、Run を終了した状態にします。- 解決方法
- 同じ設定で New Run から新しく作成してください。
チェックボックスを選べず、Batch 名も変更できないのはなぜですか?まだ実行中の Run であるためです。
- 原因
Running、Pending状態の Run と Batch は、選択したり名前を変更したりできません。- 解決方法
- Run が終わってから再度お試しください。Run のステータス を参照してください。
Run Detail で Export をクリックできないのはなぜですか?Run が実行中であるためです。
- 原因
- エクスポート、レポート、削除は、Run が一時停止または完了状態のときにのみ使用できます。
- 解決方法
- Run が終了するか停止してから使用してください。