Platform Docs
Try DatumoEval

Run 履歴

Quick Start または Advanced Setup でレッドチーミングの評価(Run)を実行し、Run 一覧で管理し、Run Detail で結果を確認します。

1. Quick Start で Run を実行

①Run と Batch

Run は、Target Model の 1 バージョンに対してレッドチーミングを 1 回実行した記録です。Batch は、同じ Seed Set、アルゴリズム、Judge Model で複数のバージョンに対して一度に実行した Run のまとまりです。

  • New Run でバージョンを 2 つ選ぶと、Run が 2 つ作成され、1 つの Batch にまとめられます。
  • 子 Run の名前は [Batch name]_R1、[Batch name]_R2 … の形式で決まります。
  • 実行する前に、Seed Management で Seed Set を、Model setting でデフォルトモデルを準備しておくと便利です。

②実行方式

New Run をクリックすると、実行方式を選ぶダイアログが開きます。

方式ステップこんなときに使います
Quick StartTarget Model → Seeds → Algorithm → Review & Run戦略と Judge を自動で設定し、すばやく実行します。
Advanced Setup (Custom)Target Model → Seeds → Algorithm → Judge → Review & RunTaxonomy、戦略、アルゴリズムのパラメーター、Judge を自分で構成します。

New Run を使うには、Gen & Judge Model が 1 つ以上登録されている必要があります。方法は 生成・評価モデルの登録 で説明しています。

③Target Model

E2E Application & Module で評価する対象を 1 つ選び、Version でバージョンを 1 つ以上選びます。

  • 選んだバージョンの数だけ Run が作成されます(N runs will be created — one per selected version)。
  • バージョンを 1 つも選ばないと Select at least one version. が表示され、Next が無効になります。

④Seeds

Seed Set を 1 つ 選びます。Seed Set の Domain によって、Judge が使う Taxonomy が決まります。

  • 名前で検索したり、Domain で絞り込んだりできます。
  • 生成中またはエラー状態の Seed Set は一覧に表示されません。

⑤Algorithm

アルゴリズムを 1 つ 選びます。カードは Single-turn と Multi-turn にグループ分けされています。

カードの要素意味
説明アルゴリズムが攻撃プロンプトを作成する方法
★ Best forこのアルゴリズムが適している用途
Performance · Speed · Cost5 つの点で示す相対的な特性。点が多いほど高くなります。

⑥Review & Run

設定を確認し、Batch Name を決めて実行します。

  • Batch Name は必須です。空白だけを入力した場合は未入力とみなされます。
  • すでに存在する名前の場合は This batch name is already in use. Please enter a unique name. が表示されます。
  • 下部には、この Batch にまとめられる Run の名前がバージョンごとに表示されます。
  • Quick Start では、このステップで Judge Model を選びます。初期値は Model setting のデフォルト Judge Model です。
  • 概要カードの Edit → をクリックすると、そのステップに戻ります。
  1. 1-1実行方式を選択

    1. Runs 画面の右上にある New Run をクリックします。
    2. Quick Start をクリックします。

    自分で構成する場合は Advanced Setup (Custom) を選びます。実行方式 を参照してください。

  2. 1-2Target Model

    1. E2E Application & Module で評価する対象を選びます。
    2. Version で評価するバージョンを 1 つ以上選びます。
    3. 作成される Run の数を確認します。
    4. Next をクリックします。

    バージョンごとに Run が 1 つずつ作成されます。

  3. 1-3Seeds

    1. 名前で検索するか、Domain で絞り込みます。
    2. Seed Set を 1 つ選びます。
    3. Next をクリックします。

    目的の Seed Set がない場合は、Seed Management でステータスを確認してください。

  4. 1-4Algorithm

    1. アルゴリズムのカードを 1 つ選びます。
    2. ★ Best for と Performance · Speed · Cost を比較します。
    3. Next をクリックします。
  5. 1-5Review & Run

    1. Batch Name を入力します。
    2. Judge Model を確認します。
    3. 概要を確認し、変更する項目は Edit → で戻って修正します。
    4. Run Evaluation をクリックします。

    実行すると、Runs 一覧に新しい Batch が追加されます。


2. Advanced Setup で詳細を設定

①Seed Taxonomy

Advanced Setup の Seeds ステップでは、Seed Set を選ぶとその Seed Set の Taxonomy がタグとして入力されます。除外する Taxonomy タグの選択を解除します。

②Strategy

Algorithm ステップで Strategy-based アルゴリズム を選ぶと、Strategy エリアが表示されます。カテゴリーごとに戦略を複数選択できます。

  • 一部の戦略の先頭には、そのオープンソース戦略の出典(Garak、PyRIT、STAR、AutoDAN など)が記載されています。
  • 戦略グループを選ぶと、そのグループの戦略もまとめて選択されます。
選んだアルゴリズムStrategy エリア
STAR-TeamingSTAR 出典の戦略が自動で選択されます。選択を解除できます。
AutoDAN-TurboAutoDAN 出典の戦略が自動で選択されます。選択を解除できます。
Single shotデフォルトの戦略セットが選択されます。選択を解除できます。
PAIR、TAP、Multi-turn など戦略の代わりに「The algorithm determines strategies automatically.」という案内が表示されます。

③Configuration

Algorithm ステップ下部の Configuration で、アルゴリズムごとの値を設定します。アルゴリズムを選ぶと常に表示されます。

  • Attacker は攻撃クエリを作成するモデル、Scorer は攻撃結果を採点するモデルです。
  • max_iterations、threshold、max_turn などのパラメーターはアルゴリズムごとに異なります。名前の横の ⓘ に説明があります。
  • 初期値は Model setting のアルゴリズム別のデフォルト値です。

④Judge

Judge ステップで判定方法を設定します。Quick Start にはないステップです。

項目説明
Attack Success常にオンで、オフにできません。Safe/Unsafe の判定と ASR(Unsafe/Total)の基準です。
Add-on : How bad were the failures?Unsafe の行に Harmfulness 列を追加し、深刻な失敗から抽出できるようにします。
Add-on : Did Safe answers actually refuse?Safe の行に Refusal 列を追加し、能動的な拒否と偶然の安全を区別します。
Judge Model各試行を採点するモデル。初期値はデフォルトの Judge Model です。
  • Preview テーブルに例として 4 行(Unsafe 2 行、Safe 2 行)が表示され、結果の形を確認できます。Add-on をオンにすると、すぐに列が追加されます。
  • Advanced Setup の Review & Run には、Seed Taxonomy、Strategy、Judge の概要も表示されます。Judge Model は Judge ステップでのみ変更できます。
  1. 2-1Advanced Setup を開始

    1. New Run ダイアログで Advanced Setup (Custom) をクリックします。
    2. ステップが 5 つ(Judge を含む)あることを確認します。

    Target Model ステップは Quick Start と同じです。

  2. 2-2Seed と Taxonomy

    1. Seed Set を 1 つ選びます。
    2. 入力された Seed Taxonomy タグを確認します。
    3. 除外する Taxonomy タグの選択を解除します。
  3. 2-3アルゴリズムと戦略

    1. アルゴリズムを選びます。
    2. Strategy エリアで使用する戦略を選びます。
    3. Configuration で Attacker、Scorer、パラメーターを確認します。
    4. 赤い案内が表示されたら、範囲内の値に修正します。

    Strategy エリアは Strategy-based アルゴリズムでのみ表示されます。Strategy を参照してください。

  4. 2-4Judge の設定

    1. Attack Success がオンになっていることを確認します。
    2. 必要な Add-on をオンにします。
    3. Preview テーブルで追加された列を確認します。
    4. Judge Model を選び、Next をクリックします。
  5. 2-5確認して実行

    1. Batch Name を入力します。
    2. Seed Taxonomy、Strategy、Judge の概要を確認します。
    3. Run Evaluation をクリックします。

3. Run 一覧の確認

①一覧の構成

Runs 画面では、Batch の行の下に子 Run の行がインデントされて並びます。Batch の行の ASR は、子 Run の ASR を集計して表示します。Run と Batch の意味は Run と Batch にあります。

列説明
Batch · RunBatch 名と子 Run 名。実行中は進捗率と ETA も表示されます。
Module評価対象の Module(Application、RAG、Retriever など)
Target評価対象のモデルとバージョン
Algorithm使用した攻撃アルゴリズム
Seed使用した Seed Set
ASR攻撃成功率(Unsafe / 全応答)
Elapsed · Cost所要時間とコスト
Start Date実行開始日

②一覧のフィルター

一覧上部のフィルターで、表示する Run を絞り込みます。複数の項目を選ぶと、フィルター欄にカンマ(,)区切りで並びます。

フィルター選択方式説明
Batch複数Run が実際に実行された Batch のみ表示されます。Batch 名を変更するとすぐに反映されます。
Target複数Module ごとにまとめて表示されます。
Algorithm複数Run で実際に使用したアルゴリズムのみ表示されます。
Seed複数Run で実際に使用した Seed Set のみ表示されます。
Status1 つまたは複数In Progress / Completed
ASR ≥下限値▲▼ で 1 ずつ変更するか、直接入力します。

フィルターを 1 つ以上選ぶと、リセット(↺)ボタンが表示されます。クリックするとフィルターがすべてクリアされます。

③Run のステータス

Run のステータスによって、一覧でできることが異なります。

区分実行中(Running、Pending)完了(Completed)
チェックボックスの選択不可可能
Run · Batch 名の編集不可可能(✎ アイコン)
ASR、Elapsed · Cost— と表示値を表示
右側のボタンStop RunningCompare Runs →

エラーが発生した Run は、右側にエラー数(例: 3 error)が表示されます。

  1. 3-1Runs を開く

    1. 左メニューの Red Teaming の下にある Runs をクリックします。
    2. Batch の行とその下の Run の行を確認します。列の意味は 一覧の構成 にあります。
  2. 3-2フィルターで探す

    1. 上部のフィルターで条件を選びます(例: Status で Completed)。
    2. ASR の下限が必要な場合は、ASR ≥ 欄に値を入力します。
    3. フィルターをすべてクリアするには、リセット(↺)をクリックします。

    フィルターごとの選択方式は 一覧のフィルター を参照してください。


4. Run の管理

①Run の停止

実行中の Run は Stop Running で停止します。

  • Batch の行でクリックすると、その Batch で実行中の すべての Run が停止します。
  • Run の行でクリックすると、その Run だけ が停止します。

停止した Run と Batch は再開できません。もう一度実行するには、New Run で新しく作成します。

②Batch 名

完了した Batch は、名前の横の ✎ アイコンで名前を変更します。

  • 他の Batch と同じ名前は使用できません。
  • Batch 名を変更すると、子 Run の名前も [New name]_R1 の形式で一緒に変わります。

③比較と削除

完了した Run のチェックボックスを選ぶと、上部にボタンが表示されます。

ボタン機能
Compare {N} runs選んだ Run を ダッシュボード で比較します。
Delete {N} runs確認ダイアログを経て、選んだ Run を削除します。
Batch の行の Compare Runs →その Batch の Run 全体をダッシュボードで比較します。

何も選んでいない場合は、Select runs to compare or delete という文言だけが表示されます。

  1. 4-1Run の停止

    1. 実行中の Run の行で Stop Running をクリックします。
    2. 確認ダイアログで Stop をクリックします。

    停止した Run は再開できません。Run の停止 を参照してください。

  2. 4-2Batch 名の編集

    1. 完了した Batch 名の横の ✎ をクリックします。
    2. 新しい名前を入力します。
    3. Save をクリックします。

    他の Batch と同じ名前は使用できません。

  3. 4-3Run の比較・削除

    1. 比較または削除する Run のチェックボックスを選びます。
    2. 比較するには Compare {N} runs をクリックします。
    3. 削除するには Delete {N} runs をクリックし、確認ダイアログで Delete をクリックします。
    4. Batch 全体を比較するには、Batch の行の Compare Runs → をクリックします。

    比較画面はダッシュボードのドキュメントで説明しています。


5. Run 結果の確認

①Run Detail の概要

Run の行をクリックすると Run Detail が開きます。上部の文言に [Algorithm] attacking [Target] on [Seed] と終了時刻(または予想終了時刻)が表示されます。

カード表示内容
ASRUnsafe 数 / 全応答数。エラーが発生した試行は除外してカウントします(errored attempts excluded)。
Coverage完了した試行数 / 全体、扱った Taxonomy 数と戦略数
Errorjudge error の数、target timeout の数
Resource所要時間、コスト、試行あたりの時間

Run のステータスによって画面が異なります。

区分実行中一時停止 / 完了
上部の文言expected to finish at {ETA}、進捗バー完了: finished at {time} / 一時停止: stopped at {progress}
Stop Running ボタン表示非表示
Export、Create Report (PDF)、削除無効有効

②結果テーブル

結果テーブルの 1 行が 1 回の攻撃試行です。すべての列で並べ替えができます。

列説明
ID試行番号
Seed攻撃に使用した Seed
ResultSafe / Unsafe の判定
TaxonomySeed の Risk Taxonomy
Attack PromptAttacker が作成した攻撃クエリ
AnswerTarget Model の応答
Strategy適用した戦略
Iter反復回数
  • まだ実行していない Seed の行は薄い文字で表示され、残りのセルは空欄です。判定前の行はクリックしても詳細が開きません。
  • New Run の Judge ステップで Add-on をオンにすると、Harmfulness(Unsafe の行)と Refusal(Safe の行)の列が追加されます。該当しない行は — と表示されます。

③Data Detail

行をクリックすると、右側に Data Detail パネルが開きます。

  • 上部に Seed、Result、Taxonomy が表示されます。
  • Iteration History には、反復ごとの結果が最新の Iter から順に並びます。各項目には Iter 番号、Strategy、Result が表示されます。
  • 項目を展開すると、Attacker question と {Target} response がペアで表示されます。マルチターンの場合は、複数のペアが続きます。

④エクスポート

一時停止または完了状態の Run を CSV ファイルでダウンロードします。結果が出た行のみエクスポートされます。

オプションシングルターンマルチターン
Last iteration onlySeed 1 つにつき 1 行。最後の Iter の攻撃プロンプト / 応答を別々の列に書き出します。最後の Iter の会話全体を書き出します。
All iterationsすべての Iter の攻撃プロンプト / 応答をそれぞれ 1 行に書き出します。すべての Iter の会話全体をそれぞれ 1 行に書き出します。
  1. 5-1Run Detail を開く

    1. Run の行をクリックします。
    2. 上部の文言で Algorithm、Target、Seed と終了時刻を確認します。
    3. 概要カードで ASR、Coverage、Error、Resource を確認します。意味は Run Detail の概要 にあります。
  2. 5-2実行中の Run を停止

    1. 進捗バーと ETA を確認します。
    2. Stop Running をクリックします。
    3. 確認ダイアログで Pause をクリックします。

    停止した Run は、再開したり続きから実行したりできません。

  3. 5-3試行の詳細を見る

    1. 結果テーブルで行をクリックします。
    2. Data Detail の上部で Seed、Result、Taxonomy を確認します。
    3. Iteration History で Iter を展開し、攻撃クエリと応答を確認します。
    4. パネルを閉じるには ✕ をクリックします。

    判定前の行は詳細が開きません。

  4. 5-4結果のエクスポート

    1. Export をクリックします。
    2. Export のオプションを選びます。
    3. Export をクリックして CSV ファイルをダウンロードします。

    実行中の Run はエクスポートできません。


よくある質問

Target Model ステップで Next をクリックできないのはなぜですか?バージョンを 1 つも選んでいないためです。
原因
Run はバージョンごとに作成されるため、バージョンが 1 つ以上必要です。この場合、Select at least one version. が表示されます。
解決方法
Version でバージョンを 1 つ以上選んでください。
目的の Seed Set が一覧にない場合はどうすればよいですか?Seed Management で Seed Set のステータスを確認してみてください。生成中またはエラー状態の Seed Set は一覧に表示されません。
原因
Seeds ステップには、すぐに使える Seed Set だけが表示されます。
解決方法
Seed Management でステータスを確認してください。Seed Management を参照してください。
This batch name is already in use. と表示されるのはなぜですか?すでに存在する Batch 名であるためです。
原因
Batch 名は他の Batch と重複できません。名前が重複していると Run Evaluation もクリックできません。
解決方法
別の名前を入力してください。
Strategy エリアが表示されないのはなぜですか?戦略を自動で決めるアルゴリズムを選んでいるためです。
原因
Strategy エリアは、Single shot、STAR-Teaming、AutoDAN-Turbo のような Strategy-based アルゴリズムでのみ表示されます。
解決方法
戦略を自分で選ぶには、Strategy-based アルゴリズムを選んでください。Quick Start には Strategy エリアがありません。
Configuration の入力欄の下に赤い文字が表示されるのはなぜですか?入力値が許容範囲を超えているためです。
原因
パラメーターごとに、最大値などの範囲が決められています。
解決方法
案内文(例: Max: 150)に合わせて値を修正してください。
停止した Run を再開できますか?いいえ、停止または一時停止した Run は再開できません。
原因
Stop Running と Pause は、Run を終了した状態にします。
解決方法
同じ設定で New Run から新しく作成してください。
チェックボックスを選べず、Batch 名も変更できないのはなぜですか?まだ実行中の Run であるためです。
原因
Running、Pending 状態の Run と Batch は、選択したり名前を変更したりできません。
解決方法
Run が終わってから再度お試しください。Run のステータス を参照してください。
Run Detail で Export をクリックできないのはなぜですか?Run が実行中であるためです。
原因
エクスポート、レポート、削除は、Run が一時停止または完了状態のときにのみ使用できます。
解決方法
Run が終了するか停止してから使用してください。

最終更新日