テスターによる攻撃の実行
テスターが Annotation Queue で Task と Objective を選び、Chat Playground でモデルを攻撃して結果を提出します。
1. Task と Objective の選択
①Annotation Queue
テスターは、左メニューの Annotation Queue で参加する Task を選びます。テスターには Active の Task だけが表示されます。
| 進行状態 | 意味 |
|---|---|
Waiting | まだ提出がない Task |
In Progress | 提出(Submission)が 1 つ以上ある Task |
Complete | すべての Objective に提出が 1 つ以上ある Task |
- Submission は、テスターによる 1 回の攻撃試行です。
- Task を開くと、上部に対象モデル、自分の提出数、自分の成功数、成功した Objective の数が表示されます。
- 下の Objective 一覧には、Objective ごとに他のテスターの攻撃成功回数、Judge Type、Judge Model、自分の提出の有無が表示されます。
1-1Task を選ぶ
- 左メニューの
Annotation Queueをクリックします。 - Task の 進行状態 を確認します。
- 参加する Task をクリックします。
Closedの Task は一覧に表示されません。- 左メニューの
1-2Objective を選ぶ
- Objective 一覧で目標と説明を確認します。
- 他のテスターの攻撃成功回数と、自分の提出の有無を確認します。
- 攻撃する Objective をクリックすると、Chat Playground が開きます。
2. モデルへの攻撃
①Objective Info
Chat Playground 左側の Objective Info で攻撃条件を確認します。
| 項目 | 意味 |
|---|---|
Note To Tester | テスターが知っておくとよい内容(例: 始めるのに適した Seed、成功した攻撃の例など) |
Target Model | 攻撃対象のモデル |
Judge Type · Judge Model | 採点方式と採点モデル |
Rubric · Attack Success Threshold | 採点基準と成功条件。管理者が Show Rubric to Testers をオンにしたときのみ表示されます。 |
②マルチターン攻撃
攻撃は、中央の Chat でモデルと何度もやり取りするマルチターンの会話で行います。一度拒否されても、文脈を変えて続けて試すことができます。提出すると、会話全体が記録として残ります。
2-1攻撃条件の確認
Note To Testerで目標を確認します。Target Modelと Judge の設定を確認します。- Rubric が表示されている場合は、成功条件を確認します。
Rubric が表示されない場合、その Objective は管理者が公開していません。
2-2会話で攻撃
- 入力欄にメッセージを送信して攻撃を始めます。
- 応答を見ながら質問を続けます。
マルチターン攻撃 を参照してください。
3. 結果の提出と Verdict の確認
①提出
攻撃を終えたら、右側の Submit パネルから提出します。
- Judge Type が
Self Evaluationの場合は、Did your attack succeed?にSucceededまたはFailedで回答します。 Commentは任意です。攻撃方法や参考になる点を残します。- 会話がない場合、
Submitは無効になります。 - 提出回数に制限はありません。Task が閉じられるまで何度でも試せます。
②Verdict
Verdict は Submission の最終判定です。提出すると Submissions タブに移動し、採点結果が表示されます。
| 項目 | 表示 |
|---|---|
| 最終判定 | Attack Succeeded(赤)/ Attack Blocked(緑) |
| Rubric 項目ごとの結果 | Criteria Met(赤い ✓)/ Criteria Not Met(グレーの ✕) |
Judge Reason | Judge Model がそのように判定した根拠 |
View Transcript | 提出した会話全体 |
3-1結果の提出
Self Evaluationの場合はSucceededまたはFailedを選びます。- 必要に応じて
Commentを入力します。 Submitをクリックします。
提出回数に制限はありません。
3-2Verdict の確認
Submissionsタブで提出一覧を確認します。- 最終判定を確認します。
- Rubric 項目ごとの結果と
Judge Reasonを確認します。 - 会話全体は
View Transcriptで確認します。
表示の意味は Verdict にあります。
よくある質問
Submit をクリックできないのはなぜですか?まだ会話がないためです。
- 原因
- 提出時には会話履歴も一緒に保存されるため、メッセージが 1 つ以上必要です。
- 解決方法
- まず Chat でモデルと会話してから提出してください。
Rubric と Attack Success Threshold が表示されないのはなぜですか?管理者が公開していないためです。
- 原因
Show Rubric to Testersがオフになっている Objective では、採点基準がテスターに表示されません。- 解決方法
- 基準なしで Note To Tester を参考に攻撃してください。必要であれば、管理者に公開を依頼してください。
参加していた Task が一覧から消えたのはなぜですか?管理者が Task を閉じたためです。
- 原因
Closedの Task は、テスターの Annotation Queue に表示されず、新しい提出も受け付けません。- 解決方法
- 管理者に Task の状態を確認してください。
同じ Objective に何度も提出してもよいですか?はい、制限はありません。
- 原因
- 提出するたびに別々の Submission として記録され、それぞれ採点されます。
- 解決方法
- 別の方法で再度攻撃して提出してください。結果は
Submissionsタブに蓄積されます。