結果の確認と Task の管理
管理者が Task Detail の Dashboard で結果を確認し、Submission の Verdict をレビューし、Task Config で Task を管理します。
1. Dashboard で結果を確認
①指標カード
Task 一覧から Task を開くと、最初に Dashboard タブが表示されます。このページの操作は管理者が行います。
| 指標 | 意味 |
|---|---|
Total Submissions | 全提出数 |
Attacks Succeeded | 1 回以上攻撃に成功した Objective の数 / 全 Objective の数 |
Jailbreak rate (ASR) | 全試行のうち攻撃が成功した割合 |
②表示方法
指標カードの下で、結果を 2 通りの方法で確認できます。
| 表示 | 列 | 用途 |
|---|---|---|
Individual | #、Tester、Objectives solved、Attempts、Successes、ASR | テスターごとの成績ランキング |
By Objective | #、Objective、Attempts、Succeeded、Jailbreak rate | Objective ごとにどれだけ突破されたか |
Objectives solvedの点は、Objective ごとの成功(緑)・失敗(赤)を示します。IndividualではAttempts、Successes、ASRで並べ替えられます。- 行をクリックすると、そのテスターまたは Objective の Submission 詳細が開きます。
1-1指標の確認
Total Submissionsで全提出数を確認します。Attacks Succeededで突破された Objective の数を確認します。Jailbreak rate (ASR)を確認します。
指標の意味は指標カードにあります。
1-2テスター別・Objective 別の表示
Individualでテスターごとのランキングを確認します。By Objectiveに切り替えて、Objective ごとの攻撃状況を確認します。- 詳しく見たい行をクリックします。
2. Submission と Verdict のレビュー
①Submission 詳細
Submission 詳細の左側にはテスターとモデルの会話全体が、右側には Verdict が表示されます。
| 項目 | 意味 |
|---|---|
Judge Type・Judge Model | 採点方式とモデル |
Attack Success Threshold | 成功とみなす Rubric の充足数 |
| 最終 Verdict | Attack Succeeded / Attack Blocked |
Attack Rubric | 基準ごとに Criteria Met / Criteria Not Met |
Judge Reason | Verdict の根拠 |
②Verdict のオーバーライド
自動判定が誤っていると判断した場合、管理者は Override Verdict で Verdict を Succeeded または Failed に変更します。
2-1会話と Verdict の確認
- Dashboard でテスターの行をクリックします。
- 左側で Objective と会話全体を読みます。
- 右側で最終 Verdict を確認します。
Attack RubricとJudge Reasonで根拠を確認します。
2-2Verdict の変更
- Verdict が誤っている場合は、
Override Verdictで正しい方をクリックします。 - 変更された Verdict を確認します。
Override Verdictを参照してください。
- Verdict が誤っている場合は、
3. Task Config での管理
①編集できる項目
Task Config タブで Task の運用を管理します。
| 項目 | できること |
|---|---|
| Task 名・説明 | いつでも編集可能 |
| ステータス | Active ↔ Closed の切り替え。上部のスイッチ、または ⋯ メニューの Close Task で変更します。 |
| Objective の追加 | New Objective でいつでも追加可能 |
| Objective・Judge Model の編集 | 提出がない場合のみ。提出があると Cannot edit judge after submission. と表示されます。 |
| Target Model | 作成後は変更不可 |
| Task の削除 | Delete Task をクリックし、確認欄に Delete Task とそのまま入力 |
Task をクローズすると、テスターの Annotation Queue から消え、新しい提出を受け付けなくなります。削除した Task と提出結果は元に戻せません。
3-1ステータスの変更
Task Configタブをクリックします。- 上部のスイッチで
ActiveとClosedを切り替えます。 ⋯メニューのClose Taskからもクローズできます。- 確認ダイアログで
Close Taskをクリックします。
クローズした Task はテスターに表示されません。
3-2Objective の管理
- Objective カードで説明と Judge を確認します。
- 提出がない Objective は鉛筆アイコンで編集します。
- 提出がある場合は、Judge を編集できないという案内が表示されます。
- 新しい Objective は
New Objectiveで追加します。
編集できる範囲は編集できる項目にあります。
3-3Task の削除
- 一番下の
Delete Taskをクリックします。 - 確認欄に
Delete Taskと入力します。 Deleteをクリックします。
削除は元に戻せません。
- 一番下の
よくある質問
Objective や Judge Model を編集できないのはなぜですか?すでに提出がある Objective であるためです。
- 原因
- 採点基準が途中で変わると結果を比較できなくなるため、提出が 1 件でもあるとロックされます。
- 解決方法
- 新しい Objective を追加してください。
Target Model を変更できますか?いいえ、Task の作成後は変更できません。
- 原因
- すべての提出結果が同じモデルを基準にしている必要があるためです。
- 解決方法
- 別のモデルは、新しい Task を作成して評価してください。
自動判定が誤っているようなときはどうすればよいですか?管理者の場合は、Submission 詳細の Override Verdict で正しい Verdict を選んでみてください。管理者でない場合は、管理者に依頼してください。
- 原因
- LLM Judge も誤ることがあるため、
Override Verdictを用意しています。 - 解決方法
- Submission 詳細で
Override Verdictから正しい Verdict を選んでください。
Task をクローズしましたが、結果は残っていますか?はい、結果はそのまま残ります。
- 原因
- クローズは新しい提出を止め、テスターの一覧から非表示にするだけです。Dashboard と Submission は引き続き確認できます。
- 解決方法
- 再び受け付けるには、スイッチで
Activeに切り替えてください。