Task の作成と設定
Evaluation Lab で Target Model、Judge、Objective を設定し、テスターが攻撃するレッドチーミングの Task を作成します。
1. Task 一覧の確認
①Task
Task は、人が直接モデルを攻撃するレッドチームイベント 1 回分です。Target Model、Judge、Objective の一覧で構成されます。
| 構成要素 | 意味 |
|---|---|
| Target Model | テスターが攻撃するモデル |
| Judge | テスターの Submission を採点する方式 |
| Objective | テスターが達成すべき攻撃目標 |
- Task の構造と用語は、プレイグラウンドのコアコンセプトで説明しています。
- Task は管理者が作成し、テスターは テスターによる攻撃の実行で説明する Annotation Queue から攻撃します。
②Task のステータス
Evaluation Lab の一覧は、Active、Closed、All のタブに分かれています。タブの横の数字は Task の数です。
| ステータス | 意味 |
|---|---|
Active | テスターが攻撃し、提出できます。作成するとすぐにこのステータスになります。 |
Closed | テスターには表示されず、新しい提出を受け付けません。結果は確認できます。 |
| 列 | 意味 |
|---|---|
Created at | 作成日 |
Task Name · Description | 名前と説明 |
Target Model | 攻撃対象のモデル |
Objective Count | Objective の数 |
Status | Active / Closed |
1-1一覧を開く
- 左メニューの Playground の下にある
Evaluation Labをクリックします。 Activeタブで進行中の Task を確認します。- 終了した Task は
Closedタブで確認します。
ステータスごとの意味は Task のステータスにあります。
- 左メニューの Playground の下にある
1-2Task を開く
- Task の行をクリックすると Task Detail が開きます。
Task Detail については、結果の確認と Task の管理で説明しています。
2. 基本情報の入力
①Task Setup
New Task をクリックすると、3 ステップ(Task Setup → Judge & Objective Configuration → Confirm)の作成画面が開きます。最初のステップで基本情報を入力します。
| 項目 | 必須 | 説明 |
|---|---|---|
Task Name | 必須 | Task の名前。空欄のままでは次のステップに進めません。 |
Description | 任意 | Task の説明 |
Target Model | 必須 | 攻撃するモデルのバージョン |
Target Modelには、マルチターン会話に対応したモデルのみが表示されます。モデルの接続はApplication Setting(設定 > Application >Agent Connection)で行います。方法は Application API 連携で説明しています。- Task の作成後は
Target Modelを変更できません。
2-1作成画面を開く
- 一覧の右上にある
New Taskをクリックします。 - ステップ表示が
Task Setupになっていることを確認します。
- 一覧の右上にある
2-2基本情報の入力
Task Nameを入力します。- 必要に応じて
Descriptionを入力します。 Target Modelを選びます。Nextをクリックします。
Target Model は作成後に変更できません。Task Setupを参照してください。
3. Judge と Objective の設定
①Judge Type
Judge は、テスターの Submission を採点する方式です。ここで選んだ Judge が Task 全体のデフォルトになります。
| Judge Type | 採点する主体 | 使う場面 |
|---|---|---|
Self Evaluation | テスターが各提出を攻撃成功/失敗として自分でマーク | 判断基準が単純な場合や、人の判断が必要な場合 |
Preset Rubric | Rubric ライブラリのあらかじめ用意された基準で LLM が採点 | 一般的な安全性の基準ですばやく採点したい場合 |
Custom Rubric | 自分で作成した基準、または preset を修正した基準で LLM が採点 | サービスに合った基準が必要な場合 |
Preset Rubric と Custom Rubric では、採点に使う Judge Model もあわせて選びます。
②Objective
Objective は、テスターが引き出すべき失敗のタイプです。1 つの Task に複数の Objective を設定できます。
| 項目 | 必須 | 説明 |
|---|---|---|
Attack Objective | 必須 | Objective の名前(例:個人情報を盗み出せ)。 |
Description | 任意 | Objective の説明 |
Note to Tester | 任意 | 攻撃が成功したときに期待される応答。テスターに表示されます。 |
New Objectiveで Objective を追加し、ゴミ箱アイコンで削除します。- Objective ごとに
Judge Editで、デフォルトとは異なる Judge を使えます。この場合は、次の値も設定します。
| 項目 | 説明 |
|---|---|
Attack Success Threshold | Rubric の基準をいくつ満たせば攻撃成功とみなすか(例:1 of 3 rubric)。 |
Show Rubric to Testers | テスターの Chat Playground に Rubric と Threshold を表示するかどうか |
3-1Judge を選ぶ
Judge Typeで採点方式を選びます。- Rubric で採点する場合は、
Judge Modelの一覧からモデルを選びます。モデルにマウスを重ねると、右側にモデル ID が表示されます。 Custom Rubricの場合は、基準を自分で入力します。Attack Success Thresholdで、基準をいくつ満たせば攻撃成功とみなすかを選びます。
方式ごとの違いは Judge Typeにあります。
3-2Objective の入力
Attack Objectiveを入力します。- テスターに伝える
Note to Testerを入力します。 - Objective を追加するには
New Objectiveをクリックします。
Note to Testerは、成功した攻撃がどのようなものかをテスターに伝えます。3-3Objective ごとの Judge
- 別の Judge を使う Objective で
Judge Editをクリックします。 Attack Success Thresholdを選びます。- テスターに Rubric を表示するかどうかを
Show Rubric to Testersで設定します。 Nextをクリックします。
提出が 1 件でもあると、Judge は変更できません。
- 別の Judge を使う Objective で
4. 確認と作成
①確認
最後のステップで、入力した内容を確認して Task を作成します。
- 上部に
Task Name、Description、Target Modelが表示されます。 - その下に、Objective ごとの説明、
Note to Tester、Judge Type、Judge Model が表示されます。 - 修正したい箇所があれば
Backで戻ります。 Create Taskをクリックすると、Task がActiveステータスで作成され、テスターの Annotation Queue にすぐ表示されます。
4-1確認して作成
- 基本情報を確認します。
- Objective と Judge の設定を確認します。
Create Taskをクリックします。
作成した Task はすぐに
Activeになり、テスターに表示されます。
よくある質問
Next をクリックしても次のステップに進まないのはなぜですか?Task Name が空欄であるためです。
- 原因
- Task Name は必須項目のため、空欄だと
Enter a task name.というメッセージが表示されます。 - 解決方法
Task Nameを入力してから、もう一度クリックしてください。
Objective ごとに異なる基準で採点できますか?はい、Objective ごとに Judge を変更できます。
- 原因
- Task の Judge Type はデフォルト値で、Objective で
Judge Editを使って個別に設定できます。 - 解決方法
Judge Editで Judge とAttack Success Thresholdを設定してください。
作成済みの Task の Target Model を変更できますか?いいえ、Task の作成後は変更できません。
- 原因
- 提出結果を同じモデル基準で比較できるようにするためです。
- 解決方法
- 新しい Task を作成してください。作成前に、確認ステップでモデルを必ず確認してください。