Platform Docs
Try DatumoEval

Task の作成と設定

Evaluation Lab で Target Model、Judge、Objective を設定し、テスターが攻撃するレッドチーミングの Task を作成します。

1. Task 一覧の確認

①Task

Task は、人が直接モデルを攻撃するレッドチームイベント 1 回分です。Target Model、Judge、Objective の一覧で構成されます。

構成要素意味
Target Modelテスターが攻撃するモデル
Judgeテスターの Submission を採点する方式
Objectiveテスターが達成すべき攻撃目標

②Task のステータス

Evaluation Lab の一覧は、Active、Closed、All のタブに分かれています。タブの横の数字は Task の数です。

ステータス意味
Activeテスターが攻撃し、提出できます。作成するとすぐにこのステータスになります。
Closedテスターには表示されず、新しい提出を受け付けません。結果は確認できます。
列意味
Created at作成日
Task Name · Description名前と説明
Target Model攻撃対象のモデル
Objective CountObjective の数
StatusActive / Closed
  1. 1-1一覧を開く

    1. 左メニューの Playground の下にある Evaluation Lab をクリックします。
    2. Active タブで進行中の Task を確認します。
    3. 終了した Task は Closed タブで確認します。

    ステータスごとの意味は Task のステータスにあります。

  2. 1-2Task を開く

    1. Task の行をクリックすると Task Detail が開きます。

    Task Detail については、結果の確認と Task の管理で説明しています。


2. 基本情報の入力

①Task Setup

New Task をクリックすると、3 ステップ(Task Setup → Judge & Objective Configuration → Confirm)の作成画面が開きます。最初のステップで基本情報を入力します。

項目必須説明
Task Name必須Task の名前。空欄のままでは次のステップに進めません。
Description任意Task の説明
Target Model必須攻撃するモデルのバージョン
  • Target Model には、マルチターン会話に対応したモデルのみが表示されます。モデルの接続は Application Setting(設定 > Application > Agent Connection)で行います。方法は Application API 連携で説明しています。
  • Task の作成後は Target Model を変更できません。
  1. 2-1作成画面を開く

    1. 一覧の右上にある New Task をクリックします。
    2. ステップ表示が Task Setup になっていることを確認します。
  2. 2-2基本情報の入力

    1. Task Name を入力します。
    2. 必要に応じて Description を入力します。
    3. Target Model を選びます。
    4. Next をクリックします。

    Target Model は作成後に変更できません。Task Setupを参照してください。


3. Judge と Objective の設定

①Judge Type

Judge は、テスターの Submission を採点する方式です。ここで選んだ Judge が Task 全体のデフォルトになります。

Judge Type採点する主体使う場面
Self Evaluationテスターが各提出を攻撃成功/失敗として自分でマーク判断基準が単純な場合や、人の判断が必要な場合
Preset RubricRubric ライブラリのあらかじめ用意された基準で LLM が採点一般的な安全性の基準ですばやく採点したい場合
Custom Rubric自分で作成した基準、または preset を修正した基準で LLM が採点サービスに合った基準が必要な場合

Preset Rubric と Custom Rubric では、採点に使う Judge Model もあわせて選びます。

②Objective

Objective は、テスターが引き出すべき失敗のタイプです。1 つの Task に複数の Objective を設定できます。

項目必須説明
Attack Objective必須Objective の名前(例:個人情報を盗み出せ)。
Description任意Objective の説明
Note to Tester任意攻撃が成功したときに期待される応答。テスターに表示されます。
  • New Objective で Objective を追加し、ゴミ箱アイコンで削除します。
  • Objective ごとに Judge Edit で、デフォルトとは異なる Judge を使えます。この場合は、次の値も設定します。
項目説明
Attack Success ThresholdRubric の基準をいくつ満たせば攻撃成功とみなすか(例:1 of 3 rubric)。
Show Rubric to Testersテスターの Chat Playground に Rubric と Threshold を表示するかどうか
  1. 3-1Judge を選ぶ

    1. Judge Type で採点方式を選びます。
    2. Rubric で採点する場合は、Judge Model の一覧からモデルを選びます。モデルにマウスを重ねると、右側にモデル ID が表示されます。
    3. Custom Rubric の場合は、基準を自分で入力します。
    4. Attack Success Threshold で、基準をいくつ満たせば攻撃成功とみなすかを選びます。

    方式ごとの違いは Judge Typeにあります。

  2. 3-2Objective の入力

    1. Attack Objective を入力します。
    2. テスターに伝える Note to Tester を入力します。
    3. Objective を追加するには New Objective をクリックします。

    Note to Tester は、成功した攻撃がどのようなものかをテスターに伝えます。

  3. 3-3Objective ごとの Judge

    1. 別の Judge を使う Objective で Judge Edit をクリックします。
    2. Attack Success Threshold を選びます。
    3. テスターに Rubric を表示するかどうかを Show Rubric to Testers で設定します。
    4. Next をクリックします。

    提出が 1 件でもあると、Judge は変更できません。


4. 確認と作成

①確認

最後のステップで、入力した内容を確認して Task を作成します。

  • 上部に Task Name、Description、Target Model が表示されます。
  • その下に、Objective ごとの説明、Note to Tester、Judge Type、Judge Model が表示されます。
  • 修正したい箇所があれば Back で戻ります。
  • Create Task をクリックすると、Task が Active ステータスで作成され、テスターの Annotation Queue にすぐ表示されます。
  1. 4-1確認して作成

    1. 基本情報を確認します。
    2. Objective と Judge の設定を確認します。
    3. Create Task をクリックします。

    作成した Task はすぐに Active になり、テスターに表示されます。


よくある質問

Next をクリックしても次のステップに進まないのはなぜですか?Task Name が空欄であるためです。
原因
Task Name は必須項目のため、空欄だと Enter a task name. というメッセージが表示されます。
解決方法
Task Name を入力してから、もう一度クリックしてください。
Objective ごとに異なる基準で採点できますか?はい、Objective ごとに Judge を変更できます。
原因
Task の Judge Type はデフォルト値で、Objective で Judge Edit を使って個別に設定できます。
解決方法
Judge Edit で Judge と Attack Success Threshold を設定してください。
作成済みの Task の Target Model を変更できますか?いいえ、Task の作成後は変更できません。
原因
提出結果を同じモデル基準で比較できるようにするためです。
解決方法
新しい Task を作成してください。作成前に、確認ステップでモデルを必ず確認してください。

最終更新日