Platform Docs
Try DatumoEval

テスターによる攻撃の実行

テスターが Annotation Queue で Task と Objective を選び、Chat Playground でモデルを攻撃して結果を提出します。

1. Task と Objective の選択

①Annotation Queue

テスターは、左メニューの Annotation Queue で参加する Task を選びます。テスターには Active の Task だけが表示されます。

進行状態意味
Waitingまだ提出がない Task
In Progress提出(Submission)が 1 つ以上ある Task
Completeすべての Objective に提出が 1 つ以上ある Task
  • Submission は、テスターによる 1 回の攻撃試行です。
  • Task を開くと、上部に対象モデル、自分の提出数、自分の成功数、成功した Objective の数が表示されます。
  • 下の Objective 一覧には、Objective ごとに他のテスターの攻撃成功回数、Judge Type、Judge Model、自分の提出の有無が表示されます。
  1. 1-1Task を選ぶ

    1. 左メニューの Annotation Queue をクリックします。
    2. Task の 進行状態 を確認します。
    3. 参加する Task をクリックします。

    Closed の Task は一覧に表示されません。

  2. 1-2Objective を選ぶ

    1. Objective 一覧で目標と説明を確認します。
    2. 他のテスターの攻撃成功回数と、自分の提出の有無を確認します。
    3. 攻撃する Objective をクリックすると、Chat Playground が開きます。

2. モデルへの攻撃

①Objective Info

Chat Playground 左側の Objective Info で攻撃条件を確認します。

項目意味
Note To Testerテスターが知っておくとよい内容(例: 始めるのに適した Seed、成功した攻撃の例など)
Target Model攻撃対象のモデル
Judge Type · Judge Model採点方式と採点モデル
Rubric · Attack Success Threshold採点基準と成功条件。管理者が Show Rubric to Testers をオンにしたときのみ表示されます。

②マルチターン攻撃

攻撃は、中央の Chat でモデルと何度もやり取りするマルチターンの会話で行います。一度拒否されても、文脈を変えて続けて試すことができます。提出すると、会話全体が記録として残ります。

  1. 2-1攻撃条件の確認

    1. Note To Tester で目標を確認します。
    2. Target Model と Judge の設定を確認します。
    3. Rubric が表示されている場合は、成功条件を確認します。

    Rubric が表示されない場合、その Objective は管理者が公開していません。

  2. 2-2会話で攻撃

    1. 入力欄にメッセージを送信して攻撃を始めます。
    2. 応答を見ながら質問を続けます。

    マルチターン攻撃 を参照してください。


3. 結果の提出と Verdict の確認

①提出

攻撃を終えたら、右側の Submit パネルから提出します。

  • Judge Type が Self Evaluation の場合は、Did your attack succeed? に Succeeded または Failed で回答します。
  • Comment は任意です。攻撃方法や参考になる点を残します。
  • 会話がない場合、Submit は無効になります。
  • 提出回数に制限はありません。Task が閉じられるまで何度でも試せます。

②Verdict

Verdict は Submission の最終判定です。提出すると Submissions タブに移動し、採点結果が表示されます。

項目表示
最終判定Attack Succeeded(赤)/ Attack Blocked(緑)
Rubric 項目ごとの結果Criteria Met(赤い ✓)/ Criteria Not Met(グレーの ✕)
Judge ReasonJudge Model がそのように判定した根拠
View Transcript提出した会話全体
  1. 3-1結果の提出

    1. Self Evaluation の場合は Succeeded または Failed を選びます。
    2. 必要に応じて Comment を入力します。
    3. Submit をクリックします。

    提出回数に制限はありません。

  2. 3-2Verdict の確認

    1. Submissions タブで提出一覧を確認します。
    2. 最終判定を確認します。
    3. Rubric 項目ごとの結果と Judge Reason を確認します。
    4. 会話全体は View Transcript で確認します。

    表示の意味は Verdict にあります。


よくある質問

Submit をクリックできないのはなぜですか?まだ会話がないためです。
原因
提出時には会話履歴も一緒に保存されるため、メッセージが 1 つ以上必要です。
解決方法
まず Chat でモデルと会話してから提出してください。
Rubric と Attack Success Threshold が表示されないのはなぜですか?管理者が公開していないためです。
原因
Show Rubric to Testers がオフになっている Objective では、採点基準がテスターに表示されません。
解決方法
基準なしで Note To Tester を参考に攻撃してください。必要であれば、管理者に公開を依頼してください。
参加していた Task が一覧から消えたのはなぜですか?管理者が Task を閉じたためです。
原因
Closed の Task は、テスターの Annotation Queue に表示されず、新しい提出も受け付けません。
解決方法
管理者に Task の状態を確認してください。
同じ Objective に何度も提出してもよいですか?はい、制限はありません。
原因
提出するたびに別々の Submission として記録され、それぞれ採点されます。
解決方法
別の方法で再度攻撃して提出してください。結果は Submissions タブに蓄積されます。

最終更新日