Platform Docs
Try DatumoEval

結果の確認と Task の管理

管理者が Task Detail の Dashboard で結果を確認し、Submission の Verdict をレビューし、Task Config で Task を管理します。

1. Dashboard で結果を確認

①指標カード

Task 一覧から Task を開くと、最初に Dashboard タブが表示されます。このページの操作は管理者が行います。

指標意味
Total Submissions全提出数
Attacks Succeeded1 回以上攻撃に成功した Objective の数 / 全 Objective の数
Jailbreak rate (ASR)全試行のうち攻撃が成功した割合

②表示方法

指標カードの下で、結果を 2 通りの方法で確認できます。

表示列用途
Individual#、Tester、Objectives solved、Attempts、Successes、ASRテスターごとの成績ランキング
By Objective#、Objective、Attempts、Succeeded、Jailbreak rateObjective ごとにどれだけ突破されたか
  • Objectives solved の点は、Objective ごとの成功(緑)・失敗(赤)を示します。
  • Individual では Attempts、Successes、ASR で並べ替えられます。
  • 行をクリックすると、そのテスターまたは Objective の Submission 詳細が開きます。
  1. 1-1指標の確認

    1. Total Submissions で全提出数を確認します。
    2. Attacks Succeeded で突破された Objective の数を確認します。
    3. Jailbreak rate (ASR) を確認します。

    指標の意味は指標カードにあります。

  2. 1-2テスター別・Objective 別の表示

    1. Individual でテスターごとのランキングを確認します。
    2. By Objective に切り替えて、Objective ごとの攻撃状況を確認します。
    3. 詳しく見たい行をクリックします。

2. Submission と Verdict のレビュー

①Submission 詳細

Submission 詳細の左側にはテスターとモデルの会話全体が、右側には Verdict が表示されます。

項目意味
Judge Type・Judge Model採点方式とモデル
Attack Success Threshold成功とみなす Rubric の充足数
最終 VerdictAttack Succeeded / Attack Blocked
Attack Rubric基準ごとに Criteria Met / Criteria Not Met
Judge ReasonVerdict の根拠

②Verdict のオーバーライド

自動判定が誤っていると判断した場合、管理者は Override Verdict で Verdict を Succeeded または Failed に変更します。

  1. 2-1会話と Verdict の確認

    1. Dashboard でテスターの行をクリックします。
    2. 左側で Objective と会話全体を読みます。
    3. 右側で最終 Verdict を確認します。
    4. Attack Rubric と Judge Reason で根拠を確認します。
  2. 2-2Verdict の変更

    1. Verdict が誤っている場合は、Override Verdict で正しい方をクリックします。
    2. 変更された Verdict を確認します。

    Override Verdictを参照してください。


3. Task Config での管理

①編集できる項目

Task Config タブで Task の運用を管理します。

項目できること
Task 名・説明いつでも編集可能
ステータスActive ↔ Closed の切り替え。上部のスイッチ、または ⋯ メニューの Close Task で変更します。
Objective の追加New Objective でいつでも追加可能
Objective・Judge Model の編集提出がない場合のみ。提出があると Cannot edit judge after submission. と表示されます。
Target Model作成後は変更不可
Task の削除Delete Task をクリックし、確認欄に Delete Task とそのまま入力

Task をクローズすると、テスターの Annotation Queue から消え、新しい提出を受け付けなくなります。削除した Task と提出結果は元に戻せません。

  1. 3-1ステータスの変更

    1. Task Config タブをクリックします。
    2. 上部のスイッチで Active と Closed を切り替えます。
    3. ⋯ メニューの Close Task からもクローズできます。
    4. 確認ダイアログで Close Task をクリックします。

    クローズした Task はテスターに表示されません。

  2. 3-2Objective の管理

    1. Objective カードで説明と Judge を確認します。
    2. 提出がない Objective は鉛筆アイコンで編集します。
    3. 提出がある場合は、Judge を編集できないという案内が表示されます。
    4. 新しい Objective は New Objective で追加します。

    編集できる範囲は編集できる項目にあります。

  3. 3-3Task の削除

    1. 一番下の Delete Task をクリックします。
    2. 確認欄に Delete Task と入力します。
    3. Delete をクリックします。

    削除は元に戻せません。


よくある質問

Objective や Judge Model を編集できないのはなぜですか?すでに提出がある Objective であるためです。
原因
採点基準が途中で変わると結果を比較できなくなるため、提出が 1 件でもあるとロックされます。
解決方法
新しい Objective を追加してください。
Target Model を変更できますか?いいえ、Task の作成後は変更できません。
原因
すべての提出結果が同じモデルを基準にしている必要があるためです。
解決方法
別のモデルは、新しい Task を作成して評価してください。
自動判定が誤っているようなときはどうすればよいですか?管理者の場合は、Submission 詳細の Override Verdict で正しい Verdict を選んでみてください。管理者でない場合は、管理者に依頼してください。
原因
LLM Judge も誤ることがあるため、Override Verdict を用意しています。
解決方法
Submission 詳細で Override Verdict から正しい Verdict を選んでください。
Task をクローズしましたが、結果は残っていますか?はい、結果はそのまま残ります。
原因
クローズは新しい提出を止め、テスターの一覧から非表示にするだけです。Dashboard と Submission は引き続き確認できます。
解決方法
再び受け付けるには、スイッチで Active に切り替えてください。

最終更新日