Platform Docs
Try DatumoEval

테스터 공격 실행

테스터가 어노테이션 대기열(Annotation Queue)에서 태스크와 목표(Objective)를 골라 채팅 플레이그라운드에서 모델을 공격하고 결과를 제출합니다.

1. 태스크와 목표 선택

①어노테이션 대기열

테스터는 왼쪽 메뉴의 어노테이션 대기열에서 참여할 태스크를 고릅니다. 테스터에게는 활성 태스크만 보입니다.

진행 상태뜻
대기 중아직 제출이 없는 태스크
진행 중제출(제출물)이 하나 이상 있는 태스크
완료모든 목표에 제출이 하나 이상 있는 태스크
  • 제출물은 테스터의 공격 시도 1회입니다.
  • 태스크를 열면 위쪽에 대상 모델과 내 제출 수, 내 성공 수, 성공한 목표 수가 나옵니다.
  • 아래 목표 목록에는 목표마다 다른 테스터의 공격 성공 횟수, 평가 유형, 평가 모델, 내 제출 여부가 보입니다.
  1. 1-1Task 고르기

    1. 왼쪽 메뉴 Annotation Queue를 클릭합니다.
    2. Task의 진행 상태를 확인합니다.
    3. 참여할 Task를 클릭합니다.

    Closed Task는 목록에 보이지 않습니다.

  2. 1-2Objective 고르기

    1. Objective 목록에서 목표와 설명을 확인합니다.
    2. 다른 테스터의 공격 성공 횟수와 내 제출 여부를 확인합니다.
    3. 공격할 Objective를 클릭하면 Chat Playground가 열립니다.

2. 모델 공격

①목표 정보

채팅 플레이그라운드 왼쪽 Objective Info에서 공격 조건을 확인합니다.

항목뜻
Note To Tester테스터가 알면 좋을 내용(예: 시작하면 좋은 시드, 성공한 공격의 예시 등)
타겟 모델공격 대상 모델
평가 유형 · 평가 모델채점 방식과 채점 모델
루브릭 · 공격 성공 임계값채점 기준과 성공 조건. 관리자가 테스터에게 루브릭 표시를 켰을 때만 보입니다.

②멀티턴 공격

공격은 가운데 Chat에서 모델과 여러 번 주고받는 멀티턴 대화로 합니다. 한 번 거절당해도 맥락을 바꿔 이어서 시도할 수 있습니다. 제출하면 대화 전체가 기록으로 남습니다.

  1. 2-1공격 조건 확인

    1. Note To Tester에서 목표를 확인합니다.
    2. Target Model과 Judge 설정을 확인합니다.
    3. Rubric이 보이면 성공 조건을 확인합니다.

    Rubric이 보이지 않으면 관리자가 공개하지 않은 Objective입니다.

  2. 2-2대화로 공격

    1. 입력창에 메시지를 보내 공격을 시작합니다.
    2. 응답을 보며 질문을 이어 갑니다.

    멀티턴 공격을 참고하세요.


3. 결과 제출과 판정 확인

①제출

공격을 마치면 오른쪽 제출 패널에서 제출합니다.

  • 평가 유형이 Self Evaluation이면 Did your attack succeed?에 성공 또는 실패로 답합니다.
  • 댓글은 선택입니다. 공격 방법이나 참고할 점을 남깁니다.
  • 대화가 없으면 제출이 비활성화됩니다.
  • 제출 횟수에는 제한이 없습니다. 태스크가 닫히기 전까지 다시 시도할 수 있습니다.

②판정

판정은 제출물의 최종 판정입니다. 제출하면 Submissions 탭으로 이동하고 채점 결과가 보입니다.

항목표시
최종 판정공격 성공(빨간색) / 공격 차단(초록색)
루브릭 항목별 결과Criteria Met(빨간 ✓) / Criteria Not Met(회색 ✕)
평가 사유평가 모델이 그렇게 판정한 근거
트랜스크립트 보기제출한 대화 전체
  1. 3-1결과 제출

    1. Self Evaluation이면 Succeeded 또는 Failed를 고릅니다.
    2. 필요하면 Comment를 입력합니다.
    3. Submit을 클릭합니다.

    제출 횟수에는 제한이 없습니다.

  2. 3-2Verdict 확인

    1. Submissions 탭에서 제출 목록을 봅니다.
    2. 최종 판정을 확인합니다.
    3. Rubric 항목별 결과와 Judge Reason을 확인합니다.
    4. 대화 전체는 View Transcript로 봅니다.

    표시 뜻은 Verdict에 있습니다.


자주 묻는 질문

제출이 왜 눌리지 않나요?아직 대화가 없기 때문이에요.
원인
제출은 대화 기록을 함께 저장하므로 메시지가 하나 이상 있어야 해요.
해결 방법
채팅에서 먼저 모델과 대화한 뒤 제출해 주세요.
루브릭과 공격 성공 임계값이 왜 보이지 않나요?관리자가 공개하지 않았기 때문이에요.
원인
테스터에게 루브릭 표시가 꺼진 목표는 채점 기준을 테스터에게 보여 주지 않아요.
해결 방법
기준 없이 테스터 안내를 참고해 공격해 주세요. 필요하면 관리자에게 공개를 요청하세요.
참여하던 태스크가 왜 목록에서 사라졌나요?관리자가 태스크를 닫았기 때문이에요.
원인
닫힘 태스크는 테스터의 어노테이션 대기열에 보이지 않고 새 제출도 받지 않아요.
해결 방법
관리자에게 태스크 상태를 확인해 주세요.
같은 목표에 여러 번 제출해도 되나요?네, 제한이 없어요.
원인
제출마다 별도 제출물로 기록되고 각각 채점돼요.
해결 방법
다른 방식으로 다시 공격해 제출해 주세요. 결과는 Submissions 탭에 쌓여요.

최종 수정일