테스터 공격 실행
테스터가 어노테이션 대기열(Annotation Queue)에서 태스크와 목표(Objective)를 골라 채팅 플레이그라운드에서 모델을 공격하고 결과를 제출합니다.
1. 태스크와 목표 선택
①어노테이션 대기열
테스터는 왼쪽 메뉴의 어노테이션 대기열에서 참여할 태스크를 고릅니다. 테스터에게는 활성 태스크만 보입니다.
| 진행 상태 | 뜻 |
|---|---|
대기 중 | 아직 제출이 없는 태스크 |
진행 중 | 제출(제출물)이 하나 이상 있는 태스크 |
완료 | 모든 목표에 제출이 하나 이상 있는 태스크 |
- 제출물은 테스터의 공격 시도 1회입니다.
- 태스크를 열면 위쪽에 대상 모델과 내 제출 수, 내 성공 수, 성공한 목표 수가 나옵니다.
- 아래 목표 목록에는 목표마다 다른 테스터의 공격 성공 횟수, 평가 유형, 평가 모델, 내 제출 여부가 보입니다.
1-1Task 고르기
- 왼쪽 메뉴
Annotation Queue를 클릭합니다. - Task의 진행 상태를 확인합니다.
- 참여할 Task를 클릭합니다.
ClosedTask는 목록에 보이지 않습니다.- 왼쪽 메뉴
1-2Objective 고르기
- Objective 목록에서 목표와 설명을 확인합니다.
- 다른 테스터의 공격 성공 횟수와 내 제출 여부를 확인합니다.
- 공격할 Objective를 클릭하면 Chat Playground가 열립니다.
2. 모델 공격
①목표 정보
채팅 플레이그라운드 왼쪽 Objective Info에서 공격 조건을 확인합니다.
| 항목 | 뜻 |
|---|---|
Note To Tester | 테스터가 알면 좋을 내용(예: 시작하면 좋은 시드, 성공한 공격의 예시 등) |
타겟 모델 | 공격 대상 모델 |
평가 유형 · 평가 모델 | 채점 방식과 채점 모델 |
루브릭 · 공격 성공 임계값 | 채점 기준과 성공 조건. 관리자가 테스터에게 루브릭 표시를 켰을 때만 보입니다. |
②멀티턴 공격
공격은 가운데 Chat에서 모델과 여러 번 주고받는 멀티턴 대화로 합니다. 한 번 거절당해도 맥락을 바꿔 이어서 시도할 수 있습니다. 제출하면 대화 전체가 기록으로 남습니다.
2-1공격 조건 확인
Note To Tester에서 목표를 확인합니다.Target Model과 Judge 설정을 확인합니다.- Rubric이 보이면 성공 조건을 확인합니다.
Rubric이 보이지 않으면 관리자가 공개하지 않은 Objective입니다.
2-2대화로 공격
- 입력창에 메시지를 보내 공격을 시작합니다.
- 응답을 보며 질문을 이어 갑니다.
멀티턴 공격을 참고하세요.
3. 결과 제출과 판정 확인
①제출
공격을 마치면 오른쪽 제출 패널에서 제출합니다.
- 평가 유형이
Self Evaluation이면Did your attack succeed?에성공또는실패로 답합니다. 댓글은 선택입니다. 공격 방법이나 참고할 점을 남깁니다.- 대화가 없으면
제출이 비활성화됩니다. - 제출 횟수에는 제한이 없습니다. 태스크가 닫히기 전까지 다시 시도할 수 있습니다.
②판정
판정은 제출물의 최종 판정입니다. 제출하면 Submissions 탭으로 이동하고 채점 결과가 보입니다.
| 항목 | 표시 |
|---|---|
| 최종 판정 | 공격 성공(빨간색) / 공격 차단(초록색) |
| 루브릭 항목별 결과 | Criteria Met(빨간 ✓) / Criteria Not Met(회색 ✕) |
평가 사유 | 평가 모델이 그렇게 판정한 근거 |
트랜스크립트 보기 | 제출한 대화 전체 |
3-1결과 제출
Self Evaluation이면Succeeded또는Failed를 고릅니다.- 필요하면
Comment를 입력합니다. Submit을 클릭합니다.
제출 횟수에는 제한이 없습니다.
3-2Verdict 확인
Submissions탭에서 제출 목록을 봅니다.- 최종 판정을 확인합니다.
- Rubric 항목별 결과와
Judge Reason을 확인합니다. - 대화 전체는
View Transcript로 봅니다.
표시 뜻은 Verdict에 있습니다.
자주 묻는 질문
제출이 왜 눌리지 않나요?아직 대화가 없기 때문이에요.
- 원인
- 제출은 대화 기록을 함께 저장하므로 메시지가 하나 이상 있어야 해요.
- 해결 방법
- 채팅에서 먼저 모델과 대화한 뒤 제출해 주세요.
루브릭과 공격 성공 임계값이 왜 보이지 않나요?관리자가 공개하지 않았기 때문이에요.
- 원인
테스터에게 루브릭 표시가 꺼진 목표는 채점 기준을 테스터에게 보여 주지 않아요.- 해결 방법
- 기준 없이 테스터 안내를 참고해 공격해 주세요. 필요하면 관리자에게 공개를 요청하세요.
참여하던 태스크가 왜 목록에서 사라졌나요?관리자가 태스크를 닫았기 때문이에요.
- 원인
닫힘태스크는 테스터의 어노테이션 대기열에 보이지 않고 새 제출도 받지 않아요.- 해결 방법
- 관리자에게 태스크 상태를 확인해 주세요.
같은 목표에 여러 번 제출해도 되나요?네, 제한이 없어요.
- 원인
- 제출마다 별도 제출물로 기록되고 각각 채점돼요.
- 해결 방법
- 다른 방식으로 다시 공격해 제출해 주세요. 결과는
Submissions탭에 쌓여요.