태스크 생성 및 설정

평가 랩(Evaluation Lab)에서 타겟 모델(Target Model), 평가 모델(Judge), 목표(Objective)를 정해 테스터가 공격할 레드티밍 태스크를 만듭니다.

1. 태스크 목록 확인

태스크는 사람이 직접 모델을 공격하는 레드팀 이벤트 하나입니다. 타겟 모델, 평가 모델, 목표 목록으로 구성됩니다.

평가 랩 목록은 활성, 닫힘, 전체 탭으로 나뉩니다. 탭 옆 숫자는 태스크 수입니다.

상태	뜻
`활성`	테스터가 공격하고 제출할 수 있습니다. 만들면 바로 이 상태가 됩니다.
`닫힘`	테스터에게 보이지 않고 새 제출을 받지 않습니다. 결과는 볼 수 있습니다.

1-1목록 열기
1. 왼쪽 메뉴 Playground 아래 Evaluation Lab을 클릭합니다.
2. Active 탭에서 진행 중인 Task를 확인합니다.
3. 끝난 Task는 Closed 탭에서 봅니다.
상태별 뜻은 Task 상태에 있습니다.
1-2Task 열기
1. Task 행을 클릭하면 Task Detail이 열립니다.
Task Detail은 결과 확인 및 Task 관리에서 설명합니다.

새 태스크를 누르면 3단계(태스크 설정 → Judge & Objective Configuration → 확인) 생성 화면이 열립니다. 첫 단계에서 기본 정보를 입력합니다.

타겟 모델에는 멀티턴 대화를 지원하는 모델만 보입니다. 모델 연결은 애플리케이션 설정(설정 > 애플리케이션 > Agent Connection)에서 합니다. 방법은 애플리케이션 API 연동에서 설명합니다.
태스크를 만든 뒤에는 타겟 모델을 바꿀 수 없습니다.

평가 모델은 테스터의 제출물을 채점하는 방식입니다. 여기서 고른 평가 모델이 태스크 전체의 기본값이 됩니다.

평가 유형	채점하는 주체	이런 때 씁니다
`Self Evaluation`	테스터가 각 제출을 공격 성공/실패로 직접 표시	판단 기준이 단순하거나 사람의 판단이 필요할 때
`Preset Rubric`	rubric 라이브러리의 미리 만든 기준으로 LLM이 채점	일반적인 안전성 기준으로 빠르게 채점할 때
`Custom Rubric`	직접 쓰거나 preset을 고친 기준으로 LLM이 채점	서비스에 맞는 기준이 필요할 때

Preset Rubric과 Custom Rubric은 채점할 평가 모델을 함께 고릅니다.

목표는 테스터가 이끌어 내야 하는 실패 유형입니다. 태스크 하나에 여러 개를 둘 수 있습니다.

항목	설명
`공격 성공 임계값`	루브릭 기준 몇 개를 충족하면 공격 성공으로 볼지(예: `1 of 3 rubric`).
`테스터에게 루브릭 표시`	테스터의 채팅 플레이그라운드에 루브릭과 임계값을 보여 줄지

3-1Judge 고르기
1. Judge Type에서 채점 방식을 고릅니다.
2. Rubric으로 채점하면 Judge Model 목록에서 모델을 고릅니다. 모델에 마우스를 올리면 오른쪽에 모델 ID가 보입니다.
3. Custom Rubric이면 기준을 직접 입력합니다.
4. Attack Success Threshold에서 기준을 몇 개 충족하면 공격 성공으로 볼지 고릅니다.
방식별 차이는 Judge Type에 있습니다.
3-2Objective 입력
1. Attack Objective를 입력합니다.
2. 테스터에게 줄 Note to Tester를 입력합니다.
3. Objective를 더하려면 New Objective를 클릭합니다.
Note to Tester는 테스터에게 성공한 공격이 어떤 모습인지 알려 줍니다.
3-3Objective별 Judge
1. 다른 Judge를 쓸 Objective에서 Judge Edit를 클릭합니다.
2. Attack Success Threshold를 고릅니다.
3. 테스터에게 Rubric을 보여 줄지 Show Rubric to Testers로 정합니다.
4. Next를 클릭합니다.
제출이 하나라도 생기면 Judge를 바꿀 수 없습니다.

마지막 단계에서 입력한 내용을 확인하고 태스크를 만듭니다.

4-1확인 후 생성
1. 기본 정보를 확인합니다.
2. Objective와 Judge 설정을 확인합니다.
3. Create Task를 클릭합니다.
만든 Task는 바로 Active가 되어 테스터에게 보입니다.

다음을 눌러도 왜 다음 단계로 넘어가지 않나요?태스크 이름이 비어 있기 때문이에요.

목표마다 다른 기준으로 채점할 수 있나요?네, 목표별로 평가 모델을 바꿀 수 있어요.

만든 태스크의 타겟 모델을 바꿀 수 있나요?아니요, 태스크를 만든 뒤에는 바꿀 수 없어요.