평가 이력

빠른 설정(Quick Start) 또는 Advanced Setup으로 레드티밍 평가(Run)를 실행하고, 평가 목록에서 관리하고, 평가실행 상세(Run Detail)에서 결과를 확인합니다.

1. 빠른 설정으로 평가 실행

①평가와 배치

평가는 타겟 모델 1개 버전에 레드티밍을 한 번 실행한 기록입니다. 배치는 같은 시드 셋, 알고리즘, 평가 모델로 여러 버전에 한 번에 실행한 평가의 묶음입니다.

평가 생성에서 버전을 2개 고르면 평가 2개가 배치 하나로 묶여 만들어집니다.
하위 평가 이름은 [Batch 이름]_R1, [Batch 이름]_R2 … 형식으로 정해집니다.
실행하기 전에 시드 관리에서 시드 셋을, 모델 설정에서 기본 모델을 준비해 두면 편합니다.

②실행 방식

평가 생성을 누르면 실행 방식을 고르는 창이 열립니다.

방식	단계	이런 때 씁니다
`빠른 설정`	타겟 모델 → 시드 → 알고리즘 → Review & 평가	전략과 평가 모델을 자동으로 설정해 빠르게 실행합니다.
`고급 설정 (커스텀)`	타겟 모델 → 시드 → 알고리즘 → 평가 모델 → Review & 평가	택소노미, 전략, 알고리즘 파라미터, 평가 모델을 직접 구성합니다.

평가 생성을 쓰려면 생성·평가 모델이 1개 이상 등록되어 있어야 합니다. 방법은 생성·평가 모델 등록에서 설명합니다.

③타겟 모델

E2E Application & Module에서 평가할 대상을 하나 고르고, 버전에서 버전을 하나 이상 고릅니다.

고른 버전 수만큼 평가가 만들어집니다(N runs will be created — one per selected version).
버전을 하나도 고르지 않으면 Select at least one version.이 보이고 다음이 비활성화됩니다.

④시드

시드 셋을 하나 고릅니다. 시드 셋의 도메인이 평가 모델이 쓸 택소노미를 정합니다.

이름으로 검색하거나 도메인으로 걸러 볼 수 있습니다.
생성 중이거나 오류 상태인 시드 셋은 목록에 보이지 않습니다.

⑤알고리즘

알고리즘을 하나 고릅니다. 카드는 싱글턴과 멀티턴으로 묶여 있습니다.

카드 요소	뜻
설명	알고리즘이 공격 프롬프트를 만드는 방식
`★ Best for`	이 알고리즘이 잘 맞는 용도
`성능` · `속도` · `비용`	점 5개로 표시한 상대 특성. 점이 많을수록 높습니다.

⑥Review & 평가

설정을 확인하고 배치 이름을 정해 실행합니다.

배치 이름은 필수입니다. 공백만 넣으면 입력하지 않은 것으로 봅니다.
이미 있는 이름이면 This batch name is already in use. Please enter a unique name.이 보입니다.
아래에 이 배치로 묶일 평가 이름이 버전마다 보입니다.
빠른 설정에서는 이 단계에서 평가 모델을 고릅니다. 처음 값은 모델 설정의 기본 평가 모델입니다.
요약 카드의 Edit →를 누르면 그 단계로 돌아갑니다.

1-1실행 방식 선택
1. Runs 화면 오른쪽 위 New Run을 클릭합니다.
2. Quick Start를 클릭합니다.
직접 구성하려면 Advanced Setup (Custom)을 고릅니다. 실행 방식을 참고하세요.
1-2Target Model
1. E2E Application & Module에서 평가할 대상을 고릅니다.
2. Version에서 평가할 버전을 하나 이상 고릅니다.
3. 만들어질 Run 수를 확인합니다.
4. Next를 클릭합니다.
버전마다 Run이 하나씩 만들어집니다.
1-3Seeds
1. 이름으로 검색하거나 Domain으로 거릅니다.
2. Seed Set을 하나 고릅니다.
3. Next를 클릭합니다.
원하는 Seed Set이 없으면 시드 관리(Seed Management)에서 상태를 확인하세요.
1-4Algorithm
1. 알고리즘 카드를 하나 고릅니다.
2. ★ Best for와 Performance · Speed · Cost를 비교합니다.
3. Next를 클릭합니다.
1-5Review & Run
1. Batch Name을 입력합니다.
2. Judge Model을 확인합니다.
3. 요약을 확인하고, 바꿀 항목은 Edit →로 돌아가 고칩니다.
4. Run Evaluation을 클릭합니다.
실행하면 Runs 목록에 새 Batch가 추가됩니다.

2. Advanced Setup으로 세부 설정

①시드 택소노미

Advanced Setup의 시드 단계에서는 시드 셋을 고르면 그 시드 셋의 택소노미가 태그로 채워집니다. 제외할 택소노미 태그를 해제합니다.

②전략

알고리즘 단계에서 Strategy-based 알고리즘을 고르면 전략 영역이 나타납니다. 카테고리별 전략을 여러 개 고를 수 있습니다.

일부 전략 앞에는 해당 오픈소스 전략의 출처가(Garak, PyRIT, STAR, AutoDAN 등) 작성되어 있습니다.
전략군을 고르면 그 전략군의 전략이 함께 선택됩니다.

고른 알고리즘	전략 영역
`STAR-Teaming`	STAR 출처 전략이 자동으로 선택됩니다. 해제할 수 있습니다.
`AutoDAN-Turbo`	AutoDAN 출처 전략이 자동으로 선택됩니다. 해제할 수 있습니다.
`Single shot`	기본 전략 세트가 선택됩니다. 해제할 수 있습니다.
`PAIR`, `TAP`, `멀티턴` 등	전략 대신 "알고리즘이 전략을 자동으로 결정합니다" 안내가 보입니다.

③설정

알고리즘 단계 아래쪽 설정에서 알고리즘별 값을 정합니다. 알고리즘을 고르면 항상 보입니다.

공격 모델은 공격 질의를 만드는 모델, 점수는 공격 결과를 채점하는 모델입니다.
max_iterations, threshold, max_turn 같은 파라미터는 알고리즘마다 다릅니다. 이름 옆 ⓘ에 설명이 있습니다.
처음 값은 모델 설정의 알고리즘별 기본값입니다.

④평가 모델

평가 모델 단계에서 판정 방식을 정합니다. 빠른 설정에는 없는 단계입니다.

항목	설명
`공격 성공`	항상 켜져 있고 끌 수 없습니다. 안전/Unsafe 판정과 ASR(위험/Total)의 기준입니다.
`Add-on : How bad were the failures?`	위험 행에 `유해도` 열을 더해 심각한 실패부터 추립니다.
`Add-on : Did Safe answers actually refuse?`	안전 행에 `거부` 열을 더해 능동 거절과 우연한 안전을 구분합니다.
`평가 모델`	각 시도를 채점할 모델. 처음 값은 기본 평가 모델입니다.

미리보기 표에 예시 4행(위험 2행, 안전 2행)으로 결과 모양이 보입니다. Add-on을 켜면 열이 바로 추가됩니다.
Advanced Setup의 Review & 평가에는 시드 택소노미, 전략, 평가 모델 요약이 더 보입니다. 평가 모델은 평가 모델 단계에서만 바꿉니다.

2-1Advanced Setup 시작
1. New Run 창에서 Advanced Setup (Custom)을 클릭합니다.
2. 단계가 5개(Judge 포함)인지 확인합니다.
Target Model 단계는 Quick Start와 같습니다.
2-2Seed와 Taxonomy
1. Seed Set을 하나 고릅니다.
2. 채워진 Seed Taxonomy 태그를 확인합니다.
3. 제외할 Taxonomy 태그를 해제합니다.
2-3알고리즘과 전략
1. 알고리즘을 고릅니다.
2. Strategy 영역에서 쓸 전략을 고릅니다.
3. Configuration에서 Attacker, Scorer, 파라미터를 확인합니다.
4. 빨간 안내가 있으면 범위 안의 값으로 고칩니다.
Strategy 영역은 Strategy-based 알고리즘에서만 보입니다. Strategy를 참고하세요.
2-4Judge 설정
1. Attack Success가 켜져 있는지 확인합니다.
2. 필요한 Add-on을 켭니다.
3. Preview 표에서 추가된 열을 확인합니다.
4. Judge Model을 고르고 Next를 클릭합니다.
2-5검토 후 실행
1. Batch Name을 입력합니다.
2. Seed Taxonomy, Strategy, Judge 요약을 확인합니다.
3. Run Evaluation을 클릭합니다.

3. 평가 목록 확인

①목록 구성

평가 이력 화면에서는 배치 행 아래에 하위 평가 행이 들여 써서 나열됩니다. 배치 행의 ASR은 하위 평가의 ASR을 모아 보여 줍니다. 평가와 배치의 뜻은 평가와 배치에 있습니다.

열	설명
`배치 · 평가`	배치 이름과 하위 평가 이름. 실행 중이면 진행률과 ETA가 함께 보입니다.
`모듈`	평가 대상 모듈 (`애플리케이션`, `RAG`, `Retriever` 등)
`타겟`	평가 대상 모델과 버전
`알고리즘`	사용한 공격 알고리즘
`시드`	사용한 시드 셋
`ASR`	공격 성공률(위험 / 전체 응답)
`Elapsed · Cost`	걸린 시간과 비용
`시작일`	실행 시작일

②목록 필터

목록 위쪽 필터로 조회할 평가를 좁힙니다. 여러 항목을 고르면 필터 칸에 쉼표(,)로 나열됩니다.

필터	선택 방식	설명
`배치`	여러 개	평가가 실제로 실행된 배치만 보입니다. 배치 이름을 바꾸면 바로 반영됩니다.
`타겟`	여러 개	모듈별로 묶여 보입니다.
`알고리즘`	여러 개	평가에 실제로 쓴 알고리즘만 보입니다.
`시드`	여러 개	평가에 실제로 쓴 시드 셋만 보입니다.
`상태`	하나 또는 여러 개	`진행 중` / `완료`
`ASR ≥`	하한값	▲▼로 1씩 바꾸거나 직접 입력합니다.

필터를 하나 이상 고르면 리셋(↺) 버튼이 나타납니다. 누르면 필터가 모두 지워집니다.

③평가 상태

평가 상태에 따라 목록에서 할 수 있는 일이 다릅니다.

구분	실행 중(`실행 중`, `설정 필요`)	완료(`완료`)
체크박스 선택	불가	가능
평가 · 배치 이름 수정	불가	가능(✎ 아이콘)
`ASR`, `Elapsed · Cost`	`—`로 표시	값 표시
오른쪽 버튼	`실행 중지`	`Compare Runs →`

오류가 난 평가는 오른쪽에 오류 개수(예: 3 error)가 표시됩니다.

3-1Runs 열기
1. 왼쪽 메뉴 Red Teaming 아래 Runs를 클릭합니다.
2. Batch 행과 그 아래 Run 행을 확인합니다. 열 뜻은 목록 구성에 있습니다.
3-2필터로 찾기
1. 위쪽 필터에서 조건을 고릅니다(예: Status에서 Completed).
2. ASR 하한이 필요하면 ASR ≥ 칸에 값을 넣습니다.
3. 필터를 모두 지우려면 리셋(↺)을 클릭합니다.
필터별 선택 방식은 목록 필터를 참고하세요.

4. 평가 관리

①평가 정지

실행 중인 평가는 실행 중지로 멈춥니다.

배치 행에서 누르면 그 배치에서 실행 중인 모든 평가가 멈춥니다.
평가 행에서 누르면 그 평가만 멈춥니다.

멈춘 평가와 배치는 다시 시작할 수 없습니다. 다시 실행하려면 평가 생성을 새로 만듭니다.

②배치 이름

완료된 배치는 이름 옆 ✎ 아이콘으로 이름을 바꿉니다.

다른 배치와 같은 이름은 쓸 수 없습니다.
배치 이름을 바꾸면 하위 평가 이름도 [새 이름]_R1 형식으로 함께 바뀝니다.

③비교와 삭제

완료된 평가의 체크박스를 고르면 위쪽에 버튼이 나타납니다.

버튼	하는 일
`Compare {N} runs`	고른 평가를 대시보드에서 비교합니다.
`Delete {N} runs`	확인 창을 거쳐 고른 평가를 삭제합니다.
배치 행의 `Compare Runs →`	그 배치의 평가 전체를 대시보드에서 비교합니다.

아무것도 고르지 않으면 비교하거나 삭제할 평가를 선택하세요. 문구만 보입니다.

4-1Run 정지
1. 실행 중인 Run 행에서 Stop Running을 클릭합니다.
2. 확인 창에서 Stop을 클릭합니다.
멈춘 Run은 다시 시작할 수 없습니다. Run 정지를 참고하세요.
4-2Batch 이름 수정
1. 완료된 Batch 이름 옆 ✎를 클릭합니다.
2. 새 이름을 입력합니다.
3. Save를 클릭합니다.
다른 Batch와 같은 이름은 쓸 수 없습니다.
4-3Run 비교·삭제
1. 비교하거나 삭제할 Run의 체크박스를 고릅니다.
2. 비교하려면 Compare {N} runs를 클릭합니다.
3. 삭제하려면 Delete {N} runs를 클릭하고 확인 창에서 Delete를 누릅니다.
4. Batch 전체를 비교하려면 Batch 행의 Compare Runs →를 클릭합니다.
비교 화면은 대시보드 문서에서 설명합니다.

5. 평가 결과 확인

①평가실행 상세 요약

평가 행을 클릭하면 평가실행 상세가 열립니다. 위쪽 문구에 [Algorithm] attacking [Target] on [Seed]와 끝난 시각(또는 예상 종료 시각)이 보입니다.

카드	표시 내용
`ASR`	위험 수 / 전체 응답 수. 오류가 난 시도는 빼고 셉니다(errored attempts excluded).
`커버리지`	완료된 시도 수 / 전체, 다룬 택소노미 수와 전략 수
`오류`	judge error 수, target timeout 수
`리소스`	걸린 시간, 비용, 시도당 시간

평가 상태에 따라 화면이 다릅니다.

구분	실행 중	일시 중지 / 완료
위쪽 문구	`expected to finish at {ETA}`, 진행률 막대	완료: `finished at {시각}` / 일시 중지: `stopped at {진행률}`
`실행 중지` 버튼	보임	보이지 않음
`내보내기`, `리포트 생성 (PDF)`, 삭제	비활성	활성

②결과 테이블

결과 테이블의 한 행이 공격 시도 하나입니다. 모든 열을 정렬할 수 있습니다.

열	설명
`ID`	시도 번호
`시드`	공격에 쓴 시드
`결과`	`안전` / `위험` 판정
`택소노미`	시드의 Risk 택소노미
`Attack Prompt`	공격 모델이 만든 공격 질의
`답변`	타겟 모델의 응답
`전략`	적용한 전략
`회차`	반복 횟수

아직 실행하지 않은 시드 행은 흐린 글씨로 보이고 나머지 칸은 비어 있습니다. 판정 전 행은 클릭해도 상세가 열리지 않습니다.
평가 생성의 평가 모델 단계에서 Add-on을 켜면 유해도(위험 행)와 거부(안전 행) 열이 추가됩니다. 해당하지 않는 행은 —로 보입니다.

③데이터 상세

행을 클릭하면 오른쪽에 데이터 상세 패널이 열립니다.

위쪽에 시드, 결과, 택소노미가 보입니다.
회차 이력에 반복별 결과가 최신 회차부터 나열됩니다. 항목마다 회차 번호, 전략, 결과가 보입니다.
항목을 펼치면 Attacker 질문과 {Target} 응답이 쌍으로 보입니다. 멀티턴이면 여러 쌍이 이어집니다.

④내보내기

일시 중지 또는 완료 상태의 평가를 CSV 파일로 내려받습니다. 결과가 나온 행만 내보냅니다.

옵션	싱글턴	멀티턴
`Last iteration only`	시드 1개가 1행. 마지막 회차의 공격 프롬프트 / 응답을 별도 열에 씁니다.	마지막 회차의 전체 대화를 씁니다.
`All iterations`	모든 회차의 공격 프롬프트 / 응답을 각각 한 행에 씁니다.	모든 회차의 전체 대화를 각각 한 행에 씁니다.

5-1Run Detail 열기
1. Run 행을 클릭합니다.
2. 위쪽 문구에서 Algorithm, Target, Seed와 종료 시각을 확인합니다.
3. 요약 카드에서 ASR, Coverage, Error, Resource를 확인합니다. 뜻은 Run Detail 요약에 있습니다.
5-2실행 중인 Run 멈추기
1. 진행률 막대와 ETA를 확인합니다.
2. Stop Running을 클릭합니다.
3. 확인 창에서 Pause를 클릭합니다.
멈춘 Run은 다시 시작하거나 이어서 실행할 수 없습니다.
5-3시도 상세 보기
1. 결과 테이블에서 행을 클릭합니다.
2. Data Detail 위쪽에서 Seed, Result, Taxonomy를 확인합니다.
3. Iteration History에서 Iter를 펼쳐 공격 질의와 응답을 봅니다.
4. 패널을 닫으려면 ✕를 클릭합니다.
판정 전 행은 상세가 열리지 않습니다.
5-4결과 내보내기
1. Export를 클릭합니다.
2. Export 옵션을 고릅니다.
3. Export를 클릭해 CSV 파일을 내려받습니다.
실행 중인 Run은 내보낼 수 없습니다.

자주 묻는 질문

타겟 모델 단계에서 다음이 왜 눌리지 않나요?버전을 하나도 고르지 않았기 때문이에요.

원인: 평가는 버전마다 만들어져서 버전이 하나 이상 필요해요. 이때 Select at least one version.이 보여요.
해결 방법: 버전에서 버전을 하나 이상 골라 주세요.

원하는 시드 셋이 목록에 없으면 어떻게 하나요?시드 관리에서 시드 셋 상태를 확인해 보세요. 생성 중이거나 오류 상태인 시드 셋은 목록에 보이지 않아요.

원인: 시드 단계에는 바로 쓸 수 있는 시드 셋만 보여요.
해결 방법: 시드 관리에서 상태를 확인해 주세요. 시드 관리를 참고하세요.

왜 This batch name is already in use.가 뜨나요?이미 있는 배치 이름이기 때문이에요.

원인: 배치 이름은 다른 배치와 겹칠 수 없어요. 이름이 겹치면 평가 실행도 눌리지 않아요.
해결 방법: 다른 이름을 입력해 주세요.

전략 영역이 왜 보이지 않나요?전략을 자동으로 정하는 알고리즘을 골랐기 때문이에요.

원인: 전략 영역은 Single shot, STAR-Teaming, AutoDAN-Turbo처럼 Strategy-based 알고리즘에서만 보여요.
해결 방법: 전략을 직접 고르려면 Strategy-based 알고리즘을 골라 주세요. 빠른 설정에서는 전략 영역이 없어요.

설정 입력칸 아래에 왜 빨간 글씨가 보이나요?입력값이 허용 범위를 벗어났기 때문이에요.

원인: 파라미터마다 최댓값 같은 범위가 정해져 있어요.
해결 방법: 안내 문구(예: Max: 150)에 맞게 값을 고쳐 주세요.

멈춘 평가를 다시 시작할 수 있나요?아니요, 멈추거나 일시정지한 평가는 다시 시작할 수 없어요.

원인: 실행 중지와 일시 중지는 평가를 끝낸 상태로 만들어요.
해결 방법: 같은 설정으로 평가 생성을 새로 만들어 주세요.

왜 체크박스를 고를 수 없고 배치 이름도 바꿀 수 없나요?아직 실행 중인 평가이기 때문이에요.

원인: 실행 중, 설정 필요 상태의 평가와 배치는 선택하거나 이름을 바꿀 수 없어요.
해결 방법: 평가가 끝난 뒤 다시 시도해 주세요. 평가 상태를 참고하세요.

평가실행 상세에서 내보내기가 왜 눌리지 않나요?평가가 실행 중이기 때문이에요.

원인: 내보내기, 리포트, 삭제는 평가가 일시 중지 또는 완료 상태일 때만 쓸 수 있어요.
해결 방법: 평가가 끝나거나 멈춘 뒤 사용해 주세요.