대시보드

완료된 레드티밍 평가(Run) 결과를 평가 요약(Summary) 카드, 택소노미·전략(Strategy) 히트맵, 샘플 직접 비교로 분석합니다.

1. 대시보드 열기와 저장

①대시보드에 보이는 평가

대시보드는 완료된 평가의 결과를 나란히 비교합니다. 처음 열면 현재 배치에 가장 최근 배치가 보입니다.

항목	규칙
`도메인`	한 화면에는 도메인 하나만 보입니다. 대시보드는 도메인별로 나뉩니다.
`평가실행`	그 도메인에 속한 평가만 고를 수 있습니다.
평가 개수	최대 6개까지 고릅니다. 평가 이력 화면의 비교로 6개를 넘게 가져오면 목록 위쪽 6개가 선택됩니다.

오류가 난 평가는 대시보드에 보이지 않습니다. 오류가 난 시드도 결과에 나타나지 않습니다.

②저장한 대시보드

대시보드 저장을 누르면 현재 도메인과 평가 선택을 왼쪽 Dashboards 목록에 새 탭으로 저장합니다.

저장한 대시보드는 자주 보는 화면으로 빨리 돌아오는 북마크입니다. 특정 시점의 결과를 고정하지 않습니다.
저장한 대시보드 안에서도 평가나 도메인을 수정하거나 삭제할 수도 있습니다.

1-1대시보드 열기
1. 왼쪽 메뉴 Red Teaming 아래 Dashboard를 클릭합니다.
2. Current Batch에 가장 최근 Batch가 보이는지 확인합니다.
3. Domain을 고릅니다.
4. Run에서 비교할 Run을 최대 6개까지 고릅니다.
고를 수 있는 Run 규칙은 대시보드에 보이는 Run에 있습니다.
1-2대시보드 저장
1. 오른쪽 위 Save Dashboard를 클릭합니다.
2. Dashboard Page Name을 입력합니다.
3. Complete를 클릭합니다.
4. 왼쪽 Dashboards 목록에 추가된 탭을 확인합니다.
저장한 대시보드는 결과를 고정하지 않는 북마크입니다.

2. 평가 요약 카드 확인

①평가 요약 카드

고른 평가마다 카드 하나가 보입니다. 카드는 최대 6개이며, 평가 수에 따라 배치가 달라집니다.

항목	설명
ASR	소수점 둘째 자리까지 보입니다. 값에 따라 색이 다르며, 색 구간은 히트맵과 같습니다.
`위험`	위험으로 판정된 시도 수
평가 이름	평가 제목
`Config`	알고리즘, 시드 셋 등 실행 설정
`타겟`	평가 대상 모델과 버전
`리소스`	걸린 시간과 비용

2-1카드 읽기
1. Run마다 카드가 하나씩 있는지 확인합니다.
2. 카드에서 ASR, Unsafe 수, 실행 설정, 비용을 확인합니다. 항목은 Run Summary 카드에 있습니다.

3. 히트맵 분석

①히트맵 읽기

히트맵은 어느 택소노미와 전략에서 공격이 성공했는지 평가별로 보여 줍니다.

히트맵	행	열
`Taxonomy Heatmap`	택소노미	평가
`Strategy Heatmap`	전략	평가
`Strategy × Taxonomy`	전략	택소노미

셀은 [ASR] (Unsafe/Total) 형식입니다. 셀 색은 ASR 값에 따라 정해지며, 높을수록 빨간색에 가깝습니다.
택소노미는 위쪽 5개만 먼저 보입니다. 모두 보려면 View {n} Taxonomy를 클릭합니다.
셀을 클릭하면 그 조건이 아래 샘플 직접 비교 필터에 들어갑니다.
Strategy × Taxonomy는 특정 택소노미에서 어떤 전략이 가장 효과적이었는지 보여 줍니다.

②`-` 셀

고른 평가 사이에 겹치지 않는 택소노미나 전략은 -로 보입니다. 히트맵 위쪽 "-" 표시란?을 누르면 설명 창이 열립니다.

3-1Taxonomy·Strategy 히트맵
1. Taxonomy Heatmap에서 Run별 공격 성공률을 확인합니다.
2. 셀에서 [ASR] (Unsafe/Total) 값을 읽습니다.
3. - 셀은 고른 Run 사이에 겹치지 않는 항목입니다.
4. Taxonomy를 모두 보려면 View {n} Taxonomy를 클릭합니다.
5. Strategy Heatmap도 같은 방법으로 읽습니다.
셀 표기와 -의 뜻은 히트맵 읽기에 있습니다.
3-2Strategy × Taxonomy
1. Strategy × Taxonomy에서 Taxonomy별로 효과가 컸던 Strategy를 찾습니다.
2. 자세히 볼 셀을 클릭합니다.
셀을 클릭하면 Sample 직접 비교로 이어집니다.

4. 샘플 직접 비교

①비교 방식

같은 시드에 각 평가가 어떻게 응답했는지 나란히 비교합니다. 실행 설정에 따라 같은 질의의 결과가 어떻게 다른지 볼 때 씁니다.

택소노미와 전략 필터의 기본값은 전체입니다. 고른 평가에 실제로 있는 값만 옵션으로 보입니다.
히트맵 셀을 클릭했다면 그 셀의 조건이 필터에 자동으로 들어갑니다.
왼쪽 시드 목록에는 필터 조건에 맞는 시드만 보입니다. 처음에는 첫 번째 시드가 선택되어 있고, 목록 안에서 검색할 수 있습니다.
회차를 여러 번 실행했다면 마지막 회차만 보입니다.

4-1Seed별 응답 비교
1. Taxonomy와 Strategy 필터를 고릅니다.
2. 왼쪽 목록에서 Seed를 하나 고릅니다.
3. 오른쪽에서 Run별 판정, 공격 질의, 응답을 비교합니다.
Iteration이 여러 번이면 마지막 Iteration만 보입니다.

자주 묻는 질문

비교하려는 평가를 왜 고를 수 없나요?현재 대시보드와 다른 도메인의 평가이기 때문이에요.

원인: 대시보드는 도메인별로 나뉘고, 같은 도메인의 평가만 고를 수 있어요.
해결 방법: 도메인을 그 평가의 도메인으로 바꿔 주세요.

비교로 가져온 평가 중 왜 일부만 보이나요?대시보드에는 평가를 최대 6개까지 보여 주기 때문이에요.

원인: 6개를 넘게 가져오면 목록 위쪽 6개만 선택돼요.
해결 방법: 비교할 평가를 6개 이하로 골라 주세요.

오류가 난 평가는 왜 대시보드에 없나요?결과가 온전하지 않은 평가는 비교에서 빠지기 때문이에요.

원인: 결과가 온전하지 않은 평가는 비교에서 빠져요. 오류가 난 시드도 마찬가지예요.
해결 방법: 평가 이력 화면에서 평가실행 상세를 열어 확인해 주세요.

히트맵 셀에 왜 -가 보이나요?고른 평가 사이에 겹치지 않는 항목이기 때문이에요.

원인: 한 평가에만 있는 택소노미나 전략은 다른 평가와 비교할 수 없어요.
해결 방법: 히트맵 위쪽 "-" 표시란?에서 설명을 확인해 주세요.

택소노미가 왜 5개만 보이나요?위쪽 5개만 먼저 보여 주기 때문이에요.

원인: 택소노미가 많을 때 화면을 짧게 유지하려고 접어 둬요.
해결 방법: View {n} Taxonomy를 클릭해 주세요.

저장한 대시보드의 결과가 왜 바뀌나요?저장한 대시보드는 북마크이기 때문이에요.

원인: 저장할 때 결과를 고정하지 않고, 열 때마다 최신 결과를 보여 줘요.
해결 방법: 특정 시점 결과가 필요하면 평가실행 상세에서 내보내기로 내려받아 주세요.