평가 리포트

평가 리포트(Run Report)에서 출시 판정, 판정 그룹별 분석, 버전 비교 결과를 확인합니다.

1. 평가 리포트 열기

①평가 리포트 구성

평가 리포트는 평가가 끝나면 자동으로 만들어지는 결과 리포트입니다. 출시 기준 기준으로 출시해도 되는지 판정합니다. 출시 기준은 평가체계마다 정하는 판정 기준입니다. 차트를 따로 만들지 않아도 됩니다.

리포트 화면은 위에서부터 세 부분으로 나뉩니다.

영역	보여 주는 것
머리글	어떤 평가를 어떤 기준으로 평가했는지. `평가실행 상세`, `평가체계 상세`, `공유` `평가실행 상세`에서 사용량(비용·토큰)도 봅니다.
`결과 요약`	버전마다 판정 그룹 카드의 `기준 통과`·`기준 미달`
`사용량` 탭	이 평가에 든 비용, 토큰, 시간. 사용량 확인에 있습니다.
판정 그룹 탭	그룹별 버전 비교와 실패 원인 분석

평가에 평가지표를 추가하면 리포트를 다시 만듭니다. 이때 상태는 평가실행 업데이트 중, 리포트 업데이트 중입니다.
다시 만드는 동안에도 기존 리포트를 볼 수 있습니다.
출시 기준 설정은 평가체계 관리에서 설명합니다.

1-1Run Report 열기
1. 왼쪽 메뉴에서 Evaluation Dashboard를 클릭합니다.
2. Default Page의 Run Report가 열립니다. 화면 구성은 Run Report 구성을 참고하세요.
- Run이 끝나면 Report가 자동으로 만들어집니다.
- Run이 진행 중이면 Report가 없습니다.

2. 평가와 기준 확인

①판정 그룹

판정 그룹은 리포트가 기준 통과·기준 미달을 따로 판정하는 단위입니다. 평가체계의 평가 영역과 모듈이 각각 그룹이 됩니다.

판정 그룹	평가 대상	결과 구조	기본 실패율
`종합 성능`	애플리케이션	Sub Group › 태스크 › 평가지표	10%
`Policy & UX`	애플리케이션	Sub Group › 태스크 › 평가지표	5%
`안전성`	애플리케이션	Sub Group › 태스크 › 평가지표	2%
`모듈 성능`	모듈	태스크 › 평가지표	10%

애플리케이션 그룹 카드는 애플리케이션 버전마다 한 줄씩 나옵니다.
모듈 카드는 모듈 버전마다 한 장씩 나옵니다(예: RAG BM25, RAG Hybrid).
평가에 없는 그룹은 카드와 탭이 나오지 않습니다.

②판정 기준

용어	뜻	기본값
케이스	벤치마크 데이터 1건을 평가지표 하나로 채점한 결과	-
`개별 데이터 판정 점수`	케이스를 맞았다고 보는 최소 점수. 점수가 이보다 낮으면 `오답`입니다.	0.5
실패율	평가지표의 채점 케이스 가운데 `오답` 케이스의 비율	-
`실패율`	평가지표마다 정한 허용 실패율. 실패율이 이 값을 넘으면 그 평가지표는 기준 미달입니다.	판정 그룹마다 다름

평가체계 화면의 출시 기준에서는 이름이 다릅니다.
- 개별 데이터 판정 점수는 판정 점수로 설정합니다. 0.0~1.0 사이 값입니다.
- 실패율은 Failure rate로 설정합니다. 0~100(%) 사이 값입니다.
오답 케이스는 평가지표별 실패 현황에서 볼 수 있습니다. 점수가 낮은 순으로 나옵니다.

③기준 시점

리포트의 값은 만든 시점의 값으로 고정됩니다. 나중에 설정을 바꿔도 이미 만든 리포트는 바뀌지 않습니다.

값	고정되는 시점
애플리케이션, 태스크, 평가지표, 벤치마크셋	평가를 시작한 시점
`개별 데이터 판정 점수`, `실패율`	리포트 생성을 시작한 시점

바꾼 기준은 다음 평가의 리포트부터 반영됩니다.
실행 시간은 평가를 실행한 시간입니다. 리포트를 만든 시간이 아닙니다.

2-1Run 전환
1. 제목 Run #142 ⌄를 클릭합니다.
2. 볼 Run 행을 클릭합니다.
진행 중이거나 Report가 없는 Run은 흐리게 보이며 고를 수 없습니다.
2-2평가 정보 확인
1. Run Detail에서 Task·Metric·데이터 수를 확인합니다.
2. 평가한 Application과 Module 버전을 확인합니다.
- Report의 값은 Run과 Report를 만든 시점의 값입니다.
- 현재 설정과 다를 수 있습니다. 기준 시점을 참고하세요.
2-3판정 기준 확인
1. Criteria Detail 옆 Criteria 이름을 클릭합니다.
2. Metric별 Fail Threshold를 확인합니다. 용어는 판정 기준에서 설명합니다.
Run에서 고른 Metric만 나타납니다.
2-4Report 공유
1. Share를 클릭하면 Report 링크가 복사됩니다.
지금 보고 있는 Run의 Report가 공유됩니다.

3. 출시 판정 확인

①판정 순서

판정은 평가지표 단위로 합니다. 그룹 카드의 결과는 그 안의 평가지표 판정을 모은 것입니다.

케이스 판정: 점수가 개별 데이터 판정 점수보다 낮으면 오답입니다.
평가지표 판정: 실패율이 실패율을 넘으면 그 평가지표는 기준 미달입니다.
그룹 판정: 평가지표가 모두 기준 통과면 카드는 기준 통과입니다. 하나라도 기준 미달이면 카드는 기준 미달입니다.

예를 들어 실패율이 10%인 평가지표가 있습니다. 데이터 80건 중 4건이 오답면 실패율은 5%이고 기준 통과입니다. 10건이 오답면 실패율은 12.5%이고 기준 미달입니다.

일부 케이스가 에러이면 그 케이스만 빼고 실패율을 계산합니다.
모든 케이스가 에러인 평가지표는 판정에서 뺍니다.
카드의 큰 %는 그룹 전체 실패율입니다. 참고용 요약값이라 판정 근거가 아닙니다.

3-1판정 결과 보기
1. Conclusion Summary 탭을 클릭합니다.
2. 버전별 그룹 카드에서 Pass와 Fail을 확인합니다. 그룹은 판정 그룹을 참고하세요.
- Metric이 하나라도 Fail이면 카드는 Fail입니다.
- 계산 방법은 판정 순서에서 예시와 함께 설명합니다.
3-2Fail 원인 찾기
1. Fail 카드의 N metrics not met를 클릭합니다.
2. 기준을 넘은 Metric과 실패율을 확인합니다.
3. % 옆 ⓘ에 마우스를 올리면 판정 이유가 나옵니다.
카드의 %는 참고용 요약값입니다. 판정 근거가 아닙니다.

4. 버전 비교

①버전 비교

버전 비교는 같은 애플리케이션이나 모듈의 두 버전을 1:1로 비교합니다. 같은 벤치마크 데이터에서 두 버전의 판정이 어떻게 갈렸는지 보여 줍니다. 새 버전으로 바꿔도 되는지 판단할 때 씁니다.

왼쪽이 기준 A 버전, 오른쪽이 비교 대상 B 버전입니다.
케이스는 두 버전의 판정에 따라 네 칸으로 나뉩니다. 칸 이름에는 버전 이름이 들어갑니다.

칸	뜻	읽는 법
A만 `정답`	A는 맞히고 B는 틀린 케이스	B로 바꾸면 잃는 것
B만 `정답`	B는 맞히고 A는 틀린 케이스	B로 바꾸면 얻는 것
`Both Version Correct`	두 버전 모두 맞힌 케이스	두 버전 모두 문제없음
`Both Version Incorrect`	두 버전 모두 틀린 케이스	버전을 바꿔도 남는 실패

두 버전의 판정이 다른 케이스를 Conflicting 케이스라고 부릅니다.
평가지표별 비교에서 앞선 버전은 실패율이 더 낮은 버전입니다. 실패율이 같으면 동점으로 나옵니다.
세 버전 이상을 한 번에 비교할 수는 없습니다. A를 고정하고 B만 바꿔 가며 봅니다.

4-1비교할 버전 선택
1. General Performance 같은 그룹 탭을 클릭합니다.
2. 왼쪽에서 기준이 되는 A 버전을 고릅니다.
3. 오른쪽에서 비교할 B 버전을 고릅니다.
4. A와 B를 바꾸려면 Swap versions를 클릭합니다.
- 한쪽에서 고른 버전은 반대편에서 고를 수 없습니다.
- 지금 쓰는 버전을 A, 바꿀 버전을 B로 두면 읽기 쉽습니다.
- 처음이라면 버전 비교를 먼저 읽어 보세요.
4-2판정이 갈린 케이스 확인
1. 왼쪽 칸에서 Case별 건수를 확인합니다.
2. 볼 Case 칸을 클릭합니다.
3. Metric Distribution에서 실패가 몰린 Metric을 봅니다.
4. 케이스 카드에서 두 버전의 점수와 차이를 확인합니다.
5. View all을 클릭하면 Filtered Result 창에 모두 나옵니다.
- Both Version Incorrect를 먼저 확인합니다. 버전을 바꿔도 남는 실패입니다.
- 점수 차이는 A − B입니다. 양수면 A 점수가 더 높습니다.
4-3Metric별 비교
1. 카드 머리글에서 앞선 버전과 이긴 케이스 수를 봅니다.
2. 버전 행에서 두 버전의 Pass·Fail을 비교합니다.
3. 막대에서 실패율과 Fail Threshold 선을 확인합니다.
4. Reference Comparison에서 전체 버전 중 순위를 봅니다.
버전 행은 A·B 순서가 아니라 실패율이 낮은 순입니다.

5. 실패 원인 분석

①실패 분석 영역

판정 그룹 탭 아래쪽 Version Detail에서 실패가 어디에 몰렸는지 봅니다.

영역	묶는 기준	대상	나타나는 조건
`쿼리 클러스터`	비슷한 질문끼리 묶은 질문 유형	맞은 질문과 틀린 질문 모두	LLM-as-a-judge 평가를 했을 때
`점수 사유 클러스터`	비슷한 실패 사유끼리 묶은 사유	`오답` 케이스만	위 조건에 더해 `오답` 케이스가 있을 때
`메타데이터별 오답률`	메타데이터 키의 값	`오답` 데이터	조건에 맞는 키가 있을 때

실패 사유는 평가지표가 점수와 함께 남긴 판정 근거(점수 사유)입니다.
두 클러스터는 평가에서 가장 많이 쓴 평가 모델이 만듭니다.
클러스터 이름과 설명을 만드는 데 쓴 토큰은 Trial 토큰 사용량에 포함됩니다.
메타데이터는 벤치마크셋의 부가 정보 열입니다(예: 난이도, 채널).

5-1질문 유형별 실패
1. Version Detail에서 볼 버전을 고릅니다.
2. Query Cluster에서 질문 유형별 수를 비교합니다. 실패 분석 영역을 참고하세요.
3. Incorrect Rate By Query Cluster에서 실패율 높은 유형을 봅니다.
4. 박스나 카드를 클릭하면 Filtered Result 창이 열립니다.
- 박스 크기는 질문 수입니다. 맞은 질문과 틀린 질문을 모두 셉니다.
- LLM-as-a-judge 평가를 했을 때만 나타납니다.
5-2실패 사유 확인
1. Score Reason Cluster에서 사유별 실패 수를 비교합니다.
2. Fail Reason Breakdown에서 사유별 Metric 비중을 봅니다.
틀린 케이스만 사유별로 묶어 보여 줍니다.
5-3Metadata별 실패율
1. Metadata Incorrect Rate에서 Key 탭을 고릅니다.
2. 값별 실패율을 확인합니다.
값 종류가 10개를 넘으면 많이 틀린 10개만 나옵니다.
5-4Metric별 실패 케이스
1. Sub Group을 펼칩니다.
2. Metric 카드 오른쪽 화살표를 눌러 카드를 펼칩니다.
3. View Detail을 클릭해 실패 케이스를 모두 봅니다.
대표 실패 케이스는 점수가 낮은 순으로 나옵니다.
5-5Module 분석
1. Module Performance 탭을 클릭합니다.
2. Select Module을 클릭합니다.
3. 볼 Module을 고릅니다.
- Module을 바꾸면 버전 선택이 기본값으로 돌아갑니다.
- Module에는 Sub Group이 없어 Task 아래에 바로 Metric이 나옵니다.

6. 사용량 확인

평가 한 번에 비용, 토큰, 시간(지연 시간)이 얼마나 들었는지 확인합니다. 비용을 보려면 버전마다 토큰 경로와 단가를 설정해 둬야 합니다. 방법은 애플리케이션 API 연동에 있습니다.

①사용량 보기

간단히 보기: 머리글 평가실행 상세에서 평가 모델과 버전별 비용, 토큰 수를 봅니다.
자세히 보기: 사용량 탭에서 봅니다.

`사용량` 탭 영역	보여 주는 것
`사용량 순위`	비용(또는 토큰, 시간)이 큰 버전 순서
`벤치마크 행별 분포`	데이터 한 행마다 든 비용이나 시간의 분포. 주황색은 평균보다 훨씬 큰 행입니다.
`사용량 상세`	버전별 토큰, 비용, 시간 합계와 행당 평균
`App & Module Total`	전체 합계
`평가 모델 사용량` / `평가 모델 합계`	채점에 쓴 평가 모델의 사용량

②사용량이 안 보일 때

화면에 보이는 것	이유	할 일
`설정 필요`	이 버전의 단가를 아직 설정하지 않았습니다.	어드민이 `사용량 계산 설정`으로 설정합니다.
`기록 없음`	사용량 기록 기능이 생기기 전에 실행한 평가입니다.	사용량을 보려면 평가를 새로 실행합니다.
`사용량을 계산하지 못했습니다.`	토큰 경로가 응답과 맞지 않습니다.	`사용량 계산 설정`에서 경로를 고칩니다.

위 버전은 합계에서 빠집니다. 빠진 개수는 App & Module Total 아래 Excludes …에 나옵니다.
모든 버전이 설정 필요가면 SAMPLE이라고 표시된 실제 데이터가 아닌, 예시 막대가 나옵니다.

③사용량 설정

평가 리포트에서 바로 설정할 수 있습니다. 어드민만 할 수 있고, 다른 사용자에게는 설정하려면 관리자에게 문의하세요.이 보입니다.

평가실행 상세에서 설정 필요 버전에 마우스를 올리고 사용량 계산 설정을 클릭
입력 토큰, 출력 토큰에 토큰 경로를 작성 (응답에서 선택으로 선택도 가능)
100만 토큰당 입력·출력 가격을 작성
설정할 버전이 더 있으면 다음, 마지막이면 저장을 클릭

저장하면 이 평가의 사용량이 새 설정으로 다시 계산됩니다. 같은 설정은 버전에 저장되어 다음 평가에도 쓰입니다.

설정 필요 ($)로 나오는 버전은 토큰 수가 이미 기록되어 있습니다. 가격 2개만 넣으면 됩니다.

자주 묻는 질문

평가 리포트가 왜 보이지 않나요?평가가 진행 중이거나, 리포트를 만들 수 없는 평가이기 때문이에요.

원인: 리포트는 평가가 끝나야 만들어져요. 평가의 모든 평가지표가 에러이면 만들어지지 않아요. 평가 리포트 기능이 나오기 전에 끝난 평가에도 없어요.
해결 방법: 평가가 끝날 때까지 기다려 주세요. 모든 평가지표가 에러라면 평가를 재시도해 주세요. 재시도하면 이전 리포트는 남지 않고 새 리포트로 바뀌어요.

리포트 생성에 실패하면 어떻게 하나요?평가 전환 메뉴에서 Report Failed 행의 재시도를 눌러 보세요.

원인: 리포트를 만들다 오류가 나면 Report Failed로 표시돼요. 이 평가는 고를 수 없어요.
해결 방법: Report Failed 행의 재시도를 눌러 주세요. 다 만들어지면 리포트 완료로 바뀌어요.

카드의 %는 기준 이하인데 왜 기준 미달인가요?판정은 카드의 %가 아니라 평가지표 단위로 하기 때문이에요.

원인: 카드의 %는 그룹 전체를 요약한 참고값이에요. 평가지표 하나라도 자기 실패율을 넘으면 카드는 기준 미달이에요.
해결 방법: N metrics not met를 펼쳐 기준을 넘은 평가지표를 확인해 주세요. 판정 방법은 판정 순서를 참고해 주세요.

리포트의 값이 왜 지금 설정과 다른가요?리포트는 만든 시점의 값을 보여 주기 때문이에요.

원인: 애플리케이션·태스크·평가지표·데이터는 평가 시작 시점 값이에요. 판정 기준은 리포트 생성을 시작한 시점 값이에요.
해결 방법: 정상이에요. 현재 설정은 평가체계 화면에서 확인해 주세요. 바꾼 기준은 다음 평가부터 반영돼요. 기준 시점을 참고해 주세요.

쿼리 클러스터나 점수 사유 클러스터가 왜 없나요?LLM-as-a-judge 평가를 했을 때만 만들어지기 때문이에요.

원인: rule-based 평가만 했거나 평가 모델에 LLM이 없으면 만들어지지 않아요. 틀린 케이스가 없으면 점수 사유 클러스터만 빠져요.
해결 방법: 평가체계에 LLM-as-a-judge 평가를 넣어 평가를 실행해 주세요.

메타데이터 실패율 영역이 왜 보이지 않나요?조건에 맞는 메타데이터 키가 없기 때문이에요.

원인: 키별로 틀린 데이터를 값마다 묶었을 때, 5건 이상인 묶음이 2개 이상이어야 나타나요.
해결 방법: 정상이에요. 조건에 맞는 키가 있을 때만 나타나요.

버전 사용량이 왜 기록 없음으로 나오나요?사용량 기록 기능이 생기기 전에 실행한 평가이기 때문이에요.

원인: 그때는 사용량이 저장되지 않아서 나중에 설정해도 볼 수 없어요.
해결 방법: 사용량을 보려면 평가를 새로 실행해 주세요.

총 비용이 왜 실제보다 낮아 보이나요?합계에서 빠진 버전이 있기 때문이에요.

원인: 단가를 설정하지 않았거나 기록이 없는 버전은 합계에 들어가지 않아요.
해결 방법: App & Module Total 아래 Excludes …에서 빠진 개수를 확인하고, 어드민이 사용량 계산 설정으로 설정해 주세요.

왜 사용량을 계산하지 못했습니다.가 나오나요?토큰 경로가 응답과 맞지 않기 때문이에요.

원인: 저장한 경로로 응답에서 토큰 수를 찾지 못했어요.
해결 방법: 사용량 계산 설정에서 응답에서 선택으로 경로를 다시 골라 저장해 주세요.

사용량 계산 설정이 왜 보이지 않나요?어드민만 설정할 수 있기 때문이에요.

원인: 다른 사용자에게는 설정하려면 관리자에게 문의하세요.이 보여요. 기록 없음 버전은 설정할 수 없어서 버튼이 없어요.
해결 방법: 워크스페이스 어드민에게 설정을 요청해 주세요.

단가를 바꿨더니 왜 지난 평가의 비용도 바뀌었나요?평가 리포트에서 저장하면 그 평가를 다시 계산하기 때문이에요.

원인: 새 설정으로 이 평가의 비용을 다시 계산했어요.
해결 방법: 정상이에요. 같은 단가가 다음 평가에도 적용돼요.