평가체계 관리

평가체계(Criteria)와 중분류(Subgroup)를 만들고 관리하는 방법, 배포 판정 기준인 출시 기준(Release Gate)을 설정하는 방법을 안내합니다.

1. 편집 모드 활성화

①편집 모드

편집 모드는 평가체계 구성을 바꿀 수 있는 상태입니다. 평가체계 화면 오른쪽 위 편집 모드 스위치로 켜고 끕니다.

상태	할 수 있는 일
꺼짐	평가체계 구성 보기, 출시 기준 설정
켜짐	`+ 중분류 생성`, `+ 태스크 생성`, 중분류 메뉴, 태스크 메뉴 사용

출시 기준 설정은 편집 모드와 상관없이 열 수 있습니다.

1-1Edit Mode 켜기
1. 오른쪽 위 Edit Mode를 켭니다.
Release Gate 설정은 꺼져 있어도 열 수 있습니다.

2. 평가체계 관리

①평가체계

평가체계는 애플리케이션 하나를 평가하는 기준 묶음입니다. 평가를 실행하면 평가체계 안의 태스크를 한 번에 평가합니다.

애플리케이션 하나에 평가체계를 여러 개 만들 수 있습니다.
목적에 따라 나눠 씁니다(예: v1.0 출시 전 검증, 정기 점검).
새 평가체계는 기본으로 애플리케이션의 평가체계 초기 설정을 바탕으로 만듭니다. 추천 태스크가 함께 들어옵니다.
추천 태스크는 애플리케이션과 모듈 설정에 따라 달라집니다.
빈 상태로 시작을 선택하면 추천 태스크 없이 빈 평가체계를 만듭니다.

평가체계, 중분류, 태스크의 전체 관계는 평가 핵심 개념에서 설명합니다.

2-1Criteria 생성
1. 탭 옆의 +를 클릭합니다.
2. Criteria Name을 입력합니다.
3. 빈 Criteria로 시작하려면 Start from an empty를 선택합니다.
4. Complete를 클릭합니다.
- 선택하지 않으면 Initial Criteria Settings로 만듭니다.
- 두 방식의 차이는 Criteria에서 확인합니다.
2-2Criteria 이름 수정
1. 이름 옆 수정 아이콘을 클릭합니다.
2. 새 이름을 입력하고 Save를 클릭합니다.
2-3Criteria 복사
1. 오른쪽 위 복사 아이콘을 클릭합니다.
2. Complete를 클릭합니다.
3. 상단 탭에서 복사본을 확인합니다.
같은 Application 안에서만 복사할 수 있습니다.

3. 중분류 관리

①중분류와 태스크

평가체계 화면은 평가 영역 4개로 나뉩니다. 영역마다 태스크를 묶는 방식이 다릅니다.

평가 영역	확인하는 것	태스크를 묶는 단위
종합 성능	서비스가 기본으로 갖춰야 할 지식과 능력	중분류
정책·UX	내부 정책을 지키는지, 사용자 경험에 맞는지	중분류
안전성	위험한 응답을 하지 않는지	중분류
모듈 성능	모듈이 각자 맡은 역할을 잘 하는지	모듈

중분류는 한 영역 안에서 태스크를 주제별로 묶는 그룹입니다. 사용자가 직접 만들고 이름을 정합니다.
태스크는 실제로 평가를 실행하는 단위입니다. 태스크는 중분류 아래에 추가합니다.
모듈 성능에는 중분류가 없습니다. 애플리케이션에 설정한 모듈마다 태스크를 묶습니다. 모듈은 애플리케이션 설정에서 추가합니다.

예를 들어 금융 상담 챗봇이라면 이렇게 구성합니다.

Safety                      (평가 영역)
└─ 유해 질문 대응            (Subgroup)
   └─ 유해 요청 거부         (Task)

중분류를 지우면 그 안의 태스크도 모두 지워집니다.

3-1Subgroup 생성
1. + New Subgroup을 클릭합니다. 처음이라면 Subgroup과 Task를 먼저 읽어 보세요.
2. 이름을 입력하고 Complete를 클릭합니다.
3. 목록에서 새 Subgroup을 확인합니다.
3-2Subgroup 이름 수정
1. Subgroup 이름 옆 화살표를 클릭합니다.
2. Edit Subgroup을 선택합니다.
3. 이름을 고치고 Complete를 클릭합니다.
3-3Subgroup 삭제
1. 메뉴에서 Delete Subgroup을 선택합니다.
2. 확인 창에서 Delete를 클릭합니다.
Subgroup 안의 Task도 모두 삭제됩니다.

4. 출시 기준 설정

①출시 기준

출시 기준은 배포해도 되는지 판정하는 기준입니다. 평가 리포트에서 이 기준으로 기준 통과 또는 기준 미달을 판정합니다.

출시 기준은 평가체계에 속합니다. 평가체계를 만들면 함께 만들어집니다.
평가체계를 복사하면 출시 기준도 함께 복사됩니다.
따로 설정하지 않아도 기본값으로 판정합니다.

평가체계 화면 위쪽 요약 바는 그룹별 허용 실패율을 ≤ N% 모양으로 보여 줍니다. 그룹마다 기본 허용 실패율은 다음과 같습니다.

그룹	기본 허용 실패율
종합 성능	10%
모듈 성능	10%
정책·UX	5%
안전성	2%

기준은 평가 리포트를 시작할 때 고정됩니다. 기준을 바꿔도 이미 만든 리포트의 판정은 그대로입니다. 바꾼 기준은 다음 평가부터 반영됩니다.

②판정 점수와 실패율

출시 기준은 평가지표마다 값 2개로 정합니다.

항목	뜻	입력 범위	기본값
`판정 점수`	데이터 한 건이 통과하는 최소 점수	0.0 ~ 1.0	0.5
`Failure rate`	평가지표에서 허용하는 실패 비율(%)	0 ~ 100	그룹 기본 허용 실패율

두 값 모두 소수점 둘째 자리까지 입력할 수 있습니다.
범위를 벗어난 값은 입력할 수 없습니다.

예를 들어 판정 점수가 0.5이고 Failure rate가 10이라고 가정합니다. 데이터 100건 가운데 0.5점 미만이 10건을 넘으면 그 평가지표는 기준을 채우지 못합니다.

③판정 방식

출시 기준은 그룹이 아니라 평가지표 단위로 판정합니다.

데이터 한 건의 점수가 판정 점수보다 낮으면 그 건은 실패입니다.
평가지표의 실패 비율이 Failure rate를 넘으면 그 평가지표는 미충족입니다.
그룹 안 평가지표가 하나라도 미충족이면 그룹은 기준 미달입니다.

요약 바의 %는 그룹 전체를 요약한 값입니다. 판정 근거가 아닙니다. 예를 들어 그룹 실패율이 5%로 기준 7% 안이어도 기준 미달일 수 있습니다. 그룹 안 한 평가지표의 실패율이 자기 기준 10%를 넘은 경우입니다.

실패와 에러는 다르게 셉니다.

구분	뜻	판정에서
실패	채점 결과가 기준보다 낮음	실패 비율에 넣음
에러	평가가 되지 않아 점수가 없음	실패 비율에서 뺌

평가지표의 모든 데이터가 에러이면 그 평가지표는 판정에서 빠집니다.

4-1요약 바 확인
1. 요약 바에서 그룹별 허용 실패율을 확인합니다.
- 요약 바의 %는 요약값입니다. 실제 판정은 Metric 단위로 합니다.
- Release Gate를 먼저 읽어 보세요.
4-2통과 기준 입력
1. 요약 바 오른쪽의 Setting을 클릭합니다.
2. 그룹 이름 앞 삼각형을 눌러 그룹을 펼칩니다.
3. Metric마다 Pass score와 Failure rate를 입력합니다. 두 값의 뜻은 Pass score와 Failure rate에 있습니다.
- Pass score: 0.0 ~ 1.0, 기본값 0.5
- Failure rate: 0 ~ 100
- 기본 허용 실패율: General·Module Performance 10%, Policy & UX 5%, Safety 2%
4-3그룹 일괄 적용
1. 그룹 헤더의 Set all failure rates에 값을 입력합니다.
2. Apply를 클릭하면 그룹 안 모든 Metric에 적용됩니다.
4-4설정 저장
1. Save를 클릭합니다.
X로 닫으면 저장되지 않습니다.
4-5판정 방식 확인
1. 판정은 Metric 단위로 합니다.
- 케이스 점수가 Pass score보다 낮으면 실패입니다.
- Metric 실패율이 Failure rate를 넘으면 미충족입니다.
- Metric이 하나라도 미충족이면 그룹은 Fail입니다.
- 예시는 판정 방식에서 확인합니다.

자주 묻는 질문

평가체계나 중분류를 왜 수정할 수 없나요?편집 모드가 꺼져 있기 때문이에요.

원인: 편집 모드가 꺼져 있으면 + 중분류 생성, 중분류 메뉴 같은 편집 기능이 보이지 않아요.
해결 방법: 오른쪽 위 편집 모드를 켜 주세요. 켜면 쓸 수 있는 기능은 편집 모드에 정리했어요.

판정 점수나 실패율에 왜 값이 입력되지 않나요?입력 범위를 벗어난 값이기 때문이에요.

원인: 판정 점수는 0.0 ~ 1.0, Failure rate는 0 ~ 100 사이 값만 받아요.
해결 방법: 범위 안의 값을 소수점 둘째 자리까지 입력해 주세요.

Set all failure rates에 넣은 값이 왜 사라지나요?그룹 헤더의 입력값은 저장되지 않기 때문이에요.

원인: 헤더 값은 그룹 안 평가지표에 한 번에 적용하는 용도예요. 창을 다시 열면 기본값으로 보여요.
해결 방법: 적용된 값은 각 평가지표 행에서 확인해 주세요. 평가지표 행에는 마지막으로 저장한 값이 남아 있어요.

바꾼 출시 기준이 왜 저장되지 않았나요?저장을 누르지 않고 창을 닫았기 때문이에요.

원인: X로 창을 닫으면 바꾼 값이 모두 취소돼요.
해결 방법: 값을 바꾼 뒤 저장을 눌러 주세요.

요약 바는 기준 안인데 왜 기준 미달로 판정되나요?판정은 그룹이 아니라 평가지표 단위로 하기 때문이에요.

원인: 요약 바의 %는 그룹 전체를 요약한 값이에요. 그룹 안 평가지표가 하나라도 자기 기준을 넘으면 그룹은 기준 미달이에요.
해결 방법: 설정에서 평가지표별 Failure rate를 확인해 주세요. 판정 순서는 판정 방식을 참고해 주세요.