평가 실행

태스크, 평가지표(Metric), 버전을 골라 평가(Run)를 실행하고 평가 이력을 확인합니다.

1. 평가 실행 시작

①평가

평가는 평가를 한 번 실행한 기록입니다. 평가 실행 창에서 고른 평가체계, 버전, 태스크, 평가지표로 평가합니다.

실행한 평가는 평가 이력 화면에 쌓입니다. 가장 최근 평가가 맨 위에 있습니다.
평가 하나에는 고른 태스크의 결과가 버전별로 들어 있습니다.
평가 이름은 기본으로 Run#9처럼 번호가 붙습니다.

평가는 태스크 단위로 실행됩니다. 태스크, 벤치마크셋, 평가지표의 관계는 평가 핵심 개념에서 설명합니다.

②적용되는 평가체계

어느 화면에서 평가 실행을 누르는지에 따라 먼저 선택되는 평가체계가 다릅니다.

시작한 화면	먼저 선택되는 평가체계
평가 이력 화면	`Default Criteria`
평가체계 설정 화면	보고 있던 평가체계

창 위쪽 평가체계 영역에서 다른 평가체계로 바꿀 수 있습니다.
다른 평가체계로 바꿨다가 돌아와도 고른 태스크와 평가지표는 그대로 남습니다.
태스크가 없는 평가체계를 고르면 이 Criteria에는 평가할 Task가 없습니다.가 나옵니다. 평가체계 설정에서 태스크와 평가지표를 추가한 뒤 다시 실행합니다.

1-1Runs 화면에서 시작
1. 왼쪽 메뉴에서 Runs를 클릭합니다.
2. 오른쪽 위 Run Evaluation을 클릭합니다.
3. 위쪽 Criteria가 Default Criteria인지 확인합니다.
Runs 화면에서 시작하면 Default Criteria가 먼저 적용됩니다. 적용되는 Criteria를 먼저 읽어 보세요.
1-2Criteria Setting 화면에서 시작
1. 왼쪽 메뉴에서 Criteria를 클릭합니다.
2. 평가에 쓸 Criteria 탭을 엽니다.
3. 오른쪽 위 Run Evaluation을 클릭합니다.
4. 보고 있던 Criteria가 선택된 것을 확인합니다.

2. 평가 조건 선택

①평가 대상 선택

평가 실행 창에서 이번 평가가 평가할 태스크와 평가지표를 고릅니다. 창 제목은 평가 대상 선택입니다. 고른 태스크와 평가지표만 평가합니다.

영역	평가하는 것	표시 구조
`애플리케이션 평가(End to End)`	애플리케이션 전체의 최종 응답	대분류(평가 영역) → 중분류 → 태스크
`모듈 평가`	애플리케이션을 이루는 모듈 하나하나	모듈(예: `Text to SQL`, `Router`) → 태스크

태스크를 고르면 그 태스크의 평가지표가 모두 함께 선택됩니다. 필요 없는 평가지표만 해제합니다.
경고 아이콘이 붙은 평가지표는 고를 수 없습니다. 연결 설정이 필요하다는 뜻입니다(Connection required to evaluate this metric.).
Output만 수집을 켜면 평가지표 평가를 건너뛰고 출력만 받아 옵니다. 이때 다음 대신 시작 버튼이 나옵니다.

②버전

버전은 평가할 API를 설정하는 단위입니다. 애플리케이션에 등록한 버전 가운데 평가할 버전의 스위치를 켭니다.

켠 버전마다 같은 태스크와 벤치마크셋으로 출력을 따로 만듭니다. 그래서 같은 기준으로 버전끼리 비교할 수 있습니다.
애플리케이션 평가(End to End)은 창 위쪽에서 버전을 켭니다(예: Gemini-Pro, RAG-v1.2).
모듈 평가는 모듈마다 아래쪽 버전 줄에서 켭니다(예: Router_v1, Router_v2).
버전을 2개 켜면 출력과 평가 건수도 2배가 됩니다.

평가를 실행하려면 버전마다 API 연동과 출력 매핑을 마쳐야 합니다. 방법은 애플리케이션 API 연동에서 설명합니다.

③실행 확인 창

다음을 누르면 실행 확인 창(평가 실행 확인)이 열립니다. 이 창에서 평가 이름과 예상 건수를 확인합니다.

항목	뜻
`평가 이름`	평가 목록에 표시될 이름. 비워 둘 수 없습니다.
`예상 Output`	새로 만들 출력 수. 태스크 데이터 건수 × 켠 버전 수입니다.
`예상 평가 결과`	새로 만들 채점 결과 수. 출력 수 × 고른 평가지표 수입니다.

평가 실행을 누르면 출력 생성과 평가가 바로 시작됩니다. 시작한 평가는 멈추거나 취소할 수 없습니다. 예상 건수를 확인한 뒤 실행합니다.

평가 이름은 실행한 뒤에도 평가 목록에서 이름 옆 연필 아이콘으로 바꿀 수 있습니다.

2-1Criteria 변경
1. 창 위쪽의 Criteria 영역을 클릭합니다.
2. 목록에서 평가에 쓸 Criteria를 선택합니다.
Criteria를 바꿨다가 돌아와도 고른 Task와 Metric은 그대로 남습니다.
2-2평가 항목 선택
1. 평가할 Version의 스위치를 켭니다.
2. 평가할 Task를 선택합니다.
3. Task마다 평가할 Metric을 선택합니다.
4. Next를 클릭합니다.
필요한 Task와 Metric만 골라도 됩니다. 평가 대상 선택을 참고하세요.
2-3실행 확인
1. Run Name과 예상 건수를 확인합니다. 항목 뜻은 실행 확인 창에 있습니다.
2. Run Evaluation을 클릭합니다.
실행을 시작하면 멈추거나 취소할 수 없습니다.

3. 평가 이력 확인

①평가 상태

평가 이력 화면에서 평가를 펼치면 태스크와 버전마다 진행 상태가 보입니다. 출력을 받아 오는 단계(Fetch)가 끝나야 채점 단계(평가)가 시작됩니다.

Fetching Status는 출력을 받아 온 상태입니다.

표시	뜻
`대기 중`	출력을 받아 오기 전입니다.
`수집 중`	출력을 받아 오는 중입니다.
`수집 완료`	모든 데이터의 출력을 받아 왔습니다.
`Partial Fetch`	일부 데이터의 출력을 받지 못했습니다.
`Fetched Error`	모든 데이터의 출력을 받지 못했습니다.

평가지표는 평가지표마다 채점 상태를 보여 줍니다.

표시	뜻
`대기 중`	채점 전입니다.
`평가 중`	채점 중입니다.
점수(예: `0.77`)	채점이 끝난 데이터의 평균 점수입니다. 경고 아이콘이 붙으면 에러가 난 데이터를 빼고 낸 평균입니다.
`오류`	모든 데이터의 채점에 실패했습니다.
`평가 시작`	실행할 때 고르지 않은 평가지표입니다. 누르면 그 평가지표만 평가합니다.

평가가 모두 끝나면 평가 이름 옆에 평가실행 완료가 표시됩니다.
평가 시작 상태인 평가지표를 한 번에 평가하려면 전체 평가 실행을 누릅니다.
에러가 난 항목은 결과 화면에서 다시 실행합니다. 방법은 평가 이력에서 설명합니다.

3-1Run 목록 확인
1. 목록 맨 위에서 새로 실행한 Run을 확인합니다.
2. Run 왼쪽 화살표로 Task별 결과를 펼칩니다. 표시 뜻은 Run 상태를 참고하세요.
3. Task 이름을 클릭해 평가 결과를 엽니다.
결과 화면은 Eval Result 문서에서 설명합니다.

자주 묻는 질문

원하는 평가체계가 아니라 왜 기본 평가체계로 설정되나요?평가 이력 화면에서 시작하면 Default Criteria가 먼저 적용되기 때문이에요.

원인: 평가 이력 화면의 평가 실행은 항상 Default Criteria로 창을 열어요.
해결 방법: 창 위쪽 평가체계 영역에서 평가체계를 바꿔 주세요. 평가체계 설정 화면에서 평가 실행을 눌러도 돼요.

평가체계를 바꿨는데 왜 앞서 고른 태스크와 평가지표가 그대로 있나요?평가체계마다 고른 태스크와 평가지표를 기억하기 때문이에요. 정상 동작이에요.

원인: 다른 평가체계로 이동했다가 돌아와도 앞서 고른 태스크와 평가지표를 기억해요.
해결 방법: 실행 전에 태스크와 평가지표 선택을 한 번 더 확인해 주세요. 적용되는 평가체계도 함께 읽어 보세요.

실행한 평가를 왜 멈출 수 없나요?시작한 평가를 멈추거나 취소하는 기능이 없기 때문이에요.

원인: 확인 창에서 평가 실행을 누르면 응답 생성과 평가가 바로 시작돼요.
해결 방법: 확인 창에서 예상 건수와 평가 이름을 확인한 뒤 실행해 주세요. 항목 뜻은 실행 확인 창에 있어요.