평가 이력

①결과 화면 구성

결과 화면은 평가 하나에서 태스크 하나의 결과를 표로 보여 줍니다. 평가 이력 화면에서 태스크 이름을 누르면 열립니다.

• 화면 위쪽에 Runs > Run 이름과 태스크 이름이 표시됩니다.
• 표의 행 하나는 벤치마크셋 데이터 한 건입니다. 맨 앞 ID 열로 구분합니다.
• 표의 열은 데이터 값, 출력, 점수 순서로 놓입니다.

• 정렬과 필터로 원하는 행만 모아 봅니다. Column Visibility로 열을 숨깁니다.
• 결과는 평가 당시의 값으로 저장됩니다. 단, 메타데이터는 최신 값으로 표시됩니다.

입력, 참조, 메타데이터의 뜻은 평가 핵심 개념에서 설명합니다.

②평균 점수

평균 점수는 한 행에서 같은 버전의 평가지표 점수를 평균한 값입니다. 열 이름은 Average score_<Version>입니다.

• 에러가 난 평가지표는 빼고 평균을 냅니다.
• 출력을 받지 못한 행은 -로 표시됩니다.
• 필터에서 평균 점수 범위를 정해 점수가 낮은 행만 골라 볼 수 있습니다.

③버전별 결과

평가에서 버전을 2개 이상 켜면 결과가 버전별로 나뉩니다.

• 표: 출력과 점수 열이 버전마다 따로 생깁니다. 열 이름 끝에 버전 이름이 붙습니다(예: response_Gemini-Pro, response_RAG-v1.2).
• 행 상세: 오른쪽 위에 버전 탭이 생깁니다. 탭을 눌러 버전마다 결과를 따로 봅니다.

같은 데이터의 버전별 점수를 나란히 놓고 비교할 수 있습니다. 버전 선택은 평가 실행에서 설명합니다.

①행 상세

행 상세는 데이터 한 건의 내용과 결과를 한 화면에 모아 보는 창입니다. 표에서 행을 클릭하면 열립니다.

• 평가지표별 결과에서 평가지표를 누르면 그 평가지표의 점수와 사유가 보입니다.
• 창 위쪽 목록이나 화살표로 이전 행과 다음 행으로 이동합니다.

①Fetch와 평가

평가는 두 단계로 진행됩니다. Fetch가 끝나야 평가가 시작됩니다.

진행 중 표시는 결과 화면 위쪽 진행 바에 나옵니다. 진행 바가 사라지면 두 단계가 모두 끝난 것입니다.

②에러 종류

에러는 어느 단계에서 났는지에 따라 두 가지로 나뉩니다.

에러가 있으면 화면 위쪽에 Error Status Bar가 나타납니다. 바에는 두 에러의 건수가 함께 표시됩니다(예: Fetch errors: 2 · Evaluation errors: 2).

①재시도와 전체 재시도

에러가 난 항목은 다시 실행할 수 있습니다.

• 전체 재시도를 누르면 확인 창에 다시 실행할 건수가 나옵니다(수집 항목, Evaluation 항목).
• Fetch error 항목을 먼저 다시 받아 옵니다. 그다음 평가를 실행합니다.
• 출력을 다시 받아 온 항목은 평가지표 채점도 다시 합니다.