평가지표 관리

①두 유형의 차이

②어떤 유형을 고를까

• 태스크 화면에서 + Add Metric을 누르면 Metric Type에 Default 아래 DATUMO Default, Custom 아래 Generative Model과 Decision Model 카드가 보입니다.
• 카드의 태그로도 차이를 볼 수 있습니다. 생성형 모델은 Reasons, Flexible, Slower, Higher cost, Decision 모델은 Fast, Low cost, Consistent, No reasons입니다.
• 같은 답변도 평가지표에 따라 점수가 다릅니다. 표현만 다르고 뜻이 같은 답변은 ExactMatch에서 0점, Similarity에서는 높은 점수를 받습니다. 목적이 다르면 여러 평가지표를 함께 연결합니다.

③점수 범위

Default 평가지표의 점수는 0에서 1 사이이며, 높을수록 품질이 좋다는 뜻입니다. Custom도 다른 평가지표와 비교하기 쉽도록 같은 범위를 권장합니다. Decision 모델은 고른 답을 0~1 점수로 자동으로 바꿉니다.

①Default에 있는 평가지표

DATUMO는 바로 쓸 수 있는 Default 평가지표 131개를 제공합니다. 태스크 템플릿에도 포함되어 있어, 템플릿을 고르면 맞는 평가지표가 함께 선택됩니다. 채점 방식은 4가지입니다.

평가 영역(안전성, 검색 품질, 답변 정확성, 에이전트 등 10개)별 전체 목록은 Datumo 평가지표 소개에 있습니다. 처음이라면 다음 평가지표부터 봅니다.

②추가하고 키 매핑하기

• DATUMO Default를 고르면 평가지표 카드 목록이 보입니다. 카드에는 방법, 필수(채점에 쓰는 키), 평가 결과가 표시됩니다. 여러 개를 한 번에 고를 수 있습니다.
• 추가한 뒤 키 매핑으로 평가지표가 요구하는 키를 태스크의 키에 연결합니다. 왼쪽 평가지표 필수 키마다 오른쪽 태스크 키를 고릅니다.
• 연결하지 않은 키는 매핑 미완료로 표시되고, 평가지표 카드에서 빨간색으로 보입니다.

예를 들어 Answer Correctness를 연결하면 다음과 같습니다.

①Custom에 있는 평가지표

목록에 없는 기준은 Custom으로 만듭니다. 만드는 방식은 생성형 모델(Generative Model)과 판단형 모델(Decision Model) 2가지입니다.

②생성형 모델로 만들기

• Metric Info에 이름과 설명(선택)을 쓰고, Select Model의 Judgement Model에서 평가 모델을 고릅니다.
• 시스템 프롬프트에 역할, 평가 기준, 점수 규칙, 출력 형식을 씁니다.
• 유저 프롬프트에 평가할 값이 들어갈 자리를 {{query}}처럼 키로 넣습니다. 프롬프트 위에 보이는 키를 누르면 커서 위치에 들어갑니다. 두 칸 중 한 곳에 키가 하나 이상 있어야 저장됩니다.
• Evaluation Result에 돌려받을 항목을 정합니다. Score(Number)는 기본으로 있고, + Add Key로 reason(text) 같은 항목을 더합니다. 평가 결과 표에 이 이름으로 열이 생깁니다.

You are an evaluation judge for answer correctness.

Evaluate whether the response correctly answers the user's question based on the reference answer.

Scoring rubric:
- 1.0: Fully correct and consistent with the reference answer
- 0.5: Partially correct but missing or misstating important details
- 0.0: Incorrect, misleading, or contradicts the reference answer

Return:
- score: float between 0 and 1
- reasoning: brief explanation of the score

Output must be valid JSON.

Query: {{query}}
Response: {{answer}}
Reference: {{expected_response}}

③Decision 모델로 만들기

• Evaluation Key에서 평가 모델이 읽을 키(입력, 출력, 필요하면 참조)를 고릅니다.
• Evaluation Instructions에 질문을 쓰고 점수 유형을 고릅니다. Binary(Yes 1 / No 0), Continuous(단계별 1에서 0), Choice(보기 순서대로 1에서 0) 중 하나입니다. 첫 질문만 점수가 되고, 추가 질문은 결과에 따로 보입니다.
• Judgement Model에서 평가 모델을 고릅니다. 한국어 데이터는 Davi, 영어 데이터는 Jev를 권장합니다.
• Metric Info에 이름을 넣고 Save를 누릅니다. 태스크의 평가지표 목록에 Custom Decision Model 카드가 추가됩니다.

④평가 미리보기

저장한 Custom 평가지표는 예시 데이터로 미리 돌려 보고 의도대로 채점하는지 확인합니다. 골드 점수(기대 정답 점수)를 넣고 테스트 실행(Decision 모델은 Run Test)을 누르면 평가 점수와 골드 점수의 차이가 보입니다. Decision 모델은 결과 행을 펼쳐 선택지별 확률도 볼 수 있습니다. 결과가 기대와 다르면 프롬프트나 질문을 고쳐 다시 실행합니다.