평가

기준을 정하고 AI 에이전트 응답을 반복 채점해, 변경 후 더 나아졌는지 점수로 확인하는 평가 모듈입니다.

DATUMO 평가는 AI 서비스(애플리케이션)를 어떤 기준으로, 어떤 데이터로, 어떤 방법으로 평가할지 정리해 두고 실행하는 기능입니다.

한 줄 요약

애플리케이션마다 평가 기준 묶음인 평가체계(Criteria)를 만들고, 그 안에서 평가 영역별로 태스크를 구성합니다. 태스크는 평가 데이터인 벤치마크셋 1개와 채점 방법인 평가지표(Metric) 여러 개로 이루어지며, 실제 평가가 실행되는 단위입니다.

평가 구조

도식

단위	역할	하위 구성
애플리케이션	평가 대상 AI 서비스	평가체계 여러 개
평가체계	평가 기준 묶음	평가 영역 4개 (종합 성능, 정책·UX, 안전성, 모듈 성능). 화면에서는 `대분류`로 표시됩니다.
중분류	애플리케이션 단위 평가 영역 안에서 태스크를 주제별로 묶는 그룹	태스크 여러 개
모듈	모듈 성능 아래에 표시되는, 애플리케이션에 설정한 모듈	태스크 여러 개
태스크	무엇을 평가할지 정의하고 실제 평가를 실행하는 단위	벤치마크셋 1개 + 평가지표 여러 개
벤치마크셋	태스크 평가에 사용하는 데이터 모음	데이터 여러 건
평가지표	출력을 계산하거나 판정해 점수를 매기는 방법	-

중분류로 태스크 묶기

종합 성능, 정책·UX, 안전성에서는 중분류를 만들어 태스크를 주제별로 묶습니다. 모듈 성능은 중분류 대신 애플리케이션에 설정한 모듈로 묶습니다.

도식

예시로 보기

금융 상담 챗봇을 출시하기 전에 평가하는 상황을 예로 들어 보겠습니다.

도식

Task 구성 예시

각 태스크는 아래처럼 벤치마크셋 1개와 평가지표 여러 개를 가집니다.

태스크	벤치마크셋	평가지표
금융 상품 정보 검색	상품 문의 질문 200건	AnswerAccuracy, Similarity, ExactMatch
투자 권유 규정 준수	투자 상담 질문 80건	권유 규정 준수 (Custom)
상담 어조 유지	상담 대화 100건	어조 일관성 (Custom)
유해 요청 거부	유해 질문 150건	refusal label, response harmfulness score
타인 정보 조회 거부	타인 정보 요청 80건	refusal label, 개인정보 노출 여부 (Custom)
최신 문서 우선 검색	질문·정답 문서 80건	Context Relevancy, Precision@k

Benchmark Set 구성 예시

예시의 벤치마크셋은 입력, 참조, 메타데이터 키로 구성합니다. 무엇을 평가하느냐에 따라 넣는 키가 달라집니다. 아래는 같은 질문 하나로 세 태스크의 벤치마크셋을 구성한 예시입니다.

금융 상품 정보 검색 (상품 문의 질문 200건): 최종 답변이 정답과 맞는지 봅니다. 정답 답변을 참조로 넣습니다.

id	query (입력)	expected_response (참조)	source (메타데이터)	휴먼검토여부 (메타데이터)
1	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?	약정 금리 대신 중도해지 금리가 적용됩니다.	상품 FAQ	Y

질문 의도 기반 문서 검색 (질문·정답 문서 100건): Retriever가 질문에 맞는 문서를 찾았는지 봅니다. 찾아야 하는 정답 문서를 참조로 넣습니다.

id	query (입력)	reference_context (참조)	source (메타데이터)
1	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?	샘플 정기예금 상품설명서 (중도해지 조항)	상품설명서

근거 기반 답변 생성 (질문·검색 문서 100건): Generator가 검색된 문서를 근거로 답했는지 봅니다. 검색된 문서를 입력으로 함께 넣습니다. 이 태스크의 평가지표는 참조 없이 채점하므로 참조는 넣지 않습니다.

id	query (입력)	retrieved_context (입력)	source (메타데이터)
1	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?	샘플 정기예금 상품설명서 (중도해지 조항)	상품설명서

메타데이터는 평가에 쓰지 않습니다. 검토 여부나 출처처럼 데이터를 관리할 때 씁니다. response처럼 평가할 때 만들어지는 출력은 넣지 않습니다.

예시의 평가체계, 중분류, 태스크 이름과 데이터 건수는 설명을 위해 정한 값입니다. 사용자 정의 평가지표는 사용자가 직접 만드는 평가지표입니다.

평가체계

평가체계는 애플리케이션을 어떤 기준으로 평가할지 정리한 묶음입니다. 하나의 애플리케이션에 평가체계를 여러 개 만들 수 있으므로, 출시 전 검증용과 정기 점검용처럼 목적에 따라 평가 기준을 나눠 관리할 수 있습니다.

평가체계는 평가 영역 4개로 나뉩니다. 이 가운데 확인하고 싶은 영역에 태스크를 만듭니다. 위 금융 상담 챗봇 예시의 태스크로 예시를 들어보겠습니다.

평가 영역	확인하는 것	예시 태스크
종합 성능	기본으로 갖춰야 할 지식과 능력이 있는가	금융 상품 정보 검색
정책·UX	내부 정책과 가이드라인을 지키고, 사용자 경험에 맞게 응답하는가	답변 완결성 평가
안전성	위험할 수 있는 응답을 하지 않는가	유해 요청 거부
모듈 성능	애플리케이션을 이루는 각 모듈이 맡은 역할을 잘 하는가	질문 의도 기반 문서 검색 (Retriever) 근거 기반 답변 생성 (Generator)

애플리케이션 단위 평가 (종합 성능, 정책·UX, 안전성): 애플리케이션 전체를 하나의 평가 대상으로 보고 최종 응답을 평가합니다. 각 평가 영역 아래에 중분류를 여러 개 만들어 태스크를 주제별로 묶습니다.
모듈 단위 평가 (모듈 성능): 애플리케이션 안의 개별 모듈(예: Retriever, Generator)을 따로 평가합니다. 모듈 성능 아래에는 애플리케이션에 설정한 모듈 목록이 표시되고, 모듈마다 태스크를 구성합니다.

모듈 단위 평가 예시

RAG 기반 애플리케이션에서는 Retriever가 문서를 찾고 Generator가 답변을 만듭니다.
애플리케이션 단위 평가는 최종 답변만 채점합니다.
모듈 단위 평가는 두 모듈의 결과를 따로 채점합니다. 그래서 최종 답변 점수가 낮을 때 어느 모듈에서 문제가 생겼는지 찾을 수 있습니다.

도식

Generator만 평가할 때는 검색한 문서도 벤치마크셋에 함께 넣습니다.

모듈 성능에 표시되는 모듈은 애플리케이션 설정을 따릅니다. 애플리케이션 설정 방법은 G-5. 애플리케이션 생성을 참고하세요.

태스크

태스크는 무엇을 평가할지 정의하고, 실제 평가를 실행하는 단위입니다. 하나의 태스크는 다음 두 가지로 구성됩니다.

벤치마크셋 1개: 평가에 사용할 데이터
평가지표 여러 개: 데이터로 생성된 결과를 채점하는 방법

태스크 예시: 금융 상품 정보 검색, 질문 의도 기반 문서 검색

하나의 벤치마크셋을 여러 평가지표로 동시에 채점하므로, 같은 데이터를 여러 관점에서 평가할 수 있습니다.

애플리케이션을 처음 생성하면, 입력한 애플리케이션 정보(유형, 도메인, 언어 등)에 맞는 태스크가 템플릿에서 자동으로 추천되어 세팅됩니다.

안전성 영역의 태스크는 DATUMO가 만든 템플릿으로 바로 시작할 수 있습니다. 템플릿에는 평가 데이터와 평가지표가 함께 들어 있습니다. 유해 요청 대응 같은 안전성 평가를 처음부터 설계하지 않아도 됩니다.

벤치마크셋

벤치마크셋은 태스크 평가에 사용하는 기준 데이터 모음입니다.
평가 목적에 맞는 여러 건의 데이터로 구성됩니다.

컬럼 구성

벤치마크셋의 각 컬럼은 평가에서 맡는 역할이 정해져 있습니다.

도식

예시 데이터

id	query (입력)	expected_response (참조)	source (메타데이터)
1	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?	약정 금리 대신 중도해지 금리가 적용됩니다.	상품 FAQ
2	샘플 적금은 최소 얼마부터 가입할 수 있나요?	월 1만 원부터 가입할 수 있습니다.	상품설명서
3	샘플 정기예금의 가입 기간은 어떻게 되나요?	6개월, 12개월, 24개월 중 선택할 수 있습니다.	상품설명서

자주 쓰는 키

DATUMO는 자주 쓰는 컬럼 이름을 표준 키로 정해 두었습니다. 벤치마크셋의 컬럼 이름을 표준 키에 맞추면, 평가지표와 컬럼을 연결(키 매핑)하는 작업이 쉬워집니다.

키	주요 용도	설명
`query`	입력	사용자 질문
`retrieved_context`	입력, 출력	Retriever가 검색한 문서 목록
`response`	출력	애플리케이션 또는 모듈의 답변
`expected_response`	참조	기대 답변(정답). 객관식 문제에서는 정답 보기
`reference_context`	참조	검색되어야 하는 정답 문서 목록

평가지표

평가지표는 애플리케이션 또는 모듈의 출력을 어떤 방식으로 계산하거나 판정할지 정의합니다. 하나의 태스크에 여러 평가지표를 연결할 수 있습니다.

평가지표 유형

도식

평가지표 유형은 5가지입니다.

유형	채점 방식	예시
LLM as Judge (LLM 판정)	평가 모델이 정해진 프롬프트와 루브릭으로 판정합니다.	Faithfulness, Context Relevancy
Rule-Based (규칙 기반)	정해진 규칙이나 계산식(일치 여부, 단어 겹침, 순위)으로 점수를 냅니다.	ExactMatch, BLEU, ROUGE, Precision@k
임베딩	문장을 벡터로 바꿔 의미가 얼마나 가까운지 계산합니다.	BERT Precision
Statistical 평가지표 (통계 지표)	데이터별 판정을 벤치마크셋 전체로 모아 비율을 계산합니다.	F1 점수, 재현율
Custom (사용자 정의)	사용자가 정한 기준으로 평가 모델이 판정합니다. 생성형 모델(Generative Model)과 Decision 모델 중에서 고릅니다.	답변 완결성, 환불 정책 정확도

앞의 네 유형은 DATUMO가 제공하는 템플릿에서 골라 씁니다.
사용자 정의 평가지표는 태스크의 평가지표 설정 화면(+ 평가지표 추가 › 별도 협의)에서 직접 만듭니다.
LLM as Judge 평가지표도 프롬프트와 루브릭을 고쳐 평가 기준을 바꿀 수 있습니다.
정답(참조)이 없으면 LLM as Judge 또는 Rule-Based 평가지표를 사용해야 합니다.
평가 모델은 G-4. 생성·평가 모델 등록에서 등록한 모델 중에서 선택합니다. 임베딩 평가지표는 같은 화면에서 등록한 임베딩 모델을 씁니다. Decision 모델(Davi, Jev)은 DATUMO 모델로 제공됩니다.
사용자 정의 평가지표는 점수 외에 함께 받을 결과 컬럼(예: 사유, Risk Level)을 정의할 수 있습니다.

평가 전체 흐름

평가는 벤치마크셋의 데이터를 애플리케이션 또는 모듈에 입력하고, 생성된 출력을 평가지표로 채점해 평가 결과를 만드는 방식으로 진행됩니다.

도식

벤치마크셋의 입력 값을 애플리케이션 또는 모듈에 전달합니다.
애플리케이션 또는 모듈이 출력을 생성합니다.
평가지표가 출력을 채점합니다. 평가지표에 따라 입력과 참조도 함께 사용하며, 어떤 컬럼을 평가지표 입력으로 쓸지는 키 매핑으로 지정합니다.
데이터별 점수와 판정 근거가 평가 결과로 저장됩니다.

예시: 데이터 한 건이 채점되는 과정

도식

데이터와 채점 결과

금융 상품 정보 검색 태스크의 데이터 한 건이 평가되는 과정입니다.

항목	값
query (입력)	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?
response (출력)	중도에 해지하시면 약정 금리가 아닌 중도해지 금리로 이자가 계산됩니다.
expected_response (참조)	약정 금리 대신 중도해지 금리가 적용됩니다.

평가지표	채점 기준	결과
ExactMatch (Rule-Based)	정답과 문장이 완전히 같으면 1.0, 아니면 0.0	0.0: 표현이 달라 불일치
Similarity (LLM as Judge)	표현 차이를 넘어 핵심 의미가 정답과 일치하는지 판정	높은 점수: 의미가 같음

답변의 의미는 정답과 같지만, ExactMatch는 문장 표현이 다르다는 이유로 0점을 줍니다. 이처럼 같은 답변도 평가지표에 따라 다르게 평가되므로, 평가 목적에 맞는 평가지표를 고르고 필요하면 여러 평가지표를 함께 연결하세요.

평가 결과는 평가 당시의 값으로 저장됩니다. 평가가 끝난 뒤 벤치마크셋의 입력·참조나 평가지표 설정을 바꿔도 이미 나온 결과는 바뀌지 않습니다. 단, 메타데이터는 평가 결과와 대시보드에서 최신 값으로 표시됩니다.

다음 단계

문서	다루는 내용
E-1. 평가체계 관리	평가체계, 중분류, 태스크 구성 방법
E-2. 태스크 관리	태스크 기본 정보, Schema, 평가지표, 벤치마크셋 관리 방법
E-3. 벤치마크셋 관리	벤치마크셋 업로드 및 AI 기반 데이터 생성 방법
E-4. 평가지표 관리	Default·Custom 평가지표의 종류와 추가 방법, 키 매핑, 미리보기
E-5. 평가 실행	평가 실행 및 이력 확인 방법
E-6. 평가 이력	평가 결과 확인, 오류, 재시도 관리 방법
E-7. 대시보드	평가 결과 시각화 및 분석 방법