벤치마크셋 관리

평가 데이터를 업로드해 벤치마크셋을 구성하고, 데이터를 수정·삭제·추가하거나 AI 툴로 데이터를 만드는 방법을 안내합니다.

1. 벤치마크셋 열기

벤치마크셋은 태스크를 평가할 때 기준으로 쓰는 데이터 모음입니다. 평가 대상을 대표하는 데이터로 구성합니다. 표의 행 하나가 평가 데이터 한 건입니다.

①키 종류

벤치마크셋의 열 하나가 태스크의 키 하나입니다. 키는 평가에서 맡는 역할에 따라 세 종류로 나뉩니다.

키 종류	뜻	어디에 쓰나요	예시
입력	애플리케이션이나 에이전트에 넣는 값	평가할 때 애플리케이션에 그대로 전달합니다.	`query`
참조	채점할 때 참고하는 정답 정보	평가지표가 출력과 비교합니다. 참조 없이 채점하는 평가지표도 있습니다.	`expected_response`, `gold_context_id`
메타데이터	평가에 쓰지 않는 부가 정보	검수자, 생성일, 출처처럼 데이터를 관리할 때 씁니다.	`쿼리작성자`, `쿼리생성일`, `휴먼검토여부`

출력은 벤치마크셋에 미리 넣지 않습니다. 평가를 실행하면 애플리케이션이 입력을 받아 출력을 만듭니다(예: response, answer, retrieved_context).

아래는 키 종류별로 값을 채운 예시입니다.

id	query (입력)	expected_response (참조)	source (메타데이터)
1	샘플 정기예금을 중도 해지하면 이자는 어떻게 되나요?	약정 금리 대신 중도해지 금리가 적용됩니다.	상품 FAQ
2	샘플 적금은 최소 얼마부터 가입할 수 있나요?	월 1만 원부터 가입할 수 있습니다.	상품설명서

②자주 쓰는 키

DATUMO는 자주 쓰는 열 이름을 표준 키로 정해 두었습니다. 열 이름을 표준 키에 맞추면 평가지표와 키를 연결하기 쉽습니다.

키	종류	뜻
`query`	입력	사용자 질문
`retrieved_context`	입력, 출력	Retriever가 검색한 문서 목록
`response`	출력	애플리케이션이나 에이전트의 답변
`expected_response`	참조	기대 답변(정답). 객관식 문제에서는 정답 보기
`reference_context`	참조	검색되어야 하는 정답 문서 목록

Generator 같은 AI 툴 템플릿은 context, source_document처럼 템플릿이 쓰는 이름을 보여 줍니다. 이 이름은 키가 아닙니다. 템플릿을 쓸 때 이름마다 실제 열을 하나씩 고릅니다.

1-1Benchmark Set 화면 열기
1. 왼쪽 메뉴 Criteria에서 Task를 클릭합니다.
2. Task 화면에서 Manage Benchmark를 클릭하면 이 화면이 열립니다.

2. 데이터 업로드

①업로드할 때 열 연결

파일을 올리면 키 매핑 창이 열립니다. 이 창에서 파일의 열을 태스크 키에 연결합니다.

왼쪽 태스크 키에는 이 태스크의 키가 입력 키, 참조 키, 메타데이터 키로 묶여 있습니다.
오른쪽 CSV 컬럼에서 키마다 파일의 열을 하나 고릅니다.
위쪽 안내 칸에는 파일의 열이 모두 보입니다. 이미 연결한 열은 파란색입니다.
열을 고르지 않은 키는 매핑 미완료로 표시됩니다.
메타데이터 키는 열 대신 직접 입력을 고를 수 있습니다. 직접 입력한 값이 올리는 모든 행에 들어갑니다.

연결하지 않은 파일 열은 Unselected Columns에 모입니다. Unselect columns will be added as Metadata.는 처음부터 체크되어 있습니다. 체크된 상태면 이 열들이 새 메타데이터 키로 추가됩니다. 체크를 해제하면 이 열들은 올라가지 않습니다.

예를 들어 파일 열이 query, expected_response, created_by, id라고 해 봅니다.

파일 열	연결 결과
`query`	입력 키 `query`에 연결
`expected_response`	참조 키 `expected_response`에 연결
`created_by`	메타데이터 키 `쿼리작성자`에 연결
`id`	연결하지 않음. 체크되어 있으면 메타데이터 키 `id`로 추가

2-1파일 업로드
1. 오른쪽 위 Upload File을 클릭합니다.
2. 파일을 업로드 영역에 끌어다 놓습니다. 영역을 클릭해 골라도 됩니다.
3. Next를 클릭합니다.
csv, xlsx 파일만 올릴 수 있습니다.
2-2열 연결
1. 위쪽 안내 칸에서 파일의 열 이름을 확인합니다.
2. Task Key마다 연결할 파일 열을 고릅니다. Key가 처음이라면 Key 종류를 먼저 읽어 보세요.
3. Mapping incomplete로 표시된 칸은 열을 골라 채웁니다.
4. Complete를 클릭합니다.
- 연결하지 않은 열은 Metadata로 추가됩니다. 원하지 않으면 아래 체크를 해제합니다.
- 업로드한 데이터는 기존 데이터 뒤에 추가됩니다.
- 자세한 규칙은 업로드할 때 열 연결에서 설명합니다.

3. 데이터 편집

3-1데이터 수정
1. 오른쪽 위 Edit을 클릭합니다.
2. 수정할 셀을 클릭해 내용을 고칩니다.
3. Save를 클릭합니다.
4. 확인 창에서 Save를 클릭합니다.
Cancel을 클릭하면 바꾼 내용이 저장되지 않습니다.
3-2데이터 삭제
1. Edit 화면에서 ID 칸의 체크박스로 지울 행을 고릅니다.
2. - Delete Data를 클릭합니다.
3. 확인 창에서 Delete를 클릭합니다.
4. Save를 클릭해 저장합니다.
삭제한 데이터는 되돌릴 수 없습니다.
3-3데이터 추가
1. Edit 화면에서 + Add Data를 클릭합니다.
2. 맨 아래에 생긴 새 행에 값을 입력합니다.
3. Save를 클릭해 저장합니다.

4. AI 툴로 데이터 생성

①AI 툴 도구

AI 툴은 생성 모델로 벤치마크셋의 값을 만들거나 고치는 도구입니다. 도구는 네 가지입니다.

도구	하는 일	언제 쓰나요	결과
Generator 생성기	다른 열을 참고해 열 값을 만들거나 바꿉니다.	질문만 있고 기대 답변이 없을 때. 문서만 있고 질문이 없을 때.	고른 열에 값을 채웁니다. 새 열을 만들 수도 있습니다.
Modifier 변형기	이미 있는 열의 내용을 고칩니다.	오타 교정, 말투 바꾸기, 문장 줄이기처럼 표현을 바꿀 때.	고른 열의 값을 새 값으로 바꿉니다.
Augmenter 증강기	기존 열과 행을 참고해 새 행을 추가합니다.	데이터 수가 부족할 때. 적은 유형의 데이터를 늘릴 때.	표 아래에 새 행을 추가합니다.
Validator 검증기	이미 있는 열의 데이터를 검증합니다.	문법, 자연스러움, 질문과 답의 관련성을 점검할 때.	점수 열(`<이름>_score`)과 이유 열(`<이름>_reason`)을 추가합니다.

도구를 고르면 템플릿 목록이 나옵니다(예: Generator의 Expected Response Generator, Modifier의 Proofreading).
템플릿 없이 지시사항을 직접 쓰려면 별도 협의를 고릅니다.
벤치마크셋에 데이터가 없으면 증강기만 쓸 수 있습니다.
Validator는 점수 방식을 1-5, 통과/실패, 상/중/하, 별도 협의 중에서 고릅니다.

②소스 컬럼과 타겟 컬럼

소스 컬럼은 값을 만들 때 참고하는 기준 열입니다. 참고만 하고 값은 바꾸지 않습니다. 타겟 컬럼은 값을 채우거나 바꿀 열입니다. 도구마다 고르는 열이 다릅니다.

도구	고르는 것
Generator	소스 컬럼과 타겟 컬럼. 타겟에서 `Create New Column`을 고르면 새 열을 만듭니다. 새 열은 참조나 메타데이터로 정합니다.
Modifier	타겟 컬럼만 고릅니다. 이 열의 값을 고칩니다.
Augmenter	새 행에 채울 열과 참고할 행을 고릅니다. 참고할 행은 3~50개를 권장하고 최대 50개입니다. 만들 행 수도 입력합니다.
Validator	소스 컬럼만 고릅니다. 결과는 새 열에 들어갑니다.

소스 컬럼 값이 비어 있는 행은 대상에서 빠집니다. 화면의 Available data to generate에서 쓸 수 있는 행 수를 확인합니다.

채우기 옵션에서는 값을 채울 범위를 정합니다(예: Generator는 전체 셀 채우기·수정, 빈 셀만 채우기, 선택한 셀만 채우기·수정 중에서 고릅니다).

③프롬프트 설정과 초안

Prompt Setup은 생성 모델에 줄 지시사항을 쓰는 곳입니다. 두 가지 방식이 있습니다.

Guided Mode: 칸 두 개만 채웁니다(예: Generator는 열 관계(소스-타겟 컬럼 관계)와 지시사항(지시문)을 씁니다).
프롬프트 수정: 시스템 프롬프트를 직접 고칩니다. Guided Mode로 돌아가면 직접 고친 내용이 사라집니다.

초안은 지시사항과 생성 모델을 묶은 설정 한 벌입니다. 화면 위에 Draft #1처럼 번호가 붙습니다.

+ 새 초안 생성: 빈 초안을 새로 만듭니다. 이전 초안은 그대로 남습니다.
초안 이력: 이전 초안을 골라 다시 봅니다.

④샘플과 전체 데이터

AI 툴은 샘플을 먼저 만들고, 결과가 괜찮으면 전체 데이터를 만듭니다.

구분	버튼	만드는 범위	반영
샘플	`Generate 15 Sample Data`	최대 15행. 15행보다 적으면 모두 만듭니다.	오른쪽 표에서 미리 보기만 합니다.
전체 데이터	`전체 데이터 생성`	고른 범위의 모든 행	벤치마크셋에 반영합니다.

전체 데이터는 지금 화면에 보이는 초안의 설정으로 만듭니다.
Validator는 버튼 이름이 Validate 15 Sample Data, Validate Full Data입니다.
Augmenter는 샘플 버튼 이름이 Generate 15 Sample Row입니다. 만들 행 수가 15보다 적으면 그 수만큼 만듭니다.

4-1도구와 템플릿 선택
1. 오른쪽 위 AI Tools를 클릭합니다.
2. 쓸 도구를 고릅니다. 도구별 차이는 AI Tools 도구를 보세요.
3. 템플릿을 고릅니다. 템플릿 없이 쓰려면 Custom을 고릅니다.
Benchmark Set에 데이터가 없으면 Augmenter만 쓸 수 있습니다.
4-2생성할 열 선택
1. 기준으로 쓸 열(Source Column)을 고릅니다. 처음이라면 Source Column과 Target Column을 먼저 읽어 보세요.
2. Next를 클릭합니다.
3. 값을 채울 열(Target Column)을 고릅니다.
4. Fill Options에서 채울 범위를 고릅니다.
5. Start를 클릭합니다.
새 열에 값을 만들려면 Create New Column을 고릅니다.
4-3샘플 확인
1. Prompt Setup에서 열 관계와 지시사항을 입력합니다. 입력 방식은 Prompt Setup과 Draft를 보세요.
2. 생성 모델을 고릅니다.
3. Generate 15 Sample Data를 클릭합니다.
4. 오른쪽 표에서 생성 결과를 확인합니다.
- 샘플은 최대 15행까지 만듭니다. 샘플은 Benchmark Set에 반영되지 않습니다.
- 전체 데이터와의 차이는 샘플과 전체 데이터를 보세요.
4-4Draft 추가
1. 결과가 만족스럽지 않으면 + Create New Draft를 클릭합니다.
2. 새 Draft에서 지시사항을 고치고 다시 샘플을 만듭니다.
이전 Draft는 Draft History에서 다시 볼 수 있습니다.
4-5전체 데이터 생성
1. Generate Full Data를 클릭합니다.
2. 확인 창에서 Generate를 클릭합니다.
3. 표 위 안내에서 생성 진행률을 확인합니다.
지금 화면의 Draft 설정으로 전체 데이터를 만듭니다.

자주 묻는 질문

AI 툴에서 왜 Augmenter만 고를 수 있나요?벤치마크셋에 데이터가 없기 때문이에요. 데이터가 없을 때는 Augmenter만 쓸 수 있어요.

원인: 다른 도구는 기존 데이터를 기준으로 값을 만들거나 고쳐요. 데이터가 0개면 기준이 없어요. 도구별 차이는 AI 툴 도구에서 볼 수 있어요.
해결 방법: 파일 업로드로 데이터를 먼저 올린 뒤 다른 도구를 골라 주세요.

왜 파일을 업로드할 수 없나요?csv, xlsx 파일만 올릴 수 있기 때문이에요.

원인: 다른 형식의 파일은 업로드 영역에서 받지 않아요.
해결 방법: 파일을 csv 또는 xlsx 형식으로 저장해 다시 올려 주세요.