> For the complete documentation index, see [llms.txt](https://docs.datumo.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.datumo.com/documentation/evaluation/undefined/3.-benchmark.md).
# 3. Benchmark셋 관리
## Benchmark Set 이란?
> Benchmark Set은 Task를 평가하기 위한 기준 데이터 모음이며, 평가 목적과 대표성을 가진 다수의 데이터로 구성된 평가용 데이터 집합입니다.
***
## Benchmark Set 업로드
보유한 평가 데이터를 업로드하여 Benchmark Set을 구성할 수 있습니다.
### 1. Dataset 업로드
`Upload File` 을 선택합니다.
업로드할 Dataset 파일을 드래그하거나, 업로드 영역을 클릭하여 파일을 선택합니다.\
`csv` 또는 `xlsx` 형식의 파일을 업로드할 수 있습니다.
파일 업로드 시 `Next` 버튼이 활성화 됩니다.
업로드된 파일의 Column명은 상단에 표시됩니다.
### 2. 데이터 수정
`Edit` 버튼을 눌러 수정할 수 있습니다.
수정하고자 하는 부분의 특정 cell을 선택하여 수정합니다.
변경사항이 있을 경우 `Save` 버튼이 활성화 됩니다.
### 3. 데이터 삭제
`Edit` 버튼을 선택하여 삭제 하고자 하는 데이터를 삭제 할 수 있습니다.
삭제하고자하는 데이터를 선택합니다.\
(ID열 선택시, 체크박스로 변경됩니다.)
데이터를 선택하면 `Delete Data` 버튼이 활성화 됩니다.
### 4. 데이터 추가
`Edit` 버튼을 눌러 데이터를 추가 할 수 있다.
`+Add Data` 를 선택합니다.
`+Add Data` 선택 시, 가장 마지막 열에 새로운 컬럼 추가됩니다.
추가 데이터 입력 후, `Save` 클릭 시 추가된 컬럼이 저장 됩니다.
***
## AI 기반 데이터 생성 및 수정
AI를 활용하여 Benchmark Set 데이터를 생성하거나 기존 데이터를 수정할 수 있습니다.
### 1. 생성 템플릿 선택
`AI Tool` 을 클릭하여 사용할 템플릿을 선택 합니다.
데이터가 0개인 경우 `Augmenter` 제외 모두 비활성화 입니다.
### 2. 생성 조건 입력
생성할 컬럼과 필요한 정보를 입력 합니다.
### 3. Draft 추가 및 데이터 생성
테스트 결과가 만족스럽지 않은 경우 Draft를 추가하여 지시사항을 개선하고, 결과가 만족스러운 경우 데이터를 생성합니다.
`+ Create New Draft` 를 클릭하여 Draft를 추가 할 수 있습니다.
### 4. 데이터 생성
데이터가 생성이 됩니다.
***
### 🔗 관련 문서
* E-1. Criteria 생성 및 관리 — Criteria, Subgroup, Task 구성 방법
* E-2. Task 관리 — Task 기본 정보, Schema, Metric, Benchmark Set 관리 방법
* E-4. Metric 추가 및 관리 — Metric 생성, Key Mapping, Preview 설정 방법
* E-5. Run Eval — 평가 Run 실행 및 이력 확인 방법
* E-6. Eval Result — 평가 결과 확인, Error, Retry 관리 방법
* E-7. Dashboard — 평가 결과 시각화 및 분석 방법