> For the complete documentation index, see [llms.txt](https://docs.datumo.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.datumo.com/documentation/evaluation/undefined/2.-task.md). # 2. Task 관리 ## Task 란? Task는 '무엇을 평가할 것인가'를 정의하는 단위로, 평가하고자 하는 능력을 나타내며 다수의 Metric과 1개의 Benchmark Set으로 구성됩니다. *** ## Task 생성 Task를 생성할 수 있고 템플릿 중에서 고르거나 빈 Task를 생성할 수 있습니다.

`+New Task` 를 선택합니다. ### 1. Template으로 추가 하는 경우

원하는 템플릿을 선택하면 `Add Task` 버튼이 활성화 됩니다. ### 2. Custom Task 추가하는 경우

`Custom Task` 를 선택합니다.

`Task Name` 과 `Description`을 입력하여 추가합니다.

Task Detail 로 이동합니다. *** ## Task 관리 ### 1. Task 화면 구성 Task는 크게 아래와 같은 영역으로 구성되어있습니다. * **Task 기본 정보 영역**\ Task 이름, Description, Task Group 등 Task의 기본 정보를 확인하는 영역입니다. * **Schema Setting 영역**\ 해당 Task가 보유한 Schema 정보를 확인하고 수정할 수 있는 영역입니다. * **Metric 정보 영역**\ 해당 Task에 종속되는 개념입니다. 해당 Task가 가지고 있는 Metric 정보를 노출 합니다. * **Benchmark Set 영역**\ Task 평가에 사용되는 Benchmark Set(=다수의 데이터 모음)을 확인하는 영역입니다.

### 2. Key 정보 관리 Task에서 사용하는 Key 정보는 크게 Input, Output, Reference, Metadata 4가지 타입으로 구분됩니다. 각 Key Type은 평가 실행, Metric 설정, Eval Result 생성 과정에서 서로 다른 역할을 가집니다.

Input Key와 Output Key를 수정하려면 `Go to Application Setting` 버튼을 클릭합니다. `Go to Application Setting`을 누르면 Application Setting 화면으로 이동하여 수정이 가능합니다. Reference 나 Metadata 수정을 원하시면 각각의 `Edit` 버튼을 클릭합니다. #### Reference 수정

`+Add Key`를 클릭하여 Key 추가가 가능합니다. `-` 버튼을 클릭 시 해당 Key 가 삭제 됩니다. `Edit` 버튼 클릭 시 해당 Key 이름을 수정 할 수 있습니다.

Key의 이름을 수정 완료 하면 `Save` 버튼을 선택합니다. 수정 중에는 `Complete` 버튼은 비활성화 됩니다.

Key 값을 추가 하는 경우, 한글자 이상 입력해야 Save 버튼이 활성화 됩니다. Key 이름을 입력하고 `Save` 한뒤 `Complete`를 선택하면 새로운 Key가 추가 됩니다. *** ### 🔗 관련 문서 * E-1. Criteria 생성 및 관리 — Criteria, Subgroup, Task 구성 방법 * E-3. Benchmark Set 관리 — Benchmark Set 업로드 및 AI 기반 데이터 생성 방법 * E-4. Metric 추가 및 관리 — Metric 생성, Key Mapping, Preview 설정 방법 * E-5. Run Eval — 평가 Run 실행 및 이력 확인 방법 * E-6. Eval Result — 평가 결과 확인, Error, Retry 관리 방법 * E-7. Dashboard — 평가 결과 시각화 및 분석 방법