태스크 관리

태스크를 템플릿 또는 사용자 정의 태스크(Custom Task)로 만드는 방법과 태스크 화면 구성, 키 정보를 관리하는 방법을 안내합니다.

1. 태스크 생성

①태스크

태스크는 무엇을 평가할지 정하는 단위입니다. 평가하려는 능력 하나를 태스크 하나로 만듭니다. 실제 평가도 태스크 단위로 실행합니다.

태스크 하나는 두 가지로 이루어집니다.

벤치마크셋 1개: 평가에 쓰는 데이터
평가지표 여러 개: 결과를 채점하는 방법

태스크는 평가체계 화면의 중분류 또는 모듈 아래에 추가합니다.

Task: 금융 상품 정보 검색
├─ Benchmark Set: 상품 문의 질문 200건
└─ Metric: AnswerAccuracy, Similarity, ExactMatch

같은 데이터를 여러 평가지표로 채점하므로 한 태스크를 여러 관점에서 평가할 수 있습니다.

②템플릿과 사용자 정의 태스크

태스크는 두 가지 방법으로 만듭니다.

방법	처음에 들어 있는 것	이럴 때 씁니다
템플릿	DATUMO가 미리 만든 설명, 평가지표, 평가 데이터	평가하려는 내용과 맞는 템플릿이 있을 때
`사용자 정의 태스크`	이름과 설명만	맞는 템플릿이 없을 때

템플릿 목록은 대분류, 애플리케이션 유형, 모듈 유형, 도메인, 언어로 거를 수 있습니다.
템플릿 카드에는 설명, 데이터 수, 평가지표, 태그가 보입니다.
템플릿으로 만들면 템플릿 키를 태스크 키에 연결해야 합니다. 키 연결에서 설명합니다.
사용자 정의 태스크는 벤치마크셋과 평가지표를 직접 추가합니다.

③키 종류

키는 평가 데이터의 항목 이름입니다. 표의 열 이름이라고 생각하면 쉽습니다. 키는 4종류이고, 종류마다 평가에서 맡는 일이 다릅니다.

키 종류	뜻	수정하는 곳	예시
입력	애플리케이션에 넣는 값	애플리케이션 설정 (설정 > 애플리케이션 > `Agent Connection`)	`query`
출력	애플리케이션이 입력을 받아 만든 결과	애플리케이션 설정	`response`, `retrieved_context`
참조	평가지표가 채점할 때 비교하는 정답 정보	태스크 화면	`expected_response`, `reference_context`
메타데이터	평가에 쓰지 않는 부가 정보	태스크 화면	검수자, 생성일, 출처

입력·출력 키는 애플리케이션에 정해져 있습니다. 같은 애플리케이션의 모든 태스크가 함께 씁니다.
출력은 벤치마크셋에 미리 넣지 않습니다. 평가를 실행할 때 애플리케이션이 만듭니다.
참조는 없어도 됩니다. 참조 없이 채점하는 평가지표도 있습니다.
참조·메타데이터 키는 벤치마크셋 데이터를 가져올 때 파일의 열과 연결됩니다.

예를 들어 벤치마크셋 데이터 한 건은 이렇게 생겼습니다.

query (입력)	expected_response (참조)	source (메타데이터)
샘플 적금은 최소 얼마부터 가입할 수 있나요?	월 1만 원부터 가입할 수 있습니다.	상품설명서

자주 쓰는 표준 키 이름은 평가 핵심 개념에서 확인합니다.

④키 연결

템플릿은 자기만의 키 이름을 씁니다. 이 이름이 애플리케이션의 키 이름과 다를 수 있습니다. 그래서 템플릿으로 태스크를 만들 때 템플릿 키를 태스크 키에 하나씩 연결합니다.

템플릿 필수 키: 추가할 템플릿이 쓰는 키
태스크 키: 템플릿 키와 연결할 이 태스크의 키

템플릿 키마다 다음 중 하나를 고릅니다.

선택	하는 일
입력·출력 키	애플리케이션의 입력 또는 출력 키에 연결합니다.
`참조 키로 자동 생성`	같은 이름의 참조 키를 새로 만듭니다.
`메타데이터 키로 자동 생성`	같은 이름의 메타데이터 키를 새로 만듭니다.
`열 값 지우기`	이 키를 쓰지 않고 그 열의 값을 비웁니다.

예를 들어 템플릿 키가 response이고 애플리케이션의 출력 키가 answer라면 둘을 연결합니다. 템플릿의 expected_response는 참조 키로 자동 생성으로 새로 만들 수 있습니다.

템플릿 키를 모두 연결해야 태스크를 추가할 수 있습니다.
같은 태스크 키에 템플릿 키 두 개를 연결할 수 없습니다.

1-1템플릿으로 생성
1. Criteria 화면에서 + New Task를 클릭합니다.
2. 원하는 템플릿을 선택합니다.
3. Add Task를 클릭합니다.
- 원하는 템플릿이 없으면 위쪽 필터나 검색창으로 찾습니다.
- 템플릿과 Custom Task의 차이는 템플릿과 Custom Task에서 확인합니다.
1-2템플릿 Key 연결
1. Mapping incomplete로 표시된 Key를 클릭합니다. 처음이라면 Key 연결을 먼저 읽어 보세요.
2. 연결할 Task Key를 고릅니다.
3. Complete를 클릭합니다.
4. Task 목록에서 추가한 Task를 확인합니다.
- 템플릿 Key는 모두 Task Key에 연결해야 합니다.
- 연결할 Key가 없으면 Reference나 Metadata Key로 새로 만들 수 있습니다.
1-3Custom Task 생성
1. + New Task를 클릭합니다.
2. Custom Task를 선택합니다.
3. Task Name과 Description을 입력합니다.
4. Complete를 클릭합니다.
5. Task Detail 화면에서 추가한 Task를 확인합니다.
Description은 입력하지 않아도 됩니다.

2. 태스크 화면 확인

①태스크 화면 구성

평가체계 화면에서 태스크 이름을 클릭하면 태스크 화면이 열립니다. 태스크 화면은 영역 4개로 나뉩니다.

영역	보여 주는 것
`태스크 정보`	대분류, 태스크 이름, 설명
`스키마 설정`	이 태스크의 키. 입력, 출력, 참조, 메타데이터로 나뉩니다.
`평가지표`	이 태스크에 속한 평가지표. 유형, 필요한 키, 결과 항목, 평가 모델이 보입니다.
`벤치마크셋`	평가 데이터. 키가 표의 열로 보입니다.

평가지표 추가는 평가지표 관리에서, 데이터 추가는 벤치마크셋 관리에서 설명합니다.

2-1화면 구성
1. Criteria 화면에서 Task 이름을 클릭합니다. 영역별 설명은 Task 화면 구성에 있습니다.
2. Task Info에서 이름, 설명, Task Group을 확인합니다.
3. Schema Setting에서 Task의 Key를 확인합니다. Key마다 하는 일은 Key 종류에 있습니다.
4. Metric에서 Task에 속한 Metric을 확인합니다.
5. Benchmark Set에서 평가 데이터를 확인합니다.

3. 키 정보 관리

3-1Input·Output Key 수정
1. Go to Application Setting을 클릭합니다.
Input·Output Key는 Application Setting 화면에서 수정합니다.
3-2Key 이름 수정
1. Reference의 Edit을 클릭합니다.
2. 바꿀 Key 옆 Edit을 클릭합니다.
3. 이름을 고치고 Save를 클릭합니다.
4. Complete를 클릭합니다.
Metadata Key는 Metadata의 Edit에서 같은 방법으로 수정합니다.
3-3Key 추가
1. + Add Key를 클릭합니다.
2. 새 Key 이름을 입력하고 Save를 클릭합니다.
3. Complete를 클릭합니다.
3-4Key 삭제
1. 지울 Key 옆 −를 클릭합니다.
2. Complete를 클릭합니다.
저장된 Key를 지우면 되돌릴 수 없습니다. 이미 나온 평가 결과는 남습니다.

자주 묻는 질문

태스크 화면에서 입력·출력 키를 왜 수정할 수 없나요?입력·출력 키는 애플리케이션 설정에서 관리하기 때문이에요.

원인: 입력·출력 키는 애플리케이션 설정에서 관리해요. 태스크 화면에는 수정 대신 이동 링크만 있어요.
해결 방법: 애플리케이션 설정 바로가기를 눌러 애플리케이션 설정 화면에서 수정해 주세요. 키 종류마다 수정하는 곳은 키 종류에 정리했어요.

키를 고친 뒤 완료 버튼이 왜 눌리지 않나요?아직 저장하지 않은 키가 있기 때문이에요.

원인: 키 이름을 고치거나 새로 입력하는 중에는 완료가 꺼져 있어요.
해결 방법: 고친 키 옆 저장을 먼저 눌러 주세요. 필요 없는 키는 −로 지워 주세요.

템플릿으로 태스크를 추가할 때 완료 버튼이 왜 눌리지 않나요?연결하지 않은 템플릿 키가 남아 있기 때문이에요.

원인: 매핑 미완료로 표시된 키가 있으면 태스크를 추가할 수 없어요.
해결 방법: 빨간 칸을 눌러 태스크 키를 고르거나, 참조·메타데이터 키로 새로 만들어 주세요. 고를 수 있는 항목은 키 연결에 있어요.