> For the complete documentation index, see [llms.txt](https://docs.datumo.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.datumo.com/documentation/get-started/undefined/4.-application.md).

# 4. Application 생성

## Application 생성

**필요 권한:** WS Admin 또는 Company Owner

Application은 평가 및 모니터링의 기본 단위로, 실제 운영 중인 AI 서비스 하나에 대응합니다. 다투모 플랫폼에서는 평가 대상이 되는 Application을 Workspace 내에 등록할 수 있습니다.

***

### 4-1. Application 생성

좌측 내비게이션 상단의 `+ New Application`을 클릭합니다. Application이 없는 경우 화면 중앙의 `+ Create First Application` 버튼으로도 생성할 수 있습니다.

<figure><img src="/files/Jr6sitT1UgHzgVLU2eDY" alt=""><figcaption></figcaption></figure>

모든 항목을 입력한 후 우측 상단에 있는 `+ Add Module` 을 클릭해 모듈을 추가할 수 있습니다. 한 번에 여러 Module Type을 선택할 수 있으며, `Add`를 클릭하면 선택한 타입의 Module이 추가됩니다.

Application 생성 시 Input Key와 Output Key를 수정할 수 있습니다. Application Key는 `string` 타입으로 설정되며, 기본값은 Input Key `query`, Output Key `response`입니다.

<figure><img src="/files/emJn65w7V2mdOhQriWG1" alt=""><figcaption></figcaption></figure>

#### Key Type 종류

Application Key는 입력값과 출력값의 데이터 형태에 따라 타입을 설정할 수 있습니다.\
지원하는 타입은 `string`, `list`, `boolean`, `number`, `json`입니다.

<table><thead><tr><th width="113.92578125">타입</th><th>설명</th></tr></thead><tbody><tr><td><code>string</code></td><td>일반 텍스트 값을 입력하거나 출력할 때 사용하는 타입입니다.</td></tr><tr><td><code>list</code></td><td>여러 개의 값을 배열 형태로 입력하거나 출력할 때 사용하는 타입입니다.</td></tr><tr><td><code>boolean</code></td><td>참/거짓 값을 입력하거나 출력할 때 사용하는 타입입니다.</td></tr><tr><td><code>number</code></td><td>숫자 값을 입력하거나 출력할 때 사용하는 타입입니다.</td></tr><tr><td><code>json</code></td><td>구조화된 객체 형태의 데이터를 입력하거나 출력할 때 사용하는 타입입니다.</td></tr></tbody></table>

추가된 Module은 우측 목록에 표시됩니다. Module Name은 기본적으로 타입명과 동일하게 설정되며 수정할 수 있습니다. Input Key와 Output Key는 타입별 기본값이 자동으로 설정되며, 필요에 따라 추가하거나 수정할 수 있습니다.

<figure><img src="/files/r4PpG4kSbhKfkQpuigNC" alt=""><figcaption></figcaption></figure>

### 4-2. Application 내 Agent 생성

`+Add Agent` 를 선택해 생성할 수 있습니다.

<figure><img src="/files/GCApQFfJtDoaUkHV5gq9" alt=""><figcaption></figcaption></figure>

`+ Add Module` 버튼을 클릭하면 우측에서 Module Type을 선택할 수 있습니다. Module Type은 다중 선택이 가능합니다. &#x20;

<figure><img src="/files/frMwEDkn7Z0QDXteG9R3" alt=""><figcaption></figcaption></figure>

각 Module 우측의 수정 버튼을 클릭하면 해당 Module의 Key 설정 영역이 펼쳐집니다. 해당 영역에서 Module 평가에 사용할 `Input Key`와 `Output Key`를 수정할 수 있습니다.

<figure><img src="/files/ZU66IL8zX6eTasR8cpko" alt=""><figcaption></figcaption></figure>

* `+ Add Input Key`: Module에 전달할 입력 Key를 추가할 수 있습니다.
* `+ Add Output Key`: Module의 응답에서 추출할 출력 Key를 추가할 수 있습니다.

추가된 Key는 타입과 이름을 설정할 수 있으며, 필요에 따라 수정하거나 삭제할 수 있습니다.&#x20;

모든 정보 입력 후 `Complete`를 클릭하면 Application이 생성됩니다. 생성 완료 후 다음 두 가지 중 하나를 선택해 진행할 수 있습니다.

<figure><img src="/files/Sz37FcC110GtcZKcFUdc" alt=""><figcaption></figcaption></figure>

<table><thead><tr><th width="221.24945068359375">액션</th><th>설명</th></tr></thead><tbody><tr><td>Explore Criteria</td><td>생성된 Application에 적용된 평가 기준을 확인하는 화면으로 이동합니다.</td></tr><tr><td>Go to Application Setting</td><td>평가 실행을 위해 필요한 API Key 및 Application 설정 화면으로 이동합니다.</td></tr></tbody></table>

### 4-3. Application 설정 및 활성화

Application Setting 페이지에서 평가 실행에 필요한 설정을 완료합니다.

#### Application Setting 화면 구성

Application Setting 화면에서는 생성된 Application의 기본 정보, Version, Module 정보를 확인하고 관리할 수 있습니다.

* **Version List:** \
  생성된 버전 목록이 표시됩니다. 평가를 실행하려면 각 버전의 API Integration과 Output Mapping을 완료해야 합니다.
* **Module List:** \
  생성 시 추가한 Module이 표시됩니다. Module-level 평가를 실행하려면 각 Module의 API Integration과 Output Mapping을 완료해야 합니다.

<figure><img src="/files/YqlamYyhuGdnC68a2Z7J" alt=""><figcaption></figcaption></figure>

좌측 Application 영역의 `+` 버튼을 클릭하면 새로운 Application을 추가할 수 있습니다.

Application 생성 시 기본적으로 `Available in Workspace` 상태로 설정됩니다. 우측 상단의 `Available in Workspace` 토글을 끄면 해당 Application이 Workspace에서 노출되지 않습니다.

토글을 끄고 `Hide Application`을 클릭하면 해당 Application이 Workspace 목록에서 숨겨집니다. 이때 Application은 삭제되지 않으며 Setting에서 계속 접근할 수 있습니다. 토글을 다시 켜면 `Make Available`을 클릭해 Workspace 목록에 다시 노출시킬 수 있습니다.

#### Version 생성

Application Version은 평가 대상이 되는 API 설정 단위입니다.

* `+ New Version from Scratch`: 기존 설정을 불러오지 않고 새로운 Version을 처음부터 생성할 수 있습니다.
* `+ New Version from Latest`: 가장 최근 Version의 설정값을 기반으로 새로운 Version을 생성할 수 있습니다.

### 4-4. Criteria Setting

<figure><img src="/files/2AirIlNPktzOl1KuB5oD" alt=""><figcaption></figcaption></figure>

* **Criteria 확인 및 추가**\
  기본으로 제공되는 `Default Criteria`를 확인할 수 있습니다.\
  상단의 `+` 버튼을 클릭하면 새로운 Criteria를 추가할 수 있습니다.
* **Task 및 Metric 정보 확인**\
  각 Criteria는 Task Group, Subgroup, Task, Metric, Benchmark Data 정보로 구성됩니다.\
  화면에서는 Criteria에 포함된 Task 목록과 각 Task에 연결된 Metric, Benchmark Data 수를 확인할 수 있습니다.
* **Subgroup 추가**\
  `+ New Subgroup` 버튼을 클릭하면 Criteria 내에 새로운 Subgroup을 추가할 수 있습니다.\
  Subgroup은 관련 Task를 그룹 단위로 관리할 때 사용됩니다.
* **평가 실행**\
  `Run Evaluation` 버튼을 클릭하면 현재 Criteria를 기준으로 평가를 실행할 수 있습니다.

### 4-5. Application 수정 및 삭제하기

우측 상단의 수정 버튼을 클릭하면 Application 기본 정보를 수정할 수 있습니다.

<figure><img src="/files/rH5sEcaus2WqLlO3GOqz" alt=""><figcaption></figcaption></figure>

변경사항이 생기는 경우, `Save` 버튼이 활성화 됩니다. 단, Input/Output Key는 각각 최소 하나씩 입력해야 합니다.

<figure><img src="/files/O3mO3ozOPKOiSLpmbBrp" alt=""><figcaption></figcaption></figure>

`Delete` 버튼을 클릭하면 Application 삭제 확인 팝업이 뜹니다. "Delete application"을 입력하면 `Delete` 버튼이 활성화 되며, 영구적으로 삭제됩니다.

<figure><img src="/files/pOSaPsbsSDThf1t9htV6" alt=""><figcaption></figcaption></figure>

### 4-6. Module 수정 및 삭제 하기

Module List에서는 Application에 연결된 Module을 확인하고 관리할 수 있습니다.

<figure><img src="/files/SS4C67DUU1sxc0xm4dRA" alt=""><figcaption></figcaption></figure>

`+ New Module` 버튼을 클릭하면 새로운 Module을 생성할 수 있습니다. 각 Module 카드 우측의 수정 버튼을 클릭하면 해당 Module의 설정 정보를 수정할 수 있습니다.

변경사항이 생기는 경우, `Save` 버튼이 활성화 됩니다. 단, Input/Output Key는 각각 최소 하나씩 입력해야 합니다.

<figure><img src="/files/oRRVUE1ahTJKTtG70W6a" alt=""><figcaption></figcaption></figure>

`Delete` 버튼을 클릭하면 Application 삭제 확인 팝업이 뜹니다. "Delete application"을 입력하면 `Delete` 버튼이 활성화 되며, 영구적으로 삭제됩니다.

<figure><img src="/files/pOSaPsbsSDThf1t9htV6" alt=""><figcaption></figcaption></figure>

***

### 🔗 관련 문서

* G-1.  Workspace 생성 — 평가 작업을 수행할 Workspace 생성
* G-2. User 관리 — Workspace에 사용자 초대 및 권한 부여
* G-3. Gen\&Judge 모델 등록 — 평가에 사용할 Gen/Judge 모델 설정
* G-5. Application 생성 — 평가 대상 Application 등록