애플리케이션 생성
평가할 애플리케이션을 만들고 모듈·버전을 설정하며, 에이전트 Connection 화면에서 애플리케이션과 모듈을 수정하거나 삭제하는 방법을 안내합니다.
1. 애플리케이션 만들기
①애플리케이션이란
애플리케이션은 평가와 모니터링의 기본 단위입니다. 운영 중인 AI 서비스 하나가 애플리케이션 하나에 해당합니다. 애플리케이션은 워크스페이스 안에 등록합니다.
②시작 위치와 권한
| 위치 | 방법 | 보이는 역할 |
|---|---|---|
| 왼쪽 메뉴의 애플리케이션 선택 | + 애플리케이션 추가 | 컴퍼니 오너, 어드민, 워크스페이스 어드민 |
| 워크스페이스 General Setting | 애플리케이션 추가 | 컴퍼니 오너, 어드민, 워크스페이스 어드민 |
③입력 항목
| 항목 | 설명 |
|---|---|
애플리케이션 이름 | 워크스페이스 안에서 구분할 이름 |
유형 | 애플리케이션 유형(예: Knowledge-based QA) |
도메인 | 서비스 분야(예: Finance) |
언어 | 한국어 (KR), 영어 (EN), 기타 |
입력/출력 키 | 기본값은 입력 키 query, 출력 키 response. 각각 하나 이상 있어야 합니다. |
모듈 관리 | 파이프라인 구성 요소를 따로 평가하려면 모듈을 추가합니다. 선택 항목입니다. |
키 타입은 string, list, boolean, number, json을 쓸 수 있습니다.
1-1생성 창 열기
- 왼쪽 메뉴의 Application 선택 상자를 엽니다.
+ New Application을 클릭합니다.
Workspace General Setting의
+ Add Application으로도 엽니다.1-2정보 입력
Application Name을 입력합니다.Type과Domain을 고릅니다.Language를 고릅니다.Input/Output Key를 확인합니다.
1-3Module 추가
- Module을 따로 평가하려면
+ Add Module로 Module Type을 고릅니다.
Application을 만든 뒤에도 3. Module 관리에서 추가할 수 있습니다.
- Module을 따로 평가하려면
1-4생성 완료
Complete를 클릭합니다.- 다음 작업을 고릅니다.
Go to Application Setting을 누르면 API를 연결하는 Agent Connection으로 갑니다.
Explore Criteria를 누르면 평가 기준 화면으로 갑니다.
2. 에이전트 Connection
①화면 구성
왼쪽 메뉴 아래쪽의 애플리케이션 설정을 클릭하면 설정 > 애플리케이션 > Agent Connection이 열립니다. Editor와 Viewer에게는 이 메뉴가 보이지 않습니다.
| 영역 | 내용 |
|---|---|
| 애플리케이션 카드 | 유형, 도메인, 언어, 입력 키, 출력 키, 워크스페이스에서 사용 가능 스위치, 수정 버튼 |
버전 목록 | 애플리케이션 버전 목록. 연동 단계와 Token&Cost 설정이 보입니다. |
모듈 목록 | 모듈마다 키와 버전 목록. + 새 모듈로 추가합니다. |
②버전 상태
| 표시 | 뜻 |
|---|---|
빨간 API 연동 | API 연동이 필요합니다. 클릭하면 연동 창이 열립니다. |
출력 매핑 | API 연동을 마친 뒤 응답 매핑을 합니다. |
준비 완료 | 연동과 매핑을 마쳐 평가에 쓸 수 있습니다. |
| 버튼 | 동작 |
|---|---|
+ 처음부터 새 버전 생성 | 기존 설정 없이 새 버전을 만듭니다. |
+ 최신 버전에서 새 버전 생성 | 가장 최근 버전의 설정값으로 만듭니다. 멀티턴 설정과 턴 정의도 복제됩니다. |
2-1화면 열기
- Application 카드에서 기본 정보와 Key를 확인합니다.
Version List에서 Version마다 연동 상태를 확인합니다.
2-2API 연동하기
- 빨간
API Integration을 클릭합니다. 연동 방법은 애플리케이션 API 연동에서 설명합니다.
평가를 실행하려면 Version마다 API Integration과 Output Mapping을 마쳐야 합니다.
- 빨간
2-3Version 추가
+ New Version from Scratch또는+ New Version from Latest를 클릭합니다.- 연동을 마친 Version에는
Ready와Token&Cost설정이 표시됩니다.
Version 행의
⋮에서 복제하거나 삭제합니다.2-4Workspace에 숨기기
Available in Workspace스위치를 끕니다. Application 선택 목록에서 숨겨집니다.
숨긴 Application은 삭제되지 않습니다. 스위치를 켜면 다시 보입니다.
2-5Application 수정 · 삭제
- 카드 오른쪽 위 수정 버튼을 클릭합니다.
- 정보를 바꾸고
Save를 클릭합니다. - 삭제하려면
Delete를 클릭하고 확인 창에서 한 번 더Delete를 클릭합니다.
삭제한 Application은 되돌릴 수 없습니다. 모든 Version, Module, 평가 결과가 삭제됩니다.
3. 모듈 관리
모듈 목록에서 모듈을 추가하거나 수정·삭제합니다. 키를 바꾸면 그 모듈의 버전 세팅을 다시 해야 하므로, 자세한 순서는 애플리케이션 API 연동의 모듈 세팅에서 함께 설명합니다.
자주 묻는 질문
왼쪽 메뉴에 왜 애플리케이션 설정이 없나요?이 워크스페이스에서 내 역할이 Editor나 Viewer이기 때문이에요.
- 원인
- 애플리케이션 설정은 워크스페이스 어드민 이상에게만 보여요.
- 해결 방법
- 워크스페이스 어드민에게 역할 변경을 요청해 주세요.
완료나 저장이 왜 눌리지 않나요?필수 항목이 비었거나 키가 없기 때문이에요.
- 원인
- 입력 키와 출력 키가 각각 하나 이상 있어야 해요. 수정 창에서는 바뀐 내용이 없을 때도 꺼져 있어요.
- 해결 방법
- 빈 항목을 채우고 키를 하나 이상 둬 주세요.
왜 평가를 실행할 수 없나요?버전의 API 연동과 출력 매핑을 마치지 않았기 때문이에요.
- 원인
- 빨간
API 연동이 남은 버전은 평가에 쓸 수 없어요. - 해결 방법
- 애플리케이션 API 연동을 보고 연동을 마쳐 주세요.
애플리케이션이 선택 목록에 보이지 않으면 어떻게 하나요?에이전트 Connection에서 워크스페이스에서 사용 가능 스위치를 켜면 돼요.
- 원인
- 스위치가 꺼진 애플리케이션은 워크스페이스 목록에서 숨겨져요.
- 해결 방법
- 에이전트 Connection에서 스위치를 켜 주세요.