Platform Docs
Try DatumoEval

애플리케이션 생성

평가할 애플리케이션을 만들고 모듈·버전을 설정하며, 에이전트 Connection 화면에서 애플리케이션과 모듈을 수정하거나 삭제하는 방법을 안내합니다.

1. 애플리케이션 만들기

①애플리케이션이란

애플리케이션은 평가와 모니터링의 기본 단위입니다. 운영 중인 AI 서비스 하나가 애플리케이션 하나에 해당합니다. 애플리케이션은 워크스페이스 안에 등록합니다.

②시작 위치와 권한

위치방법보이는 역할
왼쪽 메뉴의 애플리케이션 선택+ 애플리케이션 추가컴퍼니 오너, 어드민, 워크스페이스 어드민
워크스페이스 General Setting애플리케이션 추가컴퍼니 오너, 어드민, 워크스페이스 어드민

③입력 항목

항목설명
애플리케이션 이름워크스페이스 안에서 구분할 이름
유형애플리케이션 유형(예: Knowledge-based QA)
도메인서비스 분야(예: Finance)
언어한국어 (KR), 영어 (EN), 기타
입력/출력 키기본값은 입력 키 query, 출력 키 response. 각각 하나 이상 있어야 합니다.
모듈 관리파이프라인 구성 요소를 따로 평가하려면 모듈을 추가합니다. 선택 항목입니다.

키 타입은 string, list, boolean, number, json을 쓸 수 있습니다.

  1. 1-1생성 창 열기

    1. 왼쪽 메뉴의 Application 선택 상자를 엽니다.
    2. + New Application을 클릭합니다.

    Workspace General Setting의 + Add Application으로도 엽니다.

  2. 1-2정보 입력

    1. Application Name을 입력합니다.
    2. Type과 Domain을 고릅니다.
    3. Language를 고릅니다.
    4. Input/Output Key를 확인합니다.
  3. 1-3Module 추가

    1. Module을 따로 평가하려면 + Add Module로 Module Type을 고릅니다.

    Application을 만든 뒤에도 3. Module 관리에서 추가할 수 있습니다.

  4. 1-4생성 완료

    1. Complete를 클릭합니다.
    2. 다음 작업을 고릅니다. Go to Application Setting을 누르면 API를 연결하는 Agent Connection으로 갑니다.

    Explore Criteria를 누르면 평가 기준 화면으로 갑니다.


2. 에이전트 Connection

①화면 구성

왼쪽 메뉴 아래쪽의 애플리케이션 설정을 클릭하면 설정 > 애플리케이션 > Agent Connection이 열립니다. Editor와 Viewer에게는 이 메뉴가 보이지 않습니다.

영역내용
애플리케이션 카드유형, 도메인, 언어, 입력 키, 출력 키, 워크스페이스에서 사용 가능 스위치, 수정 버튼
버전 목록애플리케이션 버전 목록. 연동 단계와 Token&Cost 설정이 보입니다.
모듈 목록모듈마다 키와 버전 목록. + 새 모듈로 추가합니다.

②버전 상태

표시뜻
빨간 API 연동API 연동이 필요합니다. 클릭하면 연동 창이 열립니다.
출력 매핑API 연동을 마친 뒤 응답 매핑을 합니다.
준비 완료연동과 매핑을 마쳐 평가에 쓸 수 있습니다.
버튼동작
+ 처음부터 새 버전 생성기존 설정 없이 새 버전을 만듭니다.
+ 최신 버전에서 새 버전 생성가장 최근 버전의 설정값으로 만듭니다. 멀티턴 설정과 턴 정의도 복제됩니다.
  1. 2-1화면 열기

    1. Application 카드에서 기본 정보와 Key를 확인합니다.
    2. Version List에서 Version마다 연동 상태를 확인합니다.
  2. 2-2API 연동하기

    1. 빨간 API Integration을 클릭합니다. 연동 방법은 애플리케이션 API 연동에서 설명합니다.

    평가를 실행하려면 Version마다 API Integration과 Output Mapping을 마쳐야 합니다.

  3. 2-3Version 추가

    1. + New Version from Scratch 또는 + New Version from Latest를 클릭합니다.
    2. 연동을 마친 Version에는 Ready와 Token&Cost 설정이 표시됩니다.

    Version 행의 ⋮에서 복제하거나 삭제합니다.

  4. 2-4Workspace에 숨기기

    1. Available in Workspace 스위치를 끕니다. Application 선택 목록에서 숨겨집니다.

    숨긴 Application은 삭제되지 않습니다. 스위치를 켜면 다시 보입니다.

  5. 2-5Application 수정 · 삭제

    1. 카드 오른쪽 위 수정 버튼을 클릭합니다.
    2. 정보를 바꾸고 Save를 클릭합니다.
    3. 삭제하려면 Delete를 클릭하고 확인 창에서 한 번 더 Delete를 클릭합니다.

    삭제한 Application은 되돌릴 수 없습니다. 모든 Version, Module, 평가 결과가 삭제됩니다.


3. 모듈 관리

모듈 목록에서 모듈을 추가하거나 수정·삭제합니다. 키를 바꾸면 그 모듈의 버전 세팅을 다시 해야 하므로, 자세한 순서는 애플리케이션 API 연동의 모듈 세팅에서 함께 설명합니다.


자주 묻는 질문

왼쪽 메뉴에 왜 애플리케이션 설정이 없나요?이 워크스페이스에서 내 역할이 Editor나 Viewer이기 때문이에요.
원인
애플리케이션 설정은 워크스페이스 어드민 이상에게만 보여요.
해결 방법
워크스페이스 어드민에게 역할 변경을 요청해 주세요.
완료나 저장이 왜 눌리지 않나요?필수 항목이 비었거나 키가 없기 때문이에요.
원인
입력 키와 출력 키가 각각 하나 이상 있어야 해요. 수정 창에서는 바뀐 내용이 없을 때도 꺼져 있어요.
해결 방법
빈 항목을 채우고 키를 하나 이상 둬 주세요.
왜 평가를 실행할 수 없나요?버전의 API 연동과 출력 매핑을 마치지 않았기 때문이에요.
원인
빨간 API 연동이 남은 버전은 평가에 쓸 수 없어요.
해결 방법
애플리케이션 API 연동을 보고 연동을 마쳐 주세요.
애플리케이션이 선택 목록에 보이지 않으면 어떻게 하나요?에이전트 Connection에서 워크스페이스에서 사용 가능 스위치를 켜면 돼요.
원인
스위치가 꺼진 애플리케이션은 워크스페이스 목록에서 숨겨져요.
해결 방법
에이전트 Connection에서 스위치를 켜 주세요.

최종 수정일