시작하기
DATUMO Platform 시작하기: 가입, 워크스페이스 설정, 모델 등록, 애플리케이션 연동까지 안내합니다.
조직
플랫폼의 최상위 단위입니다. 회사나 팀 하나가 조직 하나를 씁니다.
- 하나의 조직에 여러 워크스페이스를 둘 수 있습니다.
- 한 계정이 여러 조직에 속할 수 있습니다. LNB 맨 위 조직 이름을 눌러 여는 조직 Switcher로 전환합니다.
- 직접 만들어 컴퍼니 오너가 되는 조직은 계정당 하나입니다. 다른 조직에는 초대를 받아 참여합니다.
1-1Switcher 열기
- LNB 맨 위 Organization 이름을 클릭합니다.
- Organization Switcher가 열립니다. 왼쪽에서 Organization을, 오른쪽에서 Workspace를 골라 이동합니다. 자세한 사용법은 조직 및 워크스페이스에서 설명합니다.
워크스페이스
독립된 작업 공간입니다. 보통 서비스, 팀, 프로젝트 단위로 나눕니다.
- 워크스페이스마다 애플리케이션, 멤버, 생성·평가 모델, 평가 기록을 따로 가집니다.
- 한 워크스페이스의 데이터와 설정은 다른 워크스페이스에 영향을 주지 않습니다.
애플리케이션
평가와 모니터링의 기본 단위입니다.
- 고객 상담 챗봇, 문서 요약 서비스처럼 운영 중인 AI 서비스 하나에 대응합니다.
- 하나의 워크스페이스에 여러 애플리케이션을 둘 수 있습니다.
모듈
애플리케이션을 구성하는 파이프라인 구성 요소입니다. RAG, Retriever, Router, Text to SQL 등이 해당합니다.
| 평가 레벨 | 대상 | 설명 |
|---|---|---|
| Module-level eval | 개별 모듈 | RAG 검색 품질, Router 분류 정확도처럼 구성 요소 단위로 측정합니다. |
| E2E eval | 애플리케이션 전체 | 사용자 입력부터 최종 출력까지 전체 파이프라인의 품질을 검증합니다. |
두 레벨을 함께 실행하면 전체 품질 저하가 어느 모듈에서 비롯되는지 파악할 수 있습니다.
역할
역할은 조직 역할과 워크스페이스 역할 두 가지로 나뉩니다.
①조직 역할
| 역할 | 할 수 있는 일 |
|---|---|
컴퍼니 오너 | 조직의 최고 관리자입니다. 조직마다 한 명입니다. 컴퍼니 오너 이전, 조직 삭제, 어드민 지정을 할 수 있습니다. |
Admin | 모든 워크스페이스와 멤버를 관리합니다. 멤버 초대와 워크스페이스 생성을 할 수 있습니다. |
멤버 | 배정받은 워크스페이스에만 접속 가능합니다. 워크스페이스에서의 권한은 워크스페이스 역할로 정합니다. |
컴퍼니 오너와 어드민은 모든 워크스페이스에서 자동으로 워크스페이스 어드민 권한을 받습니다. 이렇게 물려받은 권한은 워크스페이스에서 바꿀 수 없습니다.
②워크스페이스 역할
| 역할 | 할 수 있는 일 |
|---|---|
워크스페이스 어드민 | 워크스페이스 설정 전체(워크스페이스 정보, 멤버, 모델, 애플리케이션)를 관리합니다. |
Editor | 설정을 뺀 모든 작업을 편집하고 실행합니다. |
Viewer | 결과와 대시보드를 보고 내보내기만 합니다. |
③권한 요약
| 작업 | 컴퍼니 오너 | 어드민 | 멤버 | 워크스페이스 어드민 | Editor | Viewer |
|---|---|---|---|---|---|---|
| 컴퍼니 오너 이전 · 조직 삭제 | ● | - | - | - | - | - |
| 어드민 지정 · 해제 | ● | ● | - | - | - | - |
| 멤버 역할 변경 · 초대 · 제거 | ● | ● | - | - | - | - |
| 워크스페이스 설정 · 멤버 역할 지정 | ◯ | ◯ | 워크스페이스역할 | ● | - | - |
| 애플리케이션 생성 · 삭제 | ◯ | ◯ | 워크스페이스역할 | ● | - | - |
| 평가 생성 · 실행 | ◯ | ◯ | 워크스페이스역할 | ● | ● | - |
| 결과 조회 · 내보내기 | ◯ | ◯ | 워크스페이스역할 | ● | ● | ● |
| 어노테이션 대기열 작업 | ◯ | ◯ | 워크스페이스역할 | ● | ● | ● |
● : 가능 / - : 불가
◯ : 조직 역할에서 상속
워크스페이스 역할 : 조직 멤버는 워크스페이스마다 받은 역할을 따름
화면 구성
①기본 화면
1. 기본 화면 둘러보기
1-1Organization · Workspace
- LNB 맨 위에 지금 쓰는 Organization 이름이 보입니다. 누르면 Organization Switcher가 열립니다.
1-2Application 선택
Application아래 선택 상자에서 평가할 Application을 고릅니다.
1-3메뉴
- Evaluation, Simulation, Red Teaming, Playground, Observability 메뉴가 묶여 있습니다.
1-4내 계정 · 알림
- 맨 아래 내 이름을 누르면 내 계정 메뉴가, 🔔을 누르면 알림이 열립니다. 내 계정을 참고하세요.
②설정
설정은 세 곳에서 들어갑니다. 조직 Switcher의 Organization Setting(컴퍼니 오너·어드민), Switcher의 워크스페이스 행 ⚙(그 워크스페이스의 워크스페이스 어드민 이상), 왼쪽 메뉴의 애플리케이션 설정입니다. 설정 화면의 왼쪽 메뉴는 세 영역으로 나뉩니다.
| 영역 | 메뉴 |
|---|---|
| 조직 | General Setting, 워크스페이스 사용자 관리, 공통 모델 관리 (Gen & Judge) |
| 워크스페이스 | General Setting, 워크스페이스 사용자 관리, 모델 관리 (Gen & Judge) |
| 애플리케이션 | Agent Connection, Observability Connection |
- 들어온 위치에 따라 보이는 영역이 다릅니다. 조직에서 들어오면 조직 영역만, 워크스페이스에서 들어오면 워크스페이스와 조직 영역이, 애플리케이션에서 들어오면 세 영역이 모두 보입니다.
- 워크스페이스 어드민에게는 조직 영역이 보이지 않습니다. Editor와 Viewer는 설정에 들어갈 수 없습니다.
- 왼쪽 위의
이전을 누르면 원래 화면으로 돌아갑니다.
1. Settings 화면 둘러보기
1-1Organization 영역
- Organization 전체에 적용되는 설정입니다.
1-2Workspace 영역
- 지금 Workspace의 설정입니다.
1-3Application 영역
- 지금 Application의 API 연결 설정입니다.
1-4돌아가기
Back을 누르면 Settings에 들어오기 전 화면으로 돌아갑니다.