> For the complete documentation index, see [llms.txt](https://docs.datumo.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.datumo.com/documentation/readme.md).

# Overview

## Overview

> LLM 기반 서비스는 배포 이후에도 품질이 계속 변합니다. 
>
> Datumo Platform은 그 변화를 정량으로 추적하고 관리하기 위해 세 가지 도구를 제공합니다. Evaluation으로 성능을 측정하고, Redteaming으로 취약점을 발굴하며, Observability로 운영 중 이상을 탐지합니다.

***

### 다투모 플랫폼(Datumo Platform)이란?

다투모 플랫폼은 Evaluation, Redteaming, Observability 세 가지 모듈로 구성됩니다. 각 모듈은 독립적으로 동작하며, Redteaming과 Observability에서 발견된 이슈는 Evaluation의 평가셋에 반영됩니다.

<figure><img src="/files/n8leHGYvITfoGuvMDWqN" alt=""><figcaption></figcaption></figure>

다투모 플랫폼은 세 모듈이 하나의 피드백 루프를 이루도록 설계되어 있습니다.&#x20;

Redteaming에서 발견된 취약점과 Observability에서 감지된 이상 패턴은 Evaluation의 평가셋에 자동으로 추가됩니다. 이를 통해 평가셋은 실제 운영 데이터와 적대적 시나리오를 지속적으로 반영하며 업데이트됩니다.

***

### 모듈별 소개

#### 1. Evaluation

Evaluation은 AI 서비스의 성능을 정해진 기준으로 측정하고, 개선 여부를 정량으로 검증하는 모듈입니다.

<table><thead><tr><th width="165.5048828125">단계</th><th>내용</th></tr></thead><tbody><tr><td><strong>Define</strong></td><td>정확성·톤·안전성 등 도메인 지표를 설계해 평가 기준을 세웁니다.</td></tr><tr><td><strong>Measure</strong></td><td>카테고리별 정확도를 측정해 성능의 강점과 약점을 파악합니다.</td></tr><tr><td><strong>Analyze</strong></td><td>점수뿐만 아니라 실패 원인을 클러스터링해 개선 포인트를 파악합니다.</td></tr><tr><td><strong>Improve</strong></td><td>개선 전후를 동일 기준으로 비교해 성능 변화를 정량으로 확인합니다.</td></tr></tbody></table>

> Evaluation은 100개 이상의 평가 템플릿, LLM-as-a-Judge 자동 채점, Score Reason Clustering 등을 지원합니다. 자세한 내용은 [Evaluation](https://www.notion.so/evaluation/core-concept.md) 섹션에서 확인하세요.

***

#### 2. Redteaming

Redteaming은 적대적 입력에 대한 AI 서비스의 취약점을 발굴하고, 발견된 이슈를 Evaluation 평가셋에 반영하는 모듈입니다.

<table><thead><tr><th width="127.74609375">단계</th><th>내용</th></tr></thead><tbody><tr><td><strong>Categorize</strong></td><td>유해성·편향·탈옥·민감정보 등 도메인별 위협 카테고리를 정의합니다.</td></tr><tr><td><strong>Generate</strong></td><td>우회·변형·역할극 등 적대적 프롬프트를 대규모로 자동 생성합니다.</td></tr><tr><td><strong>Attack</strong></td><td>강도를 단계적으로 높여가며 모델이 실패하는 지점을 탐색합니다.</td></tr><tr><td><strong>Feedback</strong></td><td>발견된 취약점은 Evaluation 평가셋에 자동으로 추가되어 회귀 테스트에 활용됩니다.</td></tr></tbody></table>

> Redteaming은 사전에 정의된 시나리오를 검증하는 것이 아니라, 적대적 프롬프트를 자동 생성해 모델이 실패하는 지점을 찾는 방식으로 동작합니다. 자세한 내용은[ Redteaming](https://www.notion.so/redteaming/core-concept.md) 섹션에서 확인하세요.

***

#### 3. Observability

Observability는 운영 중 사용자 대화를 수집·분석해 이상을 탐지하고, 발견된 이슈를 Evaluation 평가셋에 반영하는 모듈입니다.

<table><thead><tr><th width="146.30078125">단계</th><th>내용</th></tr></thead><tbody><tr><td><strong>Collect</strong></td><td>SDK를 통해 운영 중 대화, 트레이스, 메타데이터를 수집합니다.</td></tr><tr><td><strong>Cluster</strong></td><td>수집된 대화를 주제·의도·실패 유형으로 자동 분류합니다.</td></tr><tr><td><strong>Detect</strong></td><td>실패율 변화, 신규 토픽 출현 등 평소와 다른 패턴을 자동으로 탐지합니다.</td></tr><tr><td><strong>Loop Back</strong></td><td>탐지된 이슈는 Evaluation 평가셋에 추가되어 다음 평가 사이클에 반영됩니다.</td></tr></tbody></table>

> 출시 전 평가는 사전에 정의된 시나리오만 다룹니다. Observability는 실제 운영 데이터에서 발견된 이슈를 평가 체계로 되돌리는 역할을 합니다. 자세한 내용은[ Observability](https://www.notion.so/observability/dashboard.md) 섹션에서 확인하세요.

***

### 세 모듈을 함께 사용할 때

각 모듈은 독립적으로 사용할 수 있지만, 연동 시 다음과 같은 차이가 생깁니다.

<table><thead><tr><th width="135.8427734375">구분</th><th width="257.6201171875">개별 사용 시</th><th>연동 시</th></tr></thead><tbody><tr><td>개선 검증</td><td>주관적 판단에 의존</td><td>동일 기준 Before-After로 정량 검증</td></tr><tr><td>신규 위험</td><td>고객 불만이 들어와야 인지</td><td>Redteaming·Observability가 선제 발굴</td></tr><tr><td>평가 체계</td><td>최초 설정 이후 변경 없음</td><td>새 이슈가 지속적으로 반영되어 업데이트</td></tr><tr><td>운영-모델팀 협업</td><td>데이터·기준이 분리되어 피드백 단절</td><td>동일 데이터·기준 위에서 협업</td></tr></tbody></table>

***

### 시작하기 전에

다투모 플랫폼을 처음 사용하신다면, 다음 순서로 문서를 읽는 것을 권장합니다.

1. [**Get Started**](https://www.notion.so/get-start/core-concept.md) — Workspace, User, Model, Application 등 플랫폼의 핵심 개념과 초기 설정 방법을 확인합니다.
2. [**Evaluation**](https://www.notion.so/evaluation/core-concept.md) — 평가 기준을 설정하고 첫 평가를 실행합니다.
3. [**Redteaming**](https://www.notion.so/redteaming/core-concept.md) — Evaluation으로 성능 개선이 확인된 후, 적대적 입력으로 취약점을 추가 발굴합니다.
4. [**Observability**](https://www.notion.so/observability/dashboard.md) — 서비스가 실제 트래픽을 받기 시작하면, 운영 데이터를 평가셋에 반영합니다.

> 어떤 모듈을 사용하든 먼저 Evaluation 섹션을 확인하기를 권장합니다.

***

### 도움이 필요하신가요?

* 📧 문의: <contact@selectstar.ai>
* 🌐 웹사이트: [datumo.com](https://datumo.com/)
* 🎬 데모 신청: [데모 신청하기](https://datumo.com/)