변경 이력

DATUMO Platform에 버전별로 새로 추가된 기능을 안내합니다.

v1.7.0

2026.10.22

• Datumo 제공 모델: API Key가 없어도 Datumo가 제공하는 모델로 바로 생성·평가할 수 있습니다. 모델 선택 창에서 DATUMO 로고가 붙은 모델(EStar-Judge, Davi, Datumo Safety Judge, Datumo API Key로 제공하는 OpenAI · Anthropic · Gemini)을 고르면 됩니다. 제공 모델은 Gen & Judge Model 화면 맨 아래 DATUMO Model 영역에서 확인합니다. 자세한 내용은 Datumo Model에서 설명합니다.
• AI Provider로 모델 한 번에 등록: New Model에서 Preset(OpenAI, Anthropic, Gemini)을 고르고 API Key만 넣으면 해당 Provider의 모델이 한 번에 추가됩니다. Global Gen & Judge Model은 Company Gen & Judge Model로 이름이 바뀌었고, 여기서 등록한 모델은 모든 Workspace에서 쓸 수 있습니다. 모델 선택 창은 Provider → 모델 2단계로 바뀌고 검색이 생겼습니다. Gen & Judge 모델 등록을 참고하세요.
• Microsoft 계정 로그인: 회원가입·로그인 화면의 Continue with Microsoft로 이메일 인증이나 비밀번호 설정 없이 바로 가입하고 로그인할 수 있습니다.
• Simulation 결과 대시보드: Simulation Studio 결과 화면에서 사용량(Usage)과 평가 결과(Evaluation Result)를 카드로 나눠 봅니다. Usage 카드는 시나리오 생성 · 가상 사용자 · 에이전트 · 심사 모델 4단계의 비용 비중과 토큰 · 비용을 보여 주고, Evaluation Result 카드는 Must Mention · Expected Behavior · Expected Actions별 통과율을 보여 줍니다. 검증 항목의 80% 이상이 실패한 시나리오는 Representative Failures에 모아 먼저 확인할 수 있습니다. 결과 확인을 참고하세요.
• Red Teaming PDF 리포트: Run Detail의 리포트 생성(PDF)을 누르면 Run 결과가 문서형 PDF로 바로 내려받아집니다. 핵심 지표, Run 설정, Taxonomy · 공격 전략별 ASR에 더해 AI가 정리한 핵심 취약점 · 공격 사례 분석 · 개선 권고를 담아 내부 보고나 고객사 공유에 바로 쓸 수 있습니다. Completed Run과, 결과가 일부 있는 Stopped Run에서 만들 수 있습니다.

v1.6.0

2026.10.07

• 멀티턴 API 등록: Application Setting에서 여러 턴을 주고받는 대화형 API를 등록할 수 있습니다.
• 토큰 사용량과 비용 확인: Application Setting에서 토큰 단가를 설정하면, Run Report의 Usage 탭과 Agent Simulation에서 비용, 토큰 사용량, Latency를 확인할 수 있습니다.
• Agent Simulation 결과 화면 통합: 대화 이력, 평가 결과, 사용량을 Result 탭 한 화면에서 확인할 수 있습니다.
• Google 계정 로그인: Google 계정으로 바로 가입하고 로그인할 수 있습니다.

v1.5.0

2026.09.23

• Agent Simulation (Simulation Studio): 에이전트의 기획·정책 문서를 올리면 평가 시나리오를 자동으로 만들고, 가상 사용자와 대화를 진행한 뒤 정책을 지켰는지 채점합니다. Tool Schema와 Trajectory를 함께 올리면 도구 호출까지 평가할 수 있습니다.

v1.4.1

2026.08.26

• Run Report 버전 비교: Run Report에서 같은 모듈의 두 버전을 나란히 비교할 수 있습니다. 어떤 버전이 무엇을 더 잘하고 못하는지 한 화면에서 확인할 수 있습니다.

v1.4.0

2026.08.12

• Observability: 운영 중인 서비스의 로그(AWS CloudWatch)를 연동하면, 수집된 대화를 설정한 Metric으로 자동 채점하고 문제가 된 턴을 Fail Case로 모아 보여 줍니다. 배포 전 평가에 더해 운영 중인 서비스를 상시 모니터링할 수 있습니다.

v1.3.0

2026.08.12

• Run Report: Run이 끝나면 Report가 자동으로 생성됩니다. 차트를 직접 구성하지 않아도 Datumo의 판정 기준에 따라 배포 가능 여부(Pass / Fail)까지 바로 확인할 수 있습니다. 판정 기준은 Criteria 생성 & 관리의 Release Gate에서 설정합니다.

v1.2.1

2026.08.03

• 레드티밍 알고리즘과 전략 확장: STAR-Teaming 외에도 더 다양한 레드티밍 알고리즘과 전략군으로 공격을 실행할 수 있습니다.
• 커스텀 시드 데이터셋: 원하는 데이터셋을 직접 구성해 시드로 사용하고, 이를 바탕으로 레드티밍을 실행할 수 있습니다.
• 취약점 분석 대시보드 개편: 레드티밍 결과에서 취약점을 더 쉽게 분석할 수 있도록 대시보드를 새로 구성했습니다.

v1.2.0

2026.07.01

• Evaluation Lab: Evaluation Lab이 추가되었습니다.

v1.1.1

2026.06.15

• 커스텀 Benchmark Set 생성: AI Tool로 평가 데이터를 생성할 수 있습니다. 데이터 생성 템플릿 45종이 함께 추가되었습니다.

v1.1.0

2026.05.29

• Workspace · Application 단위 평가: Workspace와 Application 단위로 평가를 구성하고 실행할 수 있습니다.
• Criteria 기반 일괄 평가: 여러 평가 지표를 Criteria로 묶어 한 번에 평가할 수 있습니다.
• 대시보드 커스텀: 평가 결과 대시보드를 원하는 구성으로 직접 만들 수 있습니다.

v0.14.0

2026.02.27

• 셀프 회원가입과 Workspace 자동 생성: 이메일로 직접 가입할 수 있고, 가입이 끝나면 Workspace가 자동으로 만들어집니다. 비밀번호 찾기와 재설정도 지원합니다.
• 샘플 Workspace: 가입하면 샘플 데이터와 평가 결과가 미리 채워진 Workspace를 바로 둘러볼 수 있습니다.
• Trial 계정: Trial 계정에서는 결과 조회와 다운로드를 이용할 수 있습니다. 데이터 생성이나 평가 실행이 필요하면 화면의 문의하기로 연락해 주세요.

v0.13.0

2026.02.02

• 취약점 분석 대시보드: Taxonomy와 전략군별 공격 성공률(ASR)과 점수를 시각화하고, 개별 공격 시도의 쿼리·응답과 공격이 성공한 시점을 확인할 수 있습니다.
• 전략 기반 자동 레드티밍(STAR-Teaming) 고도화: 전략군 설명과 분류를 강화하고 채점 방식을 개선했습니다. 최대 반복 횟수(Max Loop, 최대 20회)를 설정할 수 있고, Task 기준으로 Attack Set을 관리할 수 있습니다.
• Safety 벤치마크 데이터셋: 전량 사람이 검수한 10,908건 규모의 자체 Safety 데이터셋을 제공합니다.