빠른 시작

처음 가입한 뒤 첫 평가 결과를 보기까지의 가장 짧은 길을 6단계로 안내합니다.

처음 가입한 뒤 첫 평가 결과를 보기까지 가장 짧은 길입니다. 단계마다 자세한 설명이 있는 문서를 링크해 두었습니다. 개념이 먼저 궁금하다면 시작하기 핵심 개념과 평가 핵심 개념을 먼저 읽어 보세요.

한 줄 요약

가입해 조직과 워크스페이스를 만들고 → 채점에 쓸 모델을 등록하고 → 평가할 애플리케이션을 만들어 API를 연결한 뒤 → 평가 기준(평가체계)을 세워 실행하면 → 결과를 점수로 확인합니다.

업무용 이메일로 가입하면 첫 조직과 첫 워크스페이스가 함께 만들어집니다. 가입한 사람이 컴퍼니 오너가 됩니다.

2. 생성·평가 모델 등록

평가는 LLM이 답변을 채점하는 방식(LLM-as-a-Judge)을 많이 씁니다. 채점에 쓸 모델을 먼저 등록합니다.

평가할 AI 서비스를 애플리케이션으로 등록하고, DATUMO가 호출할 수 있도록 API를 연결합니다.

왼쪽 메뉴의 애플리케이션 선택 상자에서 + 애플리케이션 추가를 클릭해 이름, 유형, 언어를 넣습니다.
애플리케이션 설정의 에이전트 Connection에서 버전의 API 연동을 클릭해 API 주소와 요청 본문을 넣고, 응답에서 평가할 값을 고릅니다(출력 매핑).

평가체계는 평가 기준 묶음이고, 그 안의 태스크가 실제로 평가를 실행하는 단위입니다. 애플리케이션을 만들면 유형에 맞는 태스크가 템플릿에서 자동으로 추천됩니다.

평가체계 메뉴에서 추천된 태스크를 확인합니다. 템플릿 태스크에는 평가 데이터(벤치마크셋)와 채점 방법(평가지표)이 들어 있어 바로 실행할 수 있습니다.
우리 서비스에 맞는 질문을 넣고 싶다면 벤치마크셋에 데이터를 올리거나 AI로 만듭니다.

평가체계 화면 오른쪽 위의 평가 실행을 클릭해 평가할 태스크와 버전을 고르고 실행합니다. 실행 상태는 평가 이력 메뉴에서 봅니다.

평가가 끝나면 태스크마다 점수와 데이터 한 건씩의 채점 근거를 봅니다. 프롬프트나 모델을 바꾼 뒤 새 버전으로 다시 실행하면 전과 후를 같은 기준으로 비교할 수 있습니다.

하고 싶은 일	기능	문서
에이전트가 정책을 지키며 대화하는지 가상 사용자와 긴 대화로 확인	시뮬레이션	시뮬레이션 핵심 개념
어떤 공격에 취약한지 자동 공격으로 점검	레드티밍	레드티밍 핵심 개념
운영 중인 서비스의 실제 대화를 계속 지켜보기	모니터링	모니터링 핵심 개념
사람이 직접 공격해 보는 레드팀 이벤트	평가 랩	플레이그라운드 핵심 개념