Platform Docs
Try DatumoEval

생성·평가 모델 등록

자동화 기능에 쓸 LLM·임베딩 모델을 워크스페이스나 조직(Organization) 단위로 등록하고, 활성화·비활성화와 대체 모델 지정을 하는 방법을 안내합니다.

1. 모델 목록

①모델 타입

생성·평가 모델은 데이터 생성, LLM-as-a-Judge 채점, 시뮬레이션처럼 DATUMO 플랫폼의 자동화 기능에 쓰는 모델입니다.

모델 타입용도
LLM데이터 생성과 LLM-as-a-Judge 방식 평가에 씁니다. LLM-as-a-Judge는 LLM이 답변을 채점하는 평가 방식입니다.
Decision 모델판단형 평가지표에 씁니다. 텍스트를 만들지 않고 정해 둔 선택지 중 하나를 고릅니다. DATUMO 모델로 Davi와 Jev(Typesafe)가 제공됩니다.
임베딩임베딩 기반 평가 지표에 씁니다.

②모델 범위

범위화면 표시관리하는 곳쓸 수 있는 곳
워크스페이스 모델Workspace Model설정 > 워크스페이스 > 모델 관리 (Gen & Judge)그 워크스페이스에서만
조직 모델조직 모델설정 > 조직 > 공통 모델 관리 (Gen & Judge)조직의 모든 워크스페이스
DATUMO 모델DATUMO ModelDATUMO가 제공 · 관리모든 워크스페이스

워크스페이스 모델은 컴퍼니 오너, 어드민, 워크스페이스 어드민이 관리합니다. 조직 모델은 컴퍼니 오너와 어드민이 관리합니다.

  1. 1-1목록 열기

    1. Settings > Workspace > Workspace Gen & Judge Model을 엽니다.

  2. 1-2범위별 묶음

    1. Workspace Model은 이 Workspace에서만 씁니다.
    2. Organization Model은 Organization 전체 모델입니다. 여기서는 바꿀 수 없습니다.
    3. DATUMO Model은 DATUMO가 관리합니다.

  3. 1-3모델 정보

    1. 행마다 이름, API Key, 타입, API URL, 대표 모델, 수정일이 보입니다.
    2. Preset은 + n models를 눌러 포함된 모델 전체를 봅니다.

    Preset 이름은 {제공사} ({키 끝 4자리})로 자동으로 붙습니다.

2. 새 모델 추가

①연결 방식

방식설명
Preset지원하는 제공사는 API 키만 넣으면 연결됩니다. 제공사의 LLM 모델이 한 번에 추가됩니다.
Anthropic, Baseten, Cerebras, Cohere, Fireworks, Gemini, Groq, Lepton, Mistral, OpenAI, OpenRouter, Perplexity, Replicate, Together.ai, xAI
커스텀 제공업체vLLM, Ollama, RunPod처럼 OpenAI 호환 엔드포인트를 직접 연결합니다. LLM은 Chat Completions API, 임베딩은 Embedding API 형식을 지원합니다.

  1. 2-1Preset으로 추가

    1. + New Model을 클릭합니다.
    2. Preset에서 제공사를 클릭합니다.
    3. API Key를 입력합니다.
    4. Save를 클릭합니다.

    키가 없으면 안내 링크로 제공사 콘솔에 가서 발급받습니다.

  2. 2-2Custom Model로 추가

    1. Custom Provider의 Custom Model을 클릭합니다.
    2. Model Type에서 LLM 또는 Embedding을 고릅니다.
    3. Model Name, API Request Model, API URL, API Key를 입력합니다.
    4. Save를 클릭합니다.

    API URL은 https://로 시작해야 합니다.

3. 활성화와 비활성화

①대체 모델

비활성 모델은 평가와 자동화 기능에서 고를 수 없습니다. 모델을 쓰는 곳이 있으면 비활성화할 때 대체 모델을 고릅니다.

  • 사용처는 평가(평가지표), 시뮬레이션, 레드티밍(모델 설정), 평가 랩, 모니터링으로 묶여 보입니다.
  • 대체 모델은 바꾼 뒤 실행하는 평가에만 적용됩니다. 이미 실행한 평가와 결과는 바뀌지 않습니다.
  • 다시 활성화하면, 비활성화할 때 비워 둔 사용처가 이 모델로 다시 채워집니다. 그 사이 다른 모델을 지정한 사용처는 그대로입니다.
  • 모델을 삭제할 때도 같은 창이 열립니다. 쓰는 곳이 있으면 Replace {n} & Delete로 삭제합니다.

  1. 3-1비활성화 (사용처 없음)

    1. 켜진 스위치를 클릭합니다.
    2. 사용처가 없으면 바로 Deactivate를 클릭합니다.

  2. 3-2비활성화 (사용처 있음)

    1. 몇 곳에서 쓰는지 확인합니다.
    2. Select Replacement Model에서 대체 모델을 한 번에 고릅니다.
    3. 사용처마다 다르게 고르려면 아래 목록에서 바꿉니다.
    4. Replace {n} & Deactivate를 클릭합니다.

    대체 모델은 이후 실행에만 적용됩니다.

  3. 3-3다시 활성화

    1. 꺼진 스위치를 클릭합니다.
    2. 확인 창에서 Activate를 클릭합니다.

4. 조직 모델 등록

컴퍼니 오너와 어드민은 조직의 모든 워크스페이스에 함께 쓸 모델을 등록할 수 있습니다. 여기서 바꾼 활성화 상태는 모든 워크스페이스에 바로 반영됩니다.

  1. 4-1화면 열기

    1. Settings > Organization > Organization Gen & Judge Model을 엽니다.

  2. 4-2모델 추가

    1. + New Model로 추가합니다. 방법은 2. 새 모델 추가와 같습니다.

  3. 4-3활성화 관리

    1. 스위치로 켜고 끕니다. 비활성화할 때는 사용 중인 Workspace별로 대체 모델을 고릅니다.

    아래쪽 DATUMO Model은 바꿀 수 없습니다.

자주 묻는 질문

조직 모델의 스위치가 왜 눌리지 않나요?조직 모델은 컴퍼니 오너와 어드민이 공통 모델 관리 화면에서만 관리하기 때문이에요.
원인
컴퍼니 오너와 어드민이 공통 모델 관리 (Gen & Judge) 화면에서만 관리해요.
해결 방법
컴퍼니 오너나 어드민에게 요청해 주세요.
저장이 왜 눌리지 않나요?필수 항목이 비었거나 API 주소가 https://로 시작하지 않기 때문이에요.
원인
네 항목을 모두 채워야 저장할 수 있어요.
해결 방법
입력란을 확인해 주세요.
평가나 자동화 기능에서 왜 모델을 고를 수 없나요?모델이 비활성 상태이기 때문이에요.
원인
비활성 모델은 사용 대상에서 빠져요.
해결 방법
모델 행의 스위치를 켜 주세요.
비활성화했더니 지난 평가의 모델도 바뀌었나요?아니요, 지난 평가는 그대로예요.
원인
대체 모델은 바꾼 뒤 실행하는 평가에만 적용돼요.
해결 방법
다시 실행하면 대체 모델로 실행돼요.

최종 수정일