Platform Docs
Try DatumoEval

生成・評価モデルの登録

自動化機能で使う LLM・Embedding モデルを Workspace または Organization 単位で登録し、有効化・無効化や代替モデルの指定を行う方法を説明します。

1. モデル一覧

①モデルタイプ

生成・評価モデル(Gen & Judge モデル)は、データ生成、LLM-as-a-Judge による採点、シミュレーションなど、DATUMO Platform の自動化機能で使うモデルです。

モデルタイプ用途
LLMデータ生成と LLM-as-a-Judge 方式の評価に使います。LLM-as-a-Judge は、LLM が回答を採点する評価方式です。
Decision ModelDecision Model の Metric に使います。テキストを生成せず、決めた選択肢から 1 つを選びます。DATUMO モデルとして Davi と Jev(Typesafe)が提供されます。
EmbeddingEmbedding ベースの評価指標に使います。

②モデルの範囲

範囲画面表示管理する場所使える場所
Workspace モデルWorkspace Model設定 > Workspace > Workspace Gen & Judge Modelその Workspace のみ
Organization モデルOrganization Model設定 > Organization > Organization Gen & Judge ModelOrganization 内のすべての Workspace
DATUMO モデルDATUMO ModelDATUMO が提供・管理すべての Workspace

Workspace モデルは Owner、Admin、Workspace Admin が管理します。Organization モデルは Owner と Admin が管理します。

  1. 1-1一覧を開く

    1. Settings > Workspace > Workspace Gen & Judge Model を開きます。
  2. 1-2範囲ごとのグループ

    1. Workspace Model は、この Workspace でのみ使います。
    2. Organization Model は Organization 全体のモデルです。ここでは変更できません。
    3. DATUMO Model は DATUMO が管理します。
  3. 1-3モデル情報

    1. 各行に名前、API Key、タイプ、API URL、代表モデル、更新日が表示されます。
    2. Preset は + n models を押すと、含まれるモデルをすべて確認できます。

    Preset 名は {プロバイダー} ({キーの末尾 4 文字}) の形式で自動的に付けられます。


2. 新しいモデルの追加

①接続方式

方式説明
Preset対応しているプロバイダーは、API キーを入力するだけで接続できます。プロバイダーの LLM モデルがまとめて追加されます。
Anthropic, Baseten, Cerebras, Cohere, Fireworks, Gemini, Groq, Lepton, Mistral, OpenAI, OpenRouter, Perplexity, Replicate, Together.ai, xAI
Custom ProvidervLLM、Ollama、RunPod などの OpenAI 互換エンドポイントを直接接続します。LLM は Chat Completions API、Embedding は Embedding API の形式に対応しています。
  1. 2-1Preset で追加

    1. + New Model をクリックします。
    2. Preset でプロバイダーをクリックします。
    3. API Key を入力します。
    4. Save をクリックします。

    キーがない場合は、案内リンクからプロバイダーのコンソールに移動して発行します。

  2. 2-2Custom Model で追加

    1. Custom Provider の Custom Model をクリックします。
    2. Model Type で LLM または Embedding を選びます。
    3. Model Name、API Request Model、API URL、API Key を入力します。
    4. Save をクリックします。

    API URL は https:// で始まる必要があります。


3. 有効化と無効化

①代替モデル

無効なモデルは、評価や自動化機能で選択できません。モデルを使用している箇所がある場合は、無効化するときに代替モデルを選びます。

  • 使用箇所は、評価(Metric)、シミュレーション、レッドチーミング(Model Setting)、Eval Lab、モニタリングごとにまとめて表示されます。
  • 代替モデルは、変更後に実行する評価にのみ適用されます。実行済みの評価とその結果は変わりません。
  • 再度有効化すると、無効化したときに空欄のままにしていた使用箇所が、このモデルで再び埋められます。その間に別のモデルを指定した使用箇所はそのままです。
  • モデルを削除するときも同じダイアログが開きます。使用箇所がある場合は Replace {n} & Delete で削除します。
  1. 3-1無効化(使用箇所なし)

    1. オンになっているスイッチをクリックします。
    2. 使用箇所がなければ、そのまま Deactivate をクリックします。
  2. 3-2無効化(使用箇所あり)

    1. 何か所で使われているかを確認します。
    2. Select Replacement Model で代替モデルを一括で選びます。
    3. 使用箇所ごとに別のモデルを選ぶ場合は、下の一覧で変更します。
    4. Replace {n} & Deactivate をクリックします。

    代替モデルは以降の実行にのみ適用されます。

  3. 3-3再度有効化

    1. オフになっているスイッチをクリックします。
    2. 確認ダイアログで Activate をクリックします。

4. Organization モデルの登録

Owner と Admin は、Organization 内のすべての Workspace で共通して使うモデルを登録できます。ここで変更した有効化状態は、すべての Workspace にすぐに反映されます。

  1. 4-1画面を開く

    1. Settings > Organization > Organization Gen & Judge Model を開きます。
  2. 4-2モデルの追加

    1. + New Model で追加します。手順は 2. 新しいモデルの追加 と同じです。
  3. 4-3有効化の管理

    1. スイッチでオン・オフを切り替えます。無効化するときは、使用中の Workspace ごとに代替モデルを選びます。

    下部の DATUMO Model は変更できません。


よくある質問

Organization Model のスイッチを押せないのはなぜですか?Organization モデルは、Owner と Admin が共通モデル管理画面でのみ管理するためです。
原因
Owner と Admin が Organization Gen & Judge Model 画面でのみ管理します。
解決方法
Owner または Admin に依頼してください。
Save を押せないのはなぜですか?必須項目が空欄か、API URL が https:// で始まっていないためです。
原因
4 つの項目をすべて入力しないと保存できません。
解決方法
入力欄を確認してください。
評価や自動化機能でモデルを選択できないのはなぜですか?モデルが無効になっているためです。
原因
無効なモデルは使用対象から外れます。
解決方法
モデル行のスイッチをオンにしてください。
無効化したら、過去の評価のモデルも変わりましたか?いいえ、過去の評価はそのままです。
原因
代替モデルは、変更後に実行する評価にのみ適用されます。
解決方法
再実行すると、代替モデルで実行されます。

最終更新日