生成・評価モデルの登録
自動化機能で使う LLM・Embedding モデルを Workspace または Organization 単位で登録し、有効化・無効化や代替モデルの指定を行う方法を説明します。
1. モデル一覧
①モデルタイプ
生成・評価モデル(Gen & Judge モデル)は、データ生成、LLM-as-a-Judge による採点、シミュレーションなど、DATUMO Platform の自動化機能で使うモデルです。
| モデルタイプ | 用途 |
|---|---|
| LLM | データ生成と LLM-as-a-Judge 方式の評価に使います。LLM-as-a-Judge は、LLM が回答を採点する評価方式です。 |
| Decision Model | Decision Model の Metric に使います。テキストを生成せず、決めた選択肢から 1 つを選びます。DATUMO モデルとして Davi と Jev(Typesafe)が提供されます。 |
| Embedding | Embedding ベースの評価指標に使います。 |
②モデルの範囲
| 範囲 | 画面表示 | 管理する場所 | 使える場所 |
|---|---|---|---|
| Workspace モデル | Workspace Model | 設定 > Workspace > Workspace Gen & Judge Model | その Workspace のみ |
| Organization モデル | Organization Model | 設定 > Organization > Organization Gen & Judge Model | Organization 内のすべての Workspace |
| DATUMO モデル | DATUMO Model | DATUMO が提供・管理 | すべての Workspace |
Workspace モデルは Owner、Admin、Workspace Admin が管理します。Organization モデルは Owner と Admin が管理します。
1-1一覧を開く
- Settings > Workspace >
Workspace Gen & Judge Modelを開きます。
- Settings > Workspace >
1-2範囲ごとのグループ
Workspace Modelは、この Workspace でのみ使います。Organization Modelは Organization 全体のモデルです。ここでは変更できません。DATUMO Modelは DATUMO が管理します。
1-3モデル情報
- 各行に名前、API Key、タイプ、API URL、代表モデル、更新日が表示されます。
- Preset は
+ n modelsを押すと、含まれるモデルをすべて確認できます。
Preset 名は
{プロバイダー} ({キーの末尾 4 文字})の形式で自動的に付けられます。
2. 新しいモデルの追加
①接続方式
| 方式 | 説明 |
|---|---|
| Preset | 対応しているプロバイダーは、API キーを入力するだけで接続できます。プロバイダーの LLM モデルがまとめて追加されます。 Anthropic, Baseten, Cerebras, Cohere, Fireworks, Gemini, Groq, Lepton, Mistral, OpenAI, OpenRouter, Perplexity, Replicate, Together.ai, xAI |
| Custom Provider | vLLM、Ollama、RunPod などの OpenAI 互換エンドポイントを直接接続します。LLM は Chat Completions API、Embedding は Embedding API の形式に対応しています。 |
2-1Preset で追加
+ New Modelをクリックします。Presetでプロバイダーをクリックします。API Keyを入力します。Saveをクリックします。
キーがない場合は、案内リンクからプロバイダーのコンソールに移動して発行します。
2-2Custom Model で追加
Custom ProviderのCustom Modelをクリックします。Model TypeでLLMまたはEmbeddingを選びます。Model Name、API Request Model、API URL、API Keyを入力します。Saveをクリックします。
API URLはhttps://で始まる必要があります。
3. 有効化と無効化
①代替モデル
無効なモデルは、評価や自動化機能で選択できません。モデルを使用している箇所がある場合は、無効化するときに代替モデルを選びます。
- 使用箇所は、評価(Metric)、シミュレーション、レッドチーミング(Model Setting)、Eval Lab、モニタリングごとにまとめて表示されます。
- 代替モデルは、変更後に実行する評価にのみ適用されます。実行済みの評価とその結果は変わりません。
- 再度有効化すると、無効化したときに空欄のままにしていた使用箇所が、このモデルで再び埋められます。その間に別のモデルを指定した使用箇所はそのままです。
- モデルを削除するときも同じダイアログが開きます。使用箇所がある場合は
Replace {n} & Deleteで削除します。
3-1無効化(使用箇所なし)
- オンになっているスイッチをクリックします。
- 使用箇所がなければ、そのまま
Deactivateをクリックします。
3-2無効化(使用箇所あり)
- 何か所で使われているかを確認します。
Select Replacement Modelで代替モデルを一括で選びます。- 使用箇所ごとに別のモデルを選ぶ場合は、下の一覧で変更します。
Replace {n} & Deactivateをクリックします。
代替モデルは以降の実行にのみ適用されます。
3-3再度有効化
- オフになっているスイッチをクリックします。
- 確認ダイアログで
Activateをクリックします。
4. Organization モデルの登録
Owner と Admin は、Organization 内のすべての Workspace で共通して使うモデルを登録できます。ここで変更した有効化状態は、すべての Workspace にすぐに反映されます。
4-1画面を開く
- Settings > Organization >
Organization Gen & Judge Modelを開きます。
- Settings > Organization >
4-2モデルの追加
+ New Modelで追加します。手順は 2. 新しいモデルの追加 と同じです。
4-3有効化の管理
- スイッチでオン・オフを切り替えます。無効化するときは、使用中の Workspace ごとに代替モデルを選びます。
下部の
DATUMO Modelは変更できません。
よくある質問
Organization Model のスイッチを押せないのはなぜですか?Organization モデルは、Owner と Admin が共通モデル管理画面でのみ管理するためです。
- 原因
- Owner と Admin が
Organization Gen & Judge Model画面でのみ管理します。 - 解決方法
- Owner または Admin に依頼してください。
Save を押せないのはなぜですか?必須項目が空欄か、API URL が https:// で始まっていないためです。
- 原因
- 4 つの項目をすべて入力しないと保存できません。
- 解決方法
- 入力欄を確認してください。
評価や自動化機能でモデルを選択できないのはなぜですか?モデルが無効になっているためです。
- 原因
- 無効なモデルは使用対象から外れます。
- 解決方法
- モデル行のスイッチをオンにしてください。
無効化したら、過去の評価のモデルも変わりましたか?いいえ、過去の評価はそのままです。
- 原因
- 代替モデルは、変更後に実行する評価にのみ適用されます。
- 解決方法
- 再実行すると、代替モデルで実行されます。