はじめに
DATUMO Platformの利用開始に必要な、アカウント登録、ワークスペース設定、生成・評価モデルの登録、アプリケーションのAPI連携の手順を説明します。
Organization
プラットフォームの最上位の単位です。1 つの会社やチームが 1 つの Organization を使います。
- 1 つの Organization に複数の Workspace を置くことができます。
- 1 つのアカウントが複数の Organization に所属できます。LNB 最上部の Organization 名をクリックして開く Organization Switcher で切り替えます。
- 自分で作成して Owner になれる Organization は、アカウントごとに 1 つです。ほかの Organization には招待を受けて参加します。
1-1Switcher を開く
- LNB 最上部の Organization 名をクリックします。
- Organization Switcher が開きます。左側で Organization を、右側で Workspace を選んで移動します。詳しい使い方は Organization と Workspace で説明しています。
Workspace
独立した作業スペースです。通常は、サービス、チーム、プロジェクト単位で分けます。
- Workspace ごとに、Application、メンバー、Gen & Judge モデル、評価履歴を個別に持ちます。
- 1 つの Workspace のデータと設定は、ほかの Workspace に影響しません。
Application
評価とモニタリングの基本単位です。
- カスタマーサポートのチャットボットや文書要約サービスのように、運用中の AI サービス 1 つに対応します。
- 1 つの Workspace に複数の Application を置くことができます。
Module
Application を構成するパイプラインのコンポーネントです。RAG、Retriever、Router、Text to SQL などが該当します。
| 評価レベル | 対象 | 説明 |
|---|---|---|
| Module-level eval | 個々の Module | RAG の検索品質や Router の分類精度のように、コンポーネント単位で測定します。 |
| E2E eval | Application 全体 | ユーザー入力から最終出力まで、パイプライン全体の品質を検証します。 |
2 つのレベルをあわせて実行すると、全体の品質低下がどの Module に起因するのかを把握できます。
ロール
ロールは、Organization ロールと Workspace ロールの 2 種類に分かれます。
①Organization ロール
| ロール | できること |
|---|---|
Owner | Organization の最高管理者です。Organization ごとに 1 人です。 Owner の移譲、Organization の削除、Admin の指定ができます。 |
Admin | すべての Workspace とメンバーを管理します。メンバーの招待と Workspace の作成ができます。 |
Member | 割り当てられた Workspace にのみアクセスできます。Workspace での権限は Workspace ロールで決まります。 |
Owner と Admin は、すべての Workspace で自動的に Workspace Admin 権限を受け取ります。このように継承された権限は、Workspace 側では変更できません。
②Workspace ロール
| ロール | できること |
|---|---|
Workspace Admin | Workspace の設定全体(Workspace 情報、メンバー、モデル、Application)を管理します。 |
Editor | 設定を除くすべての作業を編集・実行します。 |
Viewer | 結果とダッシュボードの閲覧とエクスポートのみ行います。 |
③権限の概要
| 作業 | Owner | Admin | Member | Workspace Admin | Editor | Viewer |
|---|---|---|---|---|---|---|
| Owner の移譲・Organization の削除 | ● | - | - | - | - | - |
| Admin の指定・解除 | ● | ● | - | - | - | - |
| メンバーのロール変更・招待・削除 | ● | ● | - | - | - | - |
| Workspace の設定・メンバーのロール指定 | ◯ | ◯ | WS ロール | ● | - | - |
| Application の作成・削除 | ◯ | ◯ | WS ロール | ● | - | - |
| 評価の作成・実行 | ◯ | ◯ | WS ロール | ● | ● | - |
| 結果の閲覧・エクスポート | ◯ | ◯ | WS ロール | ● | ● | ● |
| Annotation Queue での作業 | ◯ | ◯ | WS ロール | ● | ● | ● |
● : 可能 / - : 不可
◯ : Organization ロールから継承
WS ロール : Organization の Member は Workspace ごとに付与されたロールに従う
画面構成
①基本画面
1. 基本画面を見てみる
1-1Organization・Workspace
- LNB 最上部に、現在使っている Organization 名が表示されます。クリックすると Organization Switcher が開きます。
1-2Application の選択
Applicationの下の選択ボックスで、評価する Application を選びます。
1-3メニュー
- Evaluation、Simulation、Red Teaming、Playground、Observability のメニューがまとめられています。
1-4マイアカウント・通知
- 最下部の自分の名前をクリックするとマイアカウントのメニューが、🔔 をクリックすると通知が開きます。マイアカウント を参照してください。
②設定
設定には 3 つの場所から入ります。Organization Switcher の Organization Setting(Owner・Admin)、Switcher の Workspace 行の ⚙(その Workspace の Workspace Admin 以上)、左メニューの Application Setting です。設定画面の左メニューは 3 つのエリアに分かれています。
| エリア | メニュー |
|---|---|
| Organization | General Setting、User Management、Organization Gen & Judge Model |
| Workspace | General Setting、User Management、Workspace Gen & Judge Model |
| Application | Agent Connection、Observability Connection |
- 入った場所によって、表示されるエリアが異なります。Organization から入ると Organization エリアのみ、Workspace から入ると Workspace と Organization のエリアが、Application から入ると 3 つのエリアすべてが表示されます。
- Workspace Admin には Organization エリアは表示されません。Editor と Viewer は設定に入れません。
- 左上の
Backをクリックすると、元の画面に戻ります。
1. Settings 画面を見てみる
1-1Organization エリア
- Organization 全体に適用される設定です。
1-2Workspace エリア
- 現在の Workspace の設定です。
1-3Application エリア
- 現在の Application の API 接続設定です。
1-4戻る
Backをクリックすると、Settings に入る前の画面に戻ります。