Platform Docs
Try DatumoEval

はじめに

DATUMO Platformの利用開始に必要な、アカウント登録、ワークスペース設定、生成・評価モデルの登録、アプリケーションのAPI連携の手順を説明します。

図

Organization

プラットフォームの最上位の単位です。1 つの会社やチームが 1 つの Organization を使います。

  • 1 つの Organization に複数の Workspace を置くことができます。
  • 1 つのアカウントが複数の Organization に所属できます。LNB 最上部の Organization 名をクリックして開く Organization Switcher で切り替えます。
  • 自分で作成して Owner になれる Organization は、アカウントごとに 1 つです。ほかの Organization には招待を受けて参加します。
  1. 1-1Switcher を開く

    1. LNB 最上部の Organization 名をクリックします。
    2. Organization Switcher が開きます。左側で Organization を、右側で Workspace を選んで移動します。詳しい使い方は Organization と Workspace で説明しています。

Workspace

独立した作業スペースです。通常は、サービス、チーム、プロジェクト単位で分けます。

  • Workspace ごとに、Application、メンバー、Gen & Judge モデル、評価履歴を個別に持ちます。
  • 1 つの Workspace のデータと設定は、ほかの Workspace に影響しません。

Application

評価とモニタリングの基本単位です。

  • カスタマーサポートのチャットボットや文書要約サービスのように、運用中の AI サービス 1 つに対応します。
  • 1 つの Workspace に複数の Application を置くことができます。

Module

Application を構成するパイプラインのコンポーネントです。RAG、Retriever、Router、Text to SQL などが該当します。

評価レベル対象説明
Module-level eval個々の ModuleRAG の検索品質や Router の分類精度のように、コンポーネント単位で測定します。
E2E evalApplication 全体ユーザー入力から最終出力まで、パイプライン全体の品質を検証します。

2 つのレベルをあわせて実行すると、全体の品質低下がどの Module に起因するのかを把握できます。


ロール

ロールは、Organization ロールと Workspace ロールの 2 種類に分かれます。

図

①Organization ロール

ロールできること
OwnerOrganization の最高管理者です。Organization ごとに 1 人です。
Owner の移譲、Organization の削除、Admin の指定ができます。
Adminすべての Workspace とメンバーを管理します。メンバーの招待と Workspace の作成ができます。
Member割り当てられた Workspace にのみアクセスできます。Workspace での権限は Workspace ロールで決まります。

Owner と Admin は、すべての Workspace で自動的に Workspace Admin 権限を受け取ります。このように継承された権限は、Workspace 側では変更できません。

②Workspace ロール

ロールできること
Workspace AdminWorkspace の設定全体(Workspace 情報、メンバー、モデル、Application)を管理します。
Editor設定を除くすべての作業を編集・実行します。
Viewer結果とダッシュボードの閲覧とエクスポートのみ行います。

③権限の概要

作業OwnerAdminMemberWorkspace
Admin
EditorViewer
Owner の移譲・Organization の削除●-----
Admin の指定・解除●●----
メンバーのロール変更・招待・削除●●----
Workspace の設定・メンバーのロール指定◯◯WS ロール●--
Application の作成・削除◯◯WS ロール●--
評価の作成・実行◯◯WS ロール●●-
結果の閲覧・エクスポート◯◯WS ロール●●●
Annotation Queue での作業◯◯WS ロール●●●

● : 可能 / - : 不可
◯ : Organization ロールから継承
WS ロール : Organization の Member は Workspace ごとに付与されたロールに従う

図

画面構成

①基本画面

1. 基本画面を見てみる

  1. 1-1Organization・Workspace

    1. LNB 最上部に、現在使っている Organization 名が表示されます。クリックすると Organization Switcher が開きます。
  2. 1-2Application の選択

    1. Application の下の選択ボックスで、評価する Application を選びます。
  3. 1-3メニュー

    1. Evaluation、Simulation、Red Teaming、Playground、Observability のメニューがまとめられています。
  4. 1-4マイアカウント・通知

    1. 最下部の自分の名前をクリックするとマイアカウントのメニューが、🔔 をクリックすると通知が開きます。マイアカウント を参照してください。

②設定

設定には 3 つの場所から入ります。Organization Switcher の Organization Setting(Owner・Admin)、Switcher の Workspace 行の ⚙(その Workspace の Workspace Admin 以上)、左メニューの Application Setting です。設定画面の左メニューは 3 つのエリアに分かれています。

エリアメニュー
OrganizationGeneral Setting、User Management、Organization Gen & Judge Model
WorkspaceGeneral Setting、User Management、Workspace Gen & Judge Model
ApplicationAgent Connection、Observability Connection
  • 入った場所によって、表示されるエリアが異なります。Organization から入ると Organization エリアのみ、Workspace から入ると Workspace と Organization のエリアが、Application から入ると 3 つのエリアすべてが表示されます。
  • Workspace Admin には Organization エリアは表示されません。Editor と Viewer は設定に入れません。
  • 左上の Back をクリックすると、元の画面に戻ります。

1. Settings 画面を見てみる

  1. 1-1Organization エリア

    1. Organization 全体に適用される設定です。
  2. 1-2Workspace エリア

    1. 現在の Workspace の設定です。
  3. 1-3Application エリア

    1. 現在の Application の API 接続設定です。
  4. 1-4戻る

    1. Back をクリックすると、Settings に入る前の画面に戻ります。

最終更新日