Platform Docs
Try DatumoEval

Application の作成

評価する Application を作成して Module・バージョンを設定し、Agent Connection 画面で Application と Module を編集・削除する方法を説明します。

1. Application を作成する

①Application とは

Application は、評価とモニタリングの基本単位です。運用中の AI サービス 1 つが Application 1 つに対応します。Application は Workspace 内に登録します。

②作成を始める場所と権限

場所方法表示されるロール
左メニューの Application 選択+ New ApplicationOwner、Admin、Workspace Admin
Workspace の General Setting+ Add ApplicationOwner、Admin、Workspace Admin

③入力項目

項目説明
Application NameWorkspace 内で区別するための名前
TypeApplication のタイプ(例:Knowledge-based QA)
Domainサービス分野(例:Finance)
LanguageKorean (KR)、English (EN)、ETC
Input/Output Keyデフォルトは入力キー query、出力キー response。それぞれ 1 つ以上必要です。
Module Managementパイプラインの構成要素を個別に評価するには Module を追加します。任意項目です。

キーのタイプには string、list、boolean、number、json を使用できます。

  1. 1-1作成ダイアログを開く

    1. 左メニューの Application 選択ボックスを開きます。
    2. + New Application をクリックします。

    Workspace の General Setting にある + Add Application からも開けます。

  2. 1-2情報の入力

    1. Application Name を入力します。
    2. Type と Domain を選びます。
    3. Language を選びます。
    4. Input/Output Key を確認します。
  3. 1-3Module の追加

    1. Module を個別に評価するには、+ Add Module で Module Type を選びます。

    Application の作成後も、3. Module の管理から追加できます。

  4. 1-4作成の完了

    1. Complete をクリックします。
    2. 次の操作を選びます。Go to Application Setting をクリックすると、API を接続する Agent Connection に移動します。

    Explore Criteria をクリックすると、評価基準の画面に移動します。


2. Agent Connection

①画面構成

左メニュー下部の Application Setting をクリックすると、設定 > Application > Agent Connection が開きます。Editor と Viewer にはこのメニューは表示されません。

領域内容
Application カードType、Domain、Language、Input Key、Output Key、Available in Workspace スイッチ、編集ボタン
Version ListApplication のバージョン一覧。連携のステップと Token&Cost の設定が表示されます。
Module ListModule ごとのキーとバージョン一覧。+ New Module で追加します。

②バージョンのステータス

表示意味
赤い API IntegrationAPI 連携が必要です。クリックすると連携ダイアログが開きます。
Output MappingAPI 連携が完了したら、レスポンスのマッピングを行います。
Ready連携とマッピングが完了し、評価に使用できます。
ボタン動作
+ New Version from Scratch既存の設定を使わずに新しいバージョンを作成します。
+ New Version from Latest最新バージョンの設定値で作成します。マルチターンの設定と Turn Definition も複製されます。
  1. 2-1画面を開く

    1. Application カードで基本情報と Key を確認します。
    2. Version List で Version ごとの連携状態を確認します。
  2. 2-2API を連携する

    1. 赤い API Integration をクリックします。連携方法は Application API 連携で説明しています。

    評価を実行するには、Version ごとに API Integration と Output Mapping を完了する必要があります。

  3. 2-3Version の追加

    1. + New Version from Scratch または + New Version from Latest をクリックします。
    2. 連携が完了した Version には、Ready と Token&Cost の設定が表示されます。

    Version 行の ⋮ から複製または削除します。

  4. 2-4Workspace で非表示にする

    1. Available in Workspace スイッチをオフにします。Application の選択一覧に表示されなくなります。

    非表示にした Application は削除されません。スイッチをオンにすると再び表示されます。

  5. 2-5Application の編集・削除

    1. カード右上の編集ボタンをクリックします。
    2. 情報を変更して Save をクリックします。
    3. 削除するには Delete をクリックし、確認ダイアログでもう一度 Delete をクリックします。

    削除した Application は元に戻せません。すべての Version、Module、評価結果が削除されます。


3. Module の管理

Module List で Module を追加、編集、削除します。キーを変更するとその Module のバージョン設定をやり直す必要があるため、詳しい手順は Application API 連携の Module 設定であわせて説明しています。


よくある質問

左メニューに Application Setting がないのはなぜですか?この Workspace での自分のロールが Editor または Viewer であるためです。
原因
Application Setting は Workspace Admin 以上のロールにのみ表示されます。
解決方法
Workspace Admin にロールの変更を依頼してください。
Complete や Save をクリックできないのはなぜですか?必須項目が空欄か、キーがないためです。
原因
入力キーと出力キーがそれぞれ 1 つ以上必要です。編集ダイアログでは、変更内容がない場合もボタンが無効になります。
解決方法
空欄の項目を入力し、キーを 1 つ以上設定してください。
評価を実行できないのはなぜですか?バージョンの API 連携と Output Mapping が完了していないためです。
原因
赤い API Integration が残っているバージョンは評価に使用できません。
解決方法
Application API 連携を参照して連携を完了してください。
Application が選択一覧に表示されない場合はどうすればよいですか?Agent Connection で Available in Workspace スイッチをオンにしてください。
原因
スイッチがオフの Application は、Workspace の一覧で非表示になります。
解決方法
Agent Connection でスイッチをオンにしてください。

最終更新日