Application の作成
評価する Application を作成して Module・バージョンを設定し、Agent Connection 画面で Application と Module を編集・削除する方法を説明します。
1. Application を作成する
①Application とは
Application は、評価とモニタリングの基本単位です。運用中の AI サービス 1 つが Application 1 つに対応します。Application は Workspace 内に登録します。
②作成を始める場所と権限
| 場所 | 方法 | 表示されるロール |
|---|---|---|
| 左メニューの Application 選択 | + New Application | Owner、Admin、Workspace Admin |
| Workspace の General Setting | + Add Application | Owner、Admin、Workspace Admin |
③入力項目
| 項目 | 説明 |
|---|---|
Application Name | Workspace 内で区別するための名前 |
Type | Application のタイプ(例:Knowledge-based QA) |
Domain | サービス分野(例:Finance) |
Language | Korean (KR)、English (EN)、ETC |
Input/Output Key | デフォルトは入力キー query、出力キー response。それぞれ 1 つ以上必要です。 |
Module Management | パイプラインの構成要素を個別に評価するには Module を追加します。任意項目です。 |
キーのタイプには string、list、boolean、number、json を使用できます。
1-1作成ダイアログを開く
- 左メニューの Application 選択ボックスを開きます。
+ New Applicationをクリックします。
Workspace の General Setting にある
+ Add Applicationからも開けます。1-2情報の入力
Application Nameを入力します。TypeとDomainを選びます。Languageを選びます。Input/Output Keyを確認します。
1-3Module の追加
- Module を個別に評価するには、
+ Add Moduleで Module Type を選びます。
Application の作成後も、3. Module の管理から追加できます。
- Module を個別に評価するには、
1-4作成の完了
Completeをクリックします。- 次の操作を選びます。
Go to Application Settingをクリックすると、API を接続する Agent Connection に移動します。
Explore Criteriaをクリックすると、評価基準の画面に移動します。
2. Agent Connection
①画面構成
左メニュー下部の Application Setting をクリックすると、設定 > Application > Agent Connection が開きます。Editor と Viewer にはこのメニューは表示されません。
| 領域 | 内容 |
|---|---|
| Application カード | Type、Domain、Language、Input Key、Output Key、Available in Workspace スイッチ、編集ボタン |
Version List | Application のバージョン一覧。連携のステップと Token&Cost の設定が表示されます。 |
Module List | Module ごとのキーとバージョン一覧。+ New Module で追加します。 |
②バージョンのステータス
| 表示 | 意味 |
|---|---|
赤い API Integration | API 連携が必要です。クリックすると連携ダイアログが開きます。 |
Output Mapping | API 連携が完了したら、レスポンスのマッピングを行います。 |
Ready | 連携とマッピングが完了し、評価に使用できます。 |
| ボタン | 動作 |
|---|---|
+ New Version from Scratch | 既存の設定を使わずに新しいバージョンを作成します。 |
+ New Version from Latest | 最新バージョンの設定値で作成します。マルチターンの設定と Turn Definition も複製されます。 |
2-1画面を開く
- Application カードで基本情報と Key を確認します。
Version Listで Version ごとの連携状態を確認します。
2-2API を連携する
- 赤い
API Integrationをクリックします。連携方法は Application API 連携で説明しています。
評価を実行するには、Version ごとに API Integration と Output Mapping を完了する必要があります。
- 赤い
2-3Version の追加
+ New Version from Scratchまたは+ New Version from Latestをクリックします。- 連携が完了した Version には、
ReadyとToken&Costの設定が表示されます。
Version 行の
⋮から複製または削除します。2-4Workspace で非表示にする
Available in Workspaceスイッチをオフにします。Application の選択一覧に表示されなくなります。
非表示にした Application は削除されません。スイッチをオンにすると再び表示されます。
2-5Application の編集・削除
- カード右上の編集ボタンをクリックします。
- 情報を変更して
Saveをクリックします。 - 削除するには
Deleteをクリックし、確認ダイアログでもう一度Deleteをクリックします。
削除した Application は元に戻せません。すべての Version、Module、評価結果が削除されます。
3. Module の管理
Module List で Module を追加、編集、削除します。キーを変更するとその Module のバージョン設定をやり直す必要があるため、詳しい手順は Application API 連携の Module 設定であわせて説明しています。
よくある質問
左メニューに Application Setting がないのはなぜですか?この Workspace での自分のロールが Editor または Viewer であるためです。
- 原因
- Application Setting は Workspace Admin 以上のロールにのみ表示されます。
- 解決方法
- Workspace Admin にロールの変更を依頼してください。
Complete や Save をクリックできないのはなぜですか?必須項目が空欄か、キーがないためです。
- 原因
- 入力キーと出力キーがそれぞれ 1 つ以上必要です。編集ダイアログでは、変更内容がない場合もボタンが無効になります。
- 解決方法
- 空欄の項目を入力し、キーを 1 つ以上設定してください。
評価を実行できないのはなぜですか?バージョンの API 連携と Output Mapping が完了していないためです。
- 原因
- 赤い
API Integrationが残っているバージョンは評価に使用できません。 - 解決方法
- Application API 連携を参照して連携を完了してください。
Application が選択一覧に表示されない場合はどうすればよいですか?Agent Connection で Available in Workspace スイッチをオンにしてください。
- 原因
- スイッチがオフの Application は、Workspace の一覧で非表示になります。
- 解決方法
- Agent Connection でスイッチをオンにしてください。