Task の管理
Task をテンプレートまたは Custom Task として作成する方法と、Task 画面の構成、Key 情報の管理方法を説明します。
1. Task の作成
①Task
Task は、何を評価するかを決める単位です。評価したい能力 1 つにつき Task を 1 つ作成します。実際の評価も Task 単位で実行します。
1 つの Task は 2 つの要素で構成されます。
- Benchmark Set 1 つ:評価に使うデータ
- 複数の Metric:結果を採点する方法
Task は Criteria 画面の Subgroup または Module の下に追加します。
Task: 金融商品の情報検索
├─ Benchmark Set: 商品に関する質問 200件
└─ Metric: AnswerAccuracy, Similarity, ExactMatch
同じデータを複数の Metric で採点するため、1 つの Task をさまざまな観点から評価できます。
②テンプレートと Custom Task
Task は 2 つの方法で作成します。
| 方法 | 最初に含まれているもの | 使う場面 |
|---|---|---|
| テンプレート | DATUMO があらかじめ用意した説明、Metric、評価データ | 評価したい内容に合うテンプレートがあるとき |
Custom Task | 名前と説明のみ | 合うテンプレートがないとき |
- テンプレート一覧は
Task Group、Application Type、Module Type、Domain、Languageで絞り込めます。 - テンプレートカードには、説明、データ件数、Metric、タグが表示されます。
- 安全性のテンプレートに含まれる Benchmark Set は Datumo Benchmark Set の紹介 で確認します。
- テンプレートから作成する場合は、テンプレートの Key を Task の Key に接続する必要があります。Key の接続で説明します。
Custom Taskでは、Benchmark Set と Metric を自分で追加します。
③Key の種類
Key は評価データの項目名です。表の列名と考えるとわかりやすいでしょう。Key は 4 種類あり、種類ごとに評価での役割が異なります。
| Key の種類 | 意味 | 編集する場所 | 例 |
|---|---|---|---|
| Input | Application に渡す値 | Application Setting(Settings > Application > Agent Connection) | query |
| Output | Application が Input を受け取って生成した結果 | Application Setting | response、retrieved_context |
| Reference | Metric が採点時に比較する正解情報 | Task 画面 | expected_response、reference_context |
| Metadata | 評価には使わない付加情報 | Task 画面 | レビュー担当者、作成日、出典 |
- Input・Output Key は Application で定義されています。同じ Application のすべての Task で共通して使います。
- Output は Benchmark Set にあらかじめ入れておきません。評価の実行時に Application が生成します。
- Reference はなくても構いません。Reference なしで採点する Metric もあります。
- Reference・Metadata Key は、Benchmark Set のデータを取り込むときにファイルの列と接続されます。
たとえば、Benchmark Set のデータ 1 件は次のようになります。
| query (Input) | expected_response (Reference) | source (Metadata) |
|---|---|---|
| サンプル積立預金は最低いくらから加入できますか? | 月 1 万ウォンから加入できます。 | 商品説明書 |
よく使う標準の Key 名は評価のコアコンセプトで確認できます。
④Key の接続
テンプレートは独自の Key 名を使います。この名前が Application の Key 名と異なる場合があります。そのため、テンプレートから Task を作成するときは、テンプレートの Key を Task の Key に 1 つずつ接続します。
- Template Required Key:追加するテンプレートが使う Key
- Task Key:テンプレートの Key と接続する、この Task の Key
テンプレートの Key ごとに、次のいずれかを選びます。
| 選択肢 | 動作 |
|---|---|
| Input・Output Key | Application の Input または Output Key に接続します。 |
Auto-create as Reference Key | 同じ名前の Reference Key を新規作成します。 |
Auto-create as Metadata Key | 同じ名前の Metadata Key を新規作成します。 |
Clear Column Values | この Key を使わず、その列の値を空にします。 |
たとえば、テンプレートの Key が response で、Application の Output Key が answer の場合は、この 2 つを接続します。テンプレートの expected_response は Auto-create as Reference Key で新規作成できます。
- テンプレートの Key をすべて接続しないと Task を追加できません。
- 同じ Task Key に 2 つのテンプレート Key を接続することはできません。
1-1テンプレートから作成
- Criteria 画面で
+ New Taskをクリックします。 - 使いたいテンプレートを選択します。
Add Taskをクリックします。
- 目的のテンプレートが見つからない場合は、上部のフィルターや検索ボックスで探します。
- テンプレートと Custom Task の違いはテンプレートと Custom Taskで確認できます。
- Criteria 画面で
1-2テンプレート Key の接続
Mapping incompleteと表示された Key をクリックします。初めての場合は、先に Key の接続をお読みください。- 接続する Task Key を選びます。
Completeをクリックします。- Task 一覧で追加した Task を確認します。
- テンプレートの Key はすべて Task Key に接続する必要があります。
- 接続する Key がない場合は、Reference または Metadata Key として新規作成できます。
1-3Custom Task の作成
+ New Taskをクリックします。Custom Taskを選択します。Task NameとDescriptionを入力します。Completeをクリックします。- Task Detail 画面で追加した Task を確認します。
Descriptionは入力しなくても構いません。
2. Task 画面の確認
①Task 画面の構成
Criteria 画面で Task 名をクリックすると、Task 画面が開きます。Task 画面は 4 つの領域に分かれています。
| 領域 | 表示内容 |
|---|---|
Task Info | Task Group、Task 名、説明 |
Schema Setting | この Task の Key。Input、Output、Reference、Metadata に分かれます。 |
Metric | この Task に属する Metric。タイプ、必要な Key、結果項目、Judge Model が表示されます。 |
Benchmark Set | 評価データ。Key が表の列として表示されます。 |
Metric の追加は Metric の管理で、データの追加は Benchmark Set の管理で説明します。
2-1画面構成
- Criteria 画面で Task 名をクリックします。各領域の説明は Task 画面の構成にあります。
Task Infoで名前、説明、Task Group を確認します。Schema Settingで Task の Key を確認します。Key ごとの役割は Key の種類にあります。Metricで Task に属する Metric を確認します。Benchmark Setで評価データを確認します。
3. Key 情報の管理
3-1Input・Output Key の編集
Go to Application Settingをクリックします。
Input・Output Key は Application Setting 画面で編集します。
3-2Key 名の編集
ReferenceのEditをクリックします。- 変更する Key の横にある
Editをクリックします。 - 名前を修正し、
Saveをクリックします。 Completeをクリックします。
Metadata Key も
MetadataのEditから同じ方法で編集します。3-3Key の追加
+ Add Keyをクリックします。- 新しい Key 名を入力し、
Saveをクリックします。 Completeをクリックします。
3-4Key の削除
- 削除する Key の横にある
−をクリックします。 Completeをクリックします。
保存済みの Key を削除すると元に戻せません。すでに出ている評価結果は残ります。
- 削除する Key の横にある
よくある質問
Task 画面で Input・Output Key を編集できないのはなぜですか?Input・Output Key は Application Setting で管理するためです。
- 原因
- Input・Output Key は Application Setting で管理しています。Task 画面には
Editの代わりに移動用のリンクだけがあります。 - 解決方法
Go to Application Settingをクリックし、Application Setting 画面で編集してください。Key の種類ごとの編集場所は Key の種類にまとめています。
Key を編集した後、Complete ボタンを押せないのはなぜですか?まだ保存していない Key があるためです。
- 原因
- Key 名の編集中や新規入力中は、
Completeが無効になっています。 - 解決方法
- 編集した Key の横にある
Saveを先にクリックしてください。不要な Key は−で削除してください。
テンプレートから Task を追加するとき、Complete ボタンを押せないのはなぜですか?接続していないテンプレート Key が残っているためです。
- 原因
Mapping incompleteと表示された Key があると、Task を追加できません。- 解決方法
- 赤いセルをクリックして Task Key を選ぶか、Reference・Metadata Key として新規作成してください。選べる項目は Key の接続にあります。