Benchmark Set の管理
評価データをアップロードして Benchmark Set を構成し、データを編集・削除・追加したり、AI Tools でデータを作成したりする方法を説明します。
1. Benchmark Set を開く
Benchmark Set は、Task を評価するときの基準として使うデータの集まりです。評価対象を代表するデータで構成します。表の 1 行が評価データ 1 件です。
①Key の種類
Benchmark Set の 1 列が Task の Key 1 つに対応します。Key は評価での役割によって 3 種類に分かれます。
| Key の種類 | 意味 | 用途 | 例 |
|---|---|---|---|
| Input | Application やエージェントに渡す値 | 評価時に Application へそのまま渡します。 | query |
| Reference | 採点時に参照する正解情報 | Metric が Output と比較します。Reference なしで採点する Metric もあります。 | expected_response、gold_context_id |
| Metadata | 評価には使わない付加情報 | レビュー担当者、作成日、出典など、データの管理に使います。 | query_author、query_created_at、human_reviewed |
Output は Benchmark Set にあらかじめ入れておきません。評価を実行すると、Application が Input を受け取って Output を生成します(例:response、answer、retrieved_context)。
以下は、Key の種類ごとに値を入れた例です。
| id | query (Input) | expected_response (Reference) | source (Metadata) |
|---|---|---|---|
| 1 | サンプル定期預金を中途解約すると、利息はどうなりますか? | 約定金利の代わりに中途解約金利が適用されます。 | 商品 FAQ |
| 2 | サンプル積立預金は最低いくらから加入できますか? | 月 1 万ウォンから加入できます。 | 商品説明書 |
②よく使う Key
DATUMO では、よく使う列名を標準 Key として定めています。列名を標準 Key に合わせると、Metric と Key を接続しやすくなります。
| Key | 種類 | 意味 |
|---|---|---|
query | Input | ユーザーの質問 |
retrieved_context | Input、Output | Retriever が検索したドキュメントのリスト |
response | Output | Application やエージェントの回答 |
expected_response | Reference | 期待される回答(正解)。選択式問題では正解の選択肢 |
reference_context | Reference | 検索されるべき正解ドキュメントのリスト |
Generator などの AI Tools のテンプレートでは、context、source_document のようにテンプレートが使う名前が表示されます。この名前は Key ではありません。テンプレートを使うときに、名前ごとに実際の列を 1 つずつ選びます。
1-1Benchmark Set 画面を開く
- 左メニューの
Criteriaで Task をクリックします。 - Task 画面で
Manage Benchmarkをクリックすると、この画面が開きます。
- 左メニューの
2. データのアップロード
①アップロード時の列の接続
ファイルをアップロードすると、Key Mapping ウィンドウが開きます。このウィンドウで、ファイルの列を Task Key に接続します。
- 左側の
Task Keyには、この Task の Key がInput Key、Reference Key、Metadata Keyにまとめて表示されます。 - 右側の
CSV Columnで、Key ごとにファイルの列を 1 つ選びます。 - 上部の案内欄には、ファイルのすべての列が表示されます。接続済みの列は青色で表示されます。
- 列を選んでいない Key は
Mapping incompleteと表示されます。 Metadata Keyでは、列の代わりにManual Inputを選べます。直接入力した値が、アップロードするすべての行に入ります。
接続しなかったファイルの列は Unselected Columns にまとめられます。Unselect columns will be added as Metadata. は最初からチェックが入っています。チェックが入った状態では、これらの列が新しい Metadata Key として追加されます。チェックを外すと、これらの列はアップロードされません。
たとえば、ファイルの列が query、expected_response、created_by、id だとします。
| ファイルの列 | 接続結果 |
|---|---|
query | Input Key query に接続 |
expected_response | Reference Key expected_response に接続 |
created_by | Metadata Key query_author に接続 |
id | 接続しない。チェックが入っていれば Metadata Key id として追加 |
2-1ファイルのアップロード
- 右上の
Upload Fileをクリックします。 - ファイルをアップロード領域にドラッグ&ドロップします。領域をクリックして選択することもできます。
Nextをクリックします。
アップロードできるのは
csv、xlsxファイルのみです。- 右上の
2-2列の接続
- 上部の案内欄でファイルの列名を確認します。
- Task Key ごとに接続するファイルの列を選びます。Key が初めての場合は、先に Key の種類をお読みください。
Mapping incompleteと表示された欄は、列を選んで埋めます。Completeをクリックします。
- 接続しなかった列は Metadata として追加されます。不要な場合は、下のチェックを外します。
- アップロードしたデータは既存データの後ろに追加されます。
- 詳しいルールはアップロード時の列の接続で説明しています。
3. データの編集
3-1データの修正
- 右上の
Editをクリックします。 - 修正するセルをクリックして内容を編集します。
Saveをクリックします。- 確認ダイアログで
Saveをクリックします。
Cancelをクリックすると、変更内容は保存されません。- 右上の
3-2データの削除
Edit画面で、ID 列のチェックボックスで削除する行を選びます。- Delete Dataをクリックします。- 確認ダイアログで
Deleteをクリックします。 Saveをクリックして保存します。
削除したデータは元に戻せません。
3-3データの追加
Edit画面で+ Add Dataをクリックします。- 一番下に追加された新しい行に値を入力します。
Saveをクリックして保存します。
4. AI Tools でデータを作成
①AI Tools のツール
AI Tools は、生成モデルで Benchmark Set の値を作成・修正するツールです。ツールは 4 種類あります。
| ツール | 機能 | 使う場面 | 結果 |
|---|---|---|---|
| Generator 生成 | 他の列を参照して列の値を作成または置き換えます。 | 質問だけがあって期待される回答がないとき。ドキュメントだけがあって質問がないとき。 | 選んだ列に値を入れます。新しい列を作ることもできます。 |
| Modifier 変形 | 既存の列の内容を修正します。 | 誤字の修正、口調の変更、文の短縮など、表現を変えたいとき。 | 選んだ列の値を新しい値に置き換えます。 |
| Augmenter 拡張 | 既存の列と行を参照して新しい行を追加します。 | データ件数が足りないとき。少ないタイプのデータを増やしたいとき。 | 表の下に新しい行を追加します。 |
| Validator 検証 | 既存の列のデータを検証します。 | 文法、自然さ、質問と回答の関連性を点検したいとき。 | スコア列(<名前>_score)と理由列(<名前>_reason)を追加します。 |
- ツールを選ぶと、テンプレートの一覧が表示されます(例:Generator の
Expected Response Generator、Modifier のProofreading)。 - テンプレートを使わずに指示を直接書く場合は、
Customを選びます。 - Benchmark Set にデータがない場合は、
Augmenterのみ使用できます。 - Validator では、スコア方式を
1-5、Pass/Fail、High/Medium/Low、Customから選びます。
②Source Column と Target Column
Source Column は、値を作成するときに参照する基準の列です。参照するだけで、値は変更しません。Target Column は、値を入れる、または変更する列です。ツールによって選ぶ列が異なります。
| ツール | 選ぶもの |
|---|---|
| Generator | Source Column と Target Column。Target で Create New Column を選ぶと新しい列を作成します。新しい列は Reference または Metadata に設定します。 |
| Modifier | Target Column のみ選びます。この列の値を修正します。 |
| Augmenter | 新しい行に値を入れる列と、参照する行を選びます。参照する行は 3〜50 件を推奨し、最大 50 件です。作成する行数も入力します。 |
| Validator | Source Column のみ選びます。結果は新しい列に入ります。 |
Source Column の値が空の行は対象から除外されます。画面の Available data to generate で使用できる行数を確認します。
Fill Options では、値を入れる範囲を決めます(例:Generator では Update or fill all cells、Fill empty cells only、Update or fill selected cells only から選びます)。
③Prompt Setup と Draft
Prompt Setup は、生成モデルに与える指示を書く場所です。2 つの方式があります。
Guided Mode:2 つの欄を埋めるだけです(例:Generator では列の関係(Source–Target Column Relationship)と指示(Instruction)を書きます)。Edit Prompt:System Prompt を直接編集します。Guided Modeに戻ると、直接編集した内容は失われます。
Draft は、指示と生成モデルをまとめた 1 セットの設定です。画面上部に Draft #1 のように番号が付きます。
+ Create New Draft:空の Draft を新しく作成します。以前の Draft はそのまま残ります。Draft History:以前の Draft を選んで再確認します。
④サンプルと全データ
AI Tools ではまずサンプルを作成し、結果に問題がなければ全データを作成します。
| 区分 | ボタン | 作成範囲 | 反映 |
|---|---|---|---|
| サンプル | Generate 15 Sample Data | 最大 15 行。15 行未満の場合はすべて作成します。 | 右側の表でプレビューするだけです。 |
| 全データ | Generate Full Data | 選んだ範囲のすべての行 | Benchmark Set に反映します。 |
- 全データは、現在画面に表示されている Draft の設定で作成します。
- Validator のボタン名は
Validate 15 Sample Data、Validate Full Dataです。 - Augmenter のサンプルボタン名は
Generate 15 Sample Rowです。作成する行数が 15 未満の場合は、その数だけ作成します。
4-1ツールとテンプレートの選択
- 右上の
AI Toolsをクリックします。 - 使うツールを選びます。ツールごとの違いは AI Tools のツールをご覧ください。
- テンプレートを選びます。テンプレートを使わない場合は
Customを選びます。
Benchmark Set にデータがない場合は、
Augmenterのみ使用できます。- 右上の
4-2作成する列の選択
- 基準として使う列(
Source Column)を選びます。初めての場合は、先に Source Column と Target Columnをお読みください。 Nextをクリックします。- 値を入れる列(
Target Column)を選びます。 Fill Optionsで値を入れる範囲を選びます。Startをクリックします。
新しい列に値を作成するには、
Create New Columnを選びます。- 基準として使う列(
4-3サンプルの確認
Prompt Setupで列の関係と指示を入力します。入力方式は Prompt Setup と Draftをご覧ください。- 生成モデルを選びます。
Generate 15 Sample Dataをクリックします。- 右側の表で生成結果を確認します。
- サンプルは最大 15 行まで作成します。サンプルは Benchmark Set に反映されません。
- 全データとの違いはサンプルと全データをご覧ください。
4-4Draft の追加
- 結果に満足できない場合は、
+ Create New Draftをクリックします。 - 新しい Draft で指示を修正し、もう一度サンプルを作成します。
以前の Draft は
Draft Historyで再確認できます。- 結果に満足できない場合は、
4-5全データの作成
Generate Full Dataをクリックします。- 確認ダイアログで
Generateをクリックします。 - 表の上の案内で生成の進捗を確認します。
現在画面に表示されている Draft の設定で全データを作成します。
よくある質問
AI Tools で Augmenter しか選べないのはなぜですか?Benchmark Set にデータがないためです。データがない場合は Augmenter のみ使用できます。
- 原因
- 他のツールは既存のデータを基準に値を作成・修正します。データが 0 件だと基準がありません。ツールごとの違いは AI Tools のツールで確認できます。
- 解決方法
Upload Fileで先にデータをアップロードしてから、他のツールを選んでください。
ファイルをアップロードできないのはなぜですか?アップロードできるのは csv、xlsx ファイルのみであるためです。
- 原因
- それ以外の形式のファイルは、アップロード領域で受け付けません。
- 解決方法
- ファイルを
csvまたはxlsx形式で保存し、もう一度アップロードしてください。