Platform Docs
Try DatumoEval

Benchmark Set の管理

評価データをアップロードして Benchmark Set を構成し、データを編集・削除・追加したり、AI Tools でデータを作成したりする方法を説明します。

1. Benchmark Set を開く

Benchmark Set は、Task を評価するときの基準として使うデータの集まりです。評価対象を代表するデータで構成します。表の 1 行が評価データ 1 件です。

①Key の種類

Benchmark Set の 1 列が Task の Key 1 つに対応します。Key は評価での役割によって 3 種類に分かれます。

Key の種類意味用途例
InputApplication やエージェントに渡す値評価時に Application へそのまま渡します。query
Reference採点時に参照する正解情報Metric が Output と比較します。Reference なしで採点する Metric もあります。expected_response、gold_context_id
Metadata評価には使わない付加情報レビュー担当者、作成日、出典など、データの管理に使います。query_author、query_created_at、human_reviewed

Output は Benchmark Set にあらかじめ入れておきません。評価を実行すると、Application が Input を受け取って Output を生成します(例:response、answer、retrieved_context)。

以下は、Key の種類ごとに値を入れた例です。

idquery (Input)expected_response (Reference)source (Metadata)
1サンプル定期預金を中途解約すると、利息はどうなりますか?約定金利の代わりに中途解約金利が適用されます。商品 FAQ
2サンプル積立預金は最低いくらから加入できますか?月 1 万ウォンから加入できます。商品説明書

②よく使う Key

DATUMO では、よく使う列名を標準 Key として定めています。列名を標準 Key に合わせると、Metric と Key を接続しやすくなります。

Key種類意味
queryInputユーザーの質問
retrieved_contextInput、OutputRetriever が検索したドキュメントのリスト
responseOutputApplication やエージェントの回答
expected_responseReference期待される回答(正解)。選択式問題では正解の選択肢
reference_contextReference検索されるべき正解ドキュメントのリスト

Generator などの AI Tools のテンプレートでは、context、source_document のようにテンプレートが使う名前が表示されます。この名前は Key ではありません。テンプレートを使うときに、名前ごとに実際の列を 1 つずつ選びます。

  1. 1-1Benchmark Set 画面を開く

    1. 左メニューの Criteria で Task をクリックします。
    2. Task 画面で Manage Benchmark をクリックすると、この画面が開きます。

2. データのアップロード

①アップロード時の列の接続

ファイルをアップロードすると、Key Mapping ウィンドウが開きます。このウィンドウで、ファイルの列を Task Key に接続します。

  • 左側の Task Key には、この Task の Key が Input Key、Reference Key、Metadata Key にまとめて表示されます。
  • 右側の CSV Column で、Key ごとにファイルの列を 1 つ選びます。
  • 上部の案内欄には、ファイルのすべての列が表示されます。接続済みの列は青色で表示されます。
  • 列を選んでいない Key は Mapping incomplete と表示されます。
  • Metadata Key では、列の代わりに Manual Input を選べます。直接入力した値が、アップロードするすべての行に入ります。

接続しなかったファイルの列は Unselected Columns にまとめられます。Unselect columns will be added as Metadata. は最初からチェックが入っています。チェックが入った状態では、これらの列が新しい Metadata Key として追加されます。チェックを外すと、これらの列はアップロードされません。

たとえば、ファイルの列が query、expected_response、created_by、id だとします。

ファイルの列接続結果
queryInput Key query に接続
expected_responseReference Key expected_response に接続
created_byMetadata Key query_author に接続
id接続しない。チェックが入っていれば Metadata Key id として追加
  1. 2-1ファイルのアップロード

    1. 右上の Upload File をクリックします。
    2. ファイルをアップロード領域にドラッグ&ドロップします。領域をクリックして選択することもできます。
    3. Next をクリックします。

    アップロードできるのは csv、xlsx ファイルのみです。

  2. 2-2列の接続

    1. 上部の案内欄でファイルの列名を確認します。
    2. Task Key ごとに接続するファイルの列を選びます。Key が初めての場合は、先に Key の種類をお読みください。
    3. Mapping incomplete と表示された欄は、列を選んで埋めます。
    4. Complete をクリックします。
    • 接続しなかった列は Metadata として追加されます。不要な場合は、下のチェックを外します。
    • アップロードしたデータは既存データの後ろに追加されます。
    • 詳しいルールはアップロード時の列の接続で説明しています。

3. データの編集

  1. 3-1データの修正

    1. 右上の Edit をクリックします。
    2. 修正するセルをクリックして内容を編集します。
    3. Save をクリックします。
    4. 確認ダイアログで Save をクリックします。

    Cancel をクリックすると、変更内容は保存されません。

  2. 3-2データの削除

    1. Edit 画面で、ID 列のチェックボックスで削除する行を選びます。
    2. - Delete Data をクリックします。
    3. 確認ダイアログで Delete をクリックします。
    4. Save をクリックして保存します。

    削除したデータは元に戻せません。

  3. 3-3データの追加

    1. Edit 画面で + Add Data をクリックします。
    2. 一番下に追加された新しい行に値を入力します。
    3. Save をクリックして保存します。

4. AI Tools でデータを作成

①AI Tools のツール

AI Tools は、生成モデルで Benchmark Set の値を作成・修正するツールです。ツールは 4 種類あります。

ツール機能使う場面結果
Generator
生成
他の列を参照して列の値を作成または置き換えます。質問だけがあって期待される回答がないとき。ドキュメントだけがあって質問がないとき。選んだ列に値を入れます。新しい列を作ることもできます。
Modifier
変形
既存の列の内容を修正します。誤字の修正、口調の変更、文の短縮など、表現を変えたいとき。選んだ列の値を新しい値に置き換えます。
Augmenter
拡張
既存の列と行を参照して新しい行を追加します。データ件数が足りないとき。少ないタイプのデータを増やしたいとき。表の下に新しい行を追加します。
Validator
検証
既存の列のデータを検証します。文法、自然さ、質問と回答の関連性を点検したいとき。スコア列(<名前>_score)と理由列(<名前>_reason)を追加します。
  • ツールを選ぶと、テンプレートの一覧が表示されます(例:Generator の Expected Response Generator、Modifier の Proofreading)。
  • テンプレートを使わずに指示を直接書く場合は、Custom を選びます。
  • Benchmark Set にデータがない場合は、Augmenter のみ使用できます。
  • Validator では、スコア方式を 1-5、Pass/Fail、High/Medium/Low、Custom から選びます。

②Source Column と Target Column

Source Column は、値を作成するときに参照する基準の列です。参照するだけで、値は変更しません。Target Column は、値を入れる、または変更する列です。ツールによって選ぶ列が異なります。

ツール選ぶもの
GeneratorSource Column と Target Column。Target で Create New Column を選ぶと新しい列を作成します。新しい列は Reference または Metadata に設定します。
ModifierTarget Column のみ選びます。この列の値を修正します。
Augmenter新しい行に値を入れる列と、参照する行を選びます。参照する行は 3〜50 件を推奨し、最大 50 件です。作成する行数も入力します。
ValidatorSource Column のみ選びます。結果は新しい列に入ります。

Source Column の値が空の行は対象から除外されます。画面の Available data to generate で使用できる行数を確認します。

Fill Options では、値を入れる範囲を決めます(例:Generator では Update or fill all cells、Fill empty cells only、Update or fill selected cells only から選びます)。

③Prompt Setup と Draft

Prompt Setup は、生成モデルに与える指示を書く場所です。2 つの方式があります。

  • Guided Mode:2 つの欄を埋めるだけです(例:Generator では列の関係(Source–Target Column Relationship)と指示(Instruction)を書きます)。
  • Edit Prompt:System Prompt を直接編集します。Guided Mode に戻ると、直接編集した内容は失われます。

Draft は、指示と生成モデルをまとめた 1 セットの設定です。画面上部に Draft #1 のように番号が付きます。

  • + Create New Draft:空の Draft を新しく作成します。以前の Draft はそのまま残ります。
  • Draft History:以前の Draft を選んで再確認します。

④サンプルと全データ

AI Tools ではまずサンプルを作成し、結果に問題がなければ全データを作成します。

区分ボタン作成範囲反映
サンプルGenerate 15 Sample Data最大 15 行。15 行未満の場合はすべて作成します。右側の表でプレビューするだけです。
全データGenerate Full Data選んだ範囲のすべての行Benchmark Set に反映します。
  • 全データは、現在画面に表示されている Draft の設定で作成します。
  • Validator のボタン名は Validate 15 Sample Data、Validate Full Data です。
  • Augmenter のサンプルボタン名は Generate 15 Sample Row です。作成する行数が 15 未満の場合は、その数だけ作成します。
  1. 4-1ツールとテンプレートの選択

    1. 右上の AI Tools をクリックします。
    2. 使うツールを選びます。ツールごとの違いは AI Tools のツールをご覧ください。
    3. テンプレートを選びます。テンプレートを使わない場合は Custom を選びます。

    Benchmark Set にデータがない場合は、Augmenter のみ使用できます。

  2. 4-2作成する列の選択

    1. 基準として使う列(Source Column)を選びます。初めての場合は、先に Source Column と Target Columnをお読みください。
    2. Next をクリックします。
    3. 値を入れる列(Target Column)を選びます。
    4. Fill Options で値を入れる範囲を選びます。
    5. Start をクリックします。

    新しい列に値を作成するには、Create New Column を選びます。

  3. 4-3サンプルの確認

    1. Prompt Setup で列の関係と指示を入力します。入力方式は Prompt Setup と Draftをご覧ください。
    2. 生成モデルを選びます。
    3. Generate 15 Sample Data をクリックします。
    4. 右側の表で生成結果を確認します。
    • サンプルは最大 15 行まで作成します。サンプルは Benchmark Set に反映されません。
    • 全データとの違いはサンプルと全データをご覧ください。
  4. 4-4Draft の追加

    1. 結果に満足できない場合は、+ Create New Draft をクリックします。
    2. 新しい Draft で指示を修正し、もう一度サンプルを作成します。

    以前の Draft は Draft History で再確認できます。

  5. 4-5全データの作成

    1. Generate Full Data をクリックします。
    2. 確認ダイアログで Generate をクリックします。
    3. 表の上の案内で生成の進捗を確認します。

    現在画面に表示されている Draft の設定で全データを作成します。


よくある質問

AI Tools で Augmenter しか選べないのはなぜですか?Benchmark Set にデータがないためです。データがない場合は Augmenter のみ使用できます。
原因
他のツールは既存のデータを基準に値を作成・修正します。データが 0 件だと基準がありません。ツールごとの違いは AI Tools のツールで確認できます。
解決方法
Upload File で先にデータをアップロードしてから、他のツールを選んでください。
ファイルをアップロードできないのはなぜですか?アップロードできるのは csv、xlsx ファイルのみであるためです。
原因
それ以外の形式のファイルは、アップロード領域で受け付けません。
解決方法
ファイルを csv または xlsx 形式で保存し、もう一度アップロードしてください。

最終更新日