Platform Docs
Try DatumoEval

Task の管理

Task をテンプレートまたは Custom Task として作成する方法と、Task 画面の構成、Key 情報の管理方法を説明します。

1. Task の作成

①Task

Task は、何を評価するかを決める単位です。評価したい能力 1 つにつき Task を 1 つ作成します。実際の評価も Task 単位で実行します。

1 つの Task は 2 つの要素で構成されます。

  • Benchmark Set 1 つ:評価に使うデータ
  • 複数の Metric:結果を採点する方法

Task は Criteria 画面の Subgroup または Module の下に追加します。

Task: 金融商品の情報検索
├─ Benchmark Set: 商品に関する質問 200件
└─ Metric: AnswerAccuracy, Similarity, ExactMatch

同じデータを複数の Metric で採点するため、1 つの Task をさまざまな観点から評価できます。

②テンプレートと Custom Task

Task は 2 つの方法で作成します。

方法最初に含まれているもの使う場面
テンプレートDATUMO があらかじめ用意した説明、Metric、評価データ評価したい内容に合うテンプレートがあるとき
Custom Task名前と説明のみ合うテンプレートがないとき
  • テンプレート一覧は Task Group、Application Type、Module Type、Domain、Language で絞り込めます。
  • テンプレートカードには、説明、データ件数、Metric、タグが表示されます。
  • 安全性のテンプレートに含まれる Benchmark Set は Datumo Benchmark Set の紹介 で確認します。
  • テンプレートから作成する場合は、テンプレートの Key を Task の Key に接続する必要があります。Key の接続で説明します。
  • Custom Task では、Benchmark Set と Metric を自分で追加します。

③Key の種類

Key は評価データの項目名です。表の列名と考えるとわかりやすいでしょう。Key は 4 種類あり、種類ごとに評価での役割が異なります。

Key の種類意味編集する場所例
InputApplication に渡す値Application Setting(Settings > Application > Agent Connection)query
OutputApplication が Input を受け取って生成した結果Application Settingresponse、retrieved_context
ReferenceMetric が採点時に比較する正解情報Task 画面expected_response、reference_context
Metadata評価には使わない付加情報Task 画面レビュー担当者、作成日、出典
  • Input・Output Key は Application で定義されています。同じ Application のすべての Task で共通して使います。
  • Output は Benchmark Set にあらかじめ入れておきません。評価の実行時に Application が生成します。
  • Reference はなくても構いません。Reference なしで採点する Metric もあります。
  • Reference・Metadata Key は、Benchmark Set のデータを取り込むときにファイルの列と接続されます。

たとえば、Benchmark Set のデータ 1 件は次のようになります。

query (Input)expected_response (Reference)source (Metadata)
サンプル積立預金は最低いくらから加入できますか?月 1 万ウォンから加入できます。商品説明書

よく使う標準の Key 名は評価のコアコンセプトで確認できます。

④Key の接続

テンプレートは独自の Key 名を使います。この名前が Application の Key 名と異なる場合があります。そのため、テンプレートから Task を作成するときは、テンプレートの Key を Task の Key に 1 つずつ接続します。

  • Template Required Key:追加するテンプレートが使う Key
  • Task Key:テンプレートの Key と接続する、この Task の Key

テンプレートの Key ごとに、次のいずれかを選びます。

選択肢動作
Input・Output KeyApplication の Input または Output Key に接続します。
Auto-create as Reference Key同じ名前の Reference Key を新規作成します。
Auto-create as Metadata Key同じ名前の Metadata Key を新規作成します。
Clear Column Valuesこの Key を使わず、その列の値を空にします。

たとえば、テンプレートの Key が response で、Application の Output Key が answer の場合は、この 2 つを接続します。テンプレートの expected_response は Auto-create as Reference Key で新規作成できます。

  • テンプレートの Key をすべて接続しないと Task を追加できません。
  • 同じ Task Key に 2 つのテンプレート Key を接続することはできません。
  1. 1-1テンプレートから作成

    1. Criteria 画面で + New Task をクリックします。
    2. 使いたいテンプレートを選択します。
    3. Add Task をクリックします。
    • 目的のテンプレートが見つからない場合は、上部のフィルターや検索ボックスで探します。
    • テンプレートと Custom Task の違いはテンプレートと Custom Taskで確認できます。
  2. 1-2テンプレート Key の接続

    1. Mapping incomplete と表示された Key をクリックします。初めての場合は、先に Key の接続をお読みください。
    2. 接続する Task Key を選びます。
    3. Complete をクリックします。
    4. Task 一覧で追加した Task を確認します。
    • テンプレートの Key はすべて Task Key に接続する必要があります。
    • 接続する Key がない場合は、Reference または Metadata Key として新規作成できます。
  3. 1-3Custom Task の作成

    1. + New Task をクリックします。
    2. Custom Task を選択します。
    3. Task Name と Description を入力します。
    4. Complete をクリックします。
    5. Task Detail 画面で追加した Task を確認します。

    Description は入力しなくても構いません。


2. Task 画面の確認

①Task 画面の構成

Criteria 画面で Task 名をクリックすると、Task 画面が開きます。Task 画面は 4 つの領域に分かれています。

領域表示内容
Task InfoTask Group、Task 名、説明
Schema Settingこの Task の Key。Input、Output、Reference、Metadata に分かれます。
Metricこの Task に属する Metric。タイプ、必要な Key、結果項目、Judge Model が表示されます。
Benchmark Set評価データ。Key が表の列として表示されます。

Metric の追加は Metric の管理で、データの追加は Benchmark Set の管理で説明します。

  1. 2-1画面構成

    1. Criteria 画面で Task 名をクリックします。各領域の説明は Task 画面の構成にあります。
    2. Task Info で名前、説明、Task Group を確認します。
    3. Schema Setting で Task の Key を確認します。Key ごとの役割は Key の種類にあります。
    4. Metric で Task に属する Metric を確認します。
    5. Benchmark Set で評価データを確認します。

3. Key 情報の管理

  1. 3-1Input・Output Key の編集

    1. Go to Application Setting をクリックします。

    Input・Output Key は Application Setting 画面で編集します。

  2. 3-2Key 名の編集

    1. Reference の Edit をクリックします。
    2. 変更する Key の横にある Edit をクリックします。
    3. 名前を修正し、Save をクリックします。
    4. Complete をクリックします。

    Metadata Key も Metadata の Edit から同じ方法で編集します。

  3. 3-3Key の追加

    1. + Add Key をクリックします。
    2. 新しい Key 名を入力し、Save をクリックします。
    3. Complete をクリックします。
  4. 3-4Key の削除

    1. 削除する Key の横にある − をクリックします。
    2. Complete をクリックします。

    保存済みの Key を削除すると元に戻せません。すでに出ている評価結果は残ります。


よくある質問

Task 画面で Input・Output Key を編集できないのはなぜですか?Input・Output Key は Application Setting で管理するためです。
原因
Input・Output Key は Application Setting で管理しています。Task 画面には Edit の代わりに移動用のリンクだけがあります。
解決方法
Go to Application Setting をクリックし、Application Setting 画面で編集してください。Key の種類ごとの編集場所は Key の種類にまとめています。
Key を編集した後、Complete ボタンを押せないのはなぜですか?まだ保存していない Key があるためです。
原因
Key 名の編集中や新規入力中は、Complete が無効になっています。
解決方法
編集した Key の横にある Save を先にクリックしてください。不要な Key は − で削除してください。
テンプレートから Task を追加するとき、Complete ボタンを押せないのはなぜですか?接続していないテンプレート Key が残っているためです。
原因
Mapping incomplete と表示された Key があると、Task を追加できません。
解決方法
赤いセルをクリックして Task Key を選ぶか、Reference・Metadata Key として新規作成してください。選べる項目は Key の接続にあります。

最終更新日