Platform Docs
Try DatumoEval

Seed 管理

レッドチーミングで使う Seed Set を確認し、LLM で生成またはファイルでアップロードして、詳細画面で編集したり Seed を追加したりします。

1. Seed Set 一覧の確認

①Seed Set

Seed Set は攻撃シミュレーションに使う Seed のまとまりです。Seed ごとに Taxonomy が付いており、Seed Set は 1 つの Domain に属します。Taxonomy の構成は Domain ごとに異なります。

  • 一覧には現在の Workspace のすべての Seed Set が表示されます。
  • 行をクリックすると Seed Set の詳細画面が開きます。
  • Seed Set は New Run の Seeds ステップで選択します。方法は評価履歴で説明しています。
列説明
Created at作成日
Seed Set Name名前
Description説明
Domain属する Domain
Seed CountSeed の数。生成中は進捗数が表示されます。
Creation Type / Status作成方法と現在のステータス

②作成方法とステータス

種類・ステータス意味
Built in標準提供の Seed Set。削除・追加・編集はできません。
Uploadedファイルをアップロードして作成した Seed Set
Generated生成が完了した Seed Set
Generating生成中。ローディング表示も表示されます。
Errorエラーが 1 件以上発生しました。一覧から全体を再試行するか、詳細画面で Seed ごとに再試行します。
Uploadingアップロード中。薄く表示され、開くことはできません。

③事前に準備するもの

Seed を LLM で生成するには、Gen & Judge Model が 1 つ以上必要です。モデルがない場合は警告バナーが表示され、生成ボタンが無効になります。方法はGen & Judge Model の登録で説明しています。

  1. 1-1一覧を開く

    1. 左メニューの Red Teaming の下にある Seed Management をクリックします。
    2. 列名を確認します。意味は Seed Set にあります。
  2. 1-2ステータスの確認

    1. Generating の行で生成の進捗を確認します。
    2. Error の行は Retry で全体を再試行します。
    3. Uploading の行はアップロードが終わるまで待ちます。

    ステータスごとの意味は作成方法とステータスを参照してください。

  3. 1-3Seed Set を開く

    1. 開きたい Seed Set の行をクリックします。

    詳細画面は「4. Seed Set 詳細の確認と編集」で説明します。


2. Seed Set の生成

①入力項目

Generate Seed Set をクリックすると生成画面が開きます。左側で設定を入力し、右側のプレビューでサンプルを確認してから全データを生成します。

エリア項目説明
1 Basic InfoSeed Set Name *Seed Set の名前
Description区別用。生成結果には影響しません。
Number of Seeds *生成する Seed の数。デフォルト値は 100 です。
2 Domain & TaxonomyDomain *現在は Open Domain のみ選択できます。Finance、Legal、Commerce は Coming soon です。
Taxonomy *Taxonomy を 1 つ以上選択する必要があります。Taxonomy の一覧は Domain ごとに異なります(Open Domain は 19 種類)。
3 Generation Method生成方法 *Datumo Seed Generator Lv.1 または Lv.2 を選択します。
Lv.2 のドキュメントとキャプションLv.2 を選択した場合は PDF を 1 つアップロードし、このドキュメントをどのように活用して Seed を生成するかをキャプション欄に記入します。Lv.2 ではキャプションが必須です。現在アップロードできる PDF は 1 つだけです。
Generation Requirements任意ですが、入力を推奨します。ペルソナ、目的、制約を 1 行に 1 つずつ記入します。
4 Generation OptionsLanguage *KR または ENG
Generation Model *初期値はモデル設定のデフォルト Seed 生成モデルです。

②Taxonomy の比率

Taxonomy を選択すると、Equal split — about N seeds per taxonomy という案内が表示されます。Seed は Taxonomy ごとに同じ数に分けられます。

  • 比率を自分で決めるには Customize をクリックします。
  • Taxonomy ごとの比率の合計は 100% である必要があります。

③サンプルと全体生成

必須項目をすべて入力すると、Generate 15 Sample Data ボタンが有効になります。

  • サンプル生成が終わると、要約(Generated {N} seeds across {N} taxonomies using {Model}…)と所要時間・コストが表示されます。
  • プレビューは最大 15 行です。サンプルはまだ保存されていない状態です。
  • 生成に失敗した行には ⚠ とエラーメッセージが表示されます。行の再試行(↺)で再生成します。
  • エラーがあっても、Generate Full Data で全体生成を進められます。
  • 全体生成を開始すると、一覧に Generating ステータスで追加されます。

④Draft

Draft は、生成設定とその結果をまとめた作業用のコピーです。

  • 生成画面に入ると Draft #1 が始まります。
  • Draft History で以前の Draft の設定と生成された Seed を確認します。
  • Create New Draft をクリックすると、現在の設定をそのまま引き継いだ新しい Draft が作成されます。
  1. 2-1生成画面を開く

    1. 右上の Generate Seed Set をクリックします。
    2. Basic Info に Seed Set Name と Number of Seeds を入力します。

    各項目の意味は入力項目にあります。

  2. 2-2Domain と Taxonomy

    1. Domain を選択します。
    2. 19 種類の Taxonomy から 1 つ以上選択します。
    3. 比率を変更するには Customize をクリックし、合計が 100% になるように設定します。

    デフォルトでは Taxonomy ごとに同じ数に分けます。

  3. 2-3生成方法とオプション

    1. Generation Method を選択します。
    2. Generation Requirements を入力します。入力欄を増やすには Add Requirements をクリックします。
    3. Language と Generation Model を選択します。
  4. 2-4サンプルの確認

    1. Generate 15 Sample Data をクリックします。
    2. 要約と所要時間・コストを確認します。
    3. ⚠ の行があれば再試行(↺)をクリックします。

    サンプルはまだ保存されません。

  5. 2-5全体生成

    1. Generate Full Data をクリックします。
    2. 確認ダイアログで Generate をクリックします。

    一覧に Generating ステータスで追加されます。

  6. 2-6Draft の管理

    1. 以前の設定を確認するには Draft History をクリックします。
    2. 設定を変えて再生成するには Create New Draft をクリックします。

    新しい Draft は現在の設定をそのまま引き継ぎます。


3. ファイルでアップロード

①アップロード項目

Upload File をクリックすると、2 つのステップで進みます。アップロードできるファイルは 1 つ だけです。

ステップ項目説明
1Seed Set Name *Seed Set の名前
Domain *現在は Open Domain に固定されています。
Description説明
2列のマッピングファイルの列を seed、taxonomy(必須)に紐付けます。残りの列は Metadata として扱うかどうかを選択します。
Taxonomy のマッピングTaxonomy 列の一意の値ごとに、Domain の Taxonomy を 1 つずつ紐付けます。
  • ✦ Automatically map (AI) は、手動で紐付けていない値だけを埋めます。
  • すべての Taxonomy の値を紐付けないと、アップロードを完了できません。
  1. 3-1ファイルと基本情報

    1. 一覧の右上にある Upload File をクリックします。
    2. ファイルをドラッグ&ドロップするか、選択してアップロードします。
    3. Seed Set Name を入力し、Domain を確認します。
    4. Next をクリックします。

    必須項目をすべて入力すると Next が有効になります。

  2. 3-2列と Taxonomy のマッピング

    1. seed と taxonomy にファイルの列を紐付けます。
    2. Taxonomy の値ごとに紐付ける Taxonomy を選択するか、✦ Automatically map (AI) をクリックします。
    3. 空欄がないことを確認して Upload をクリックします。

    マッピングしていない値があると、アップロードを完了できません。


4. Seed Set 詳細の確認と編集

①種類別の機能

詳細画面では、ID、Seed、Taxonomy、Metadata と全データ件数を確認します。Domain と Taxonomy で絞り込めます。

機能Built inUploaded / Generated
Export可能可能
Deleteボタンなし可能
Generate Seedボタンなし可能
Upload Fileボタンなし可能
Editボタンなし可能

②編集と Seed の追加

  • Edit をクリックすると編集状態になります。修正する行をクリックし、Seed と Metadata は直接修正し、Taxonomy は一覧から変更します。
  • Generate Seed または Upload File で、既存の Seed Set に Seed を追加します。手順は新規作成時と同じです。
  • 既存の設定をそのまま使うため、一部の項目は表示されません。
追加方法表示されない項目
Generate SeedSeed Set Name、Domain の選択
Upload FileSeed Set Name、Description、Domain の選択
  1. 4-1詳細の確認

    1. 一覧で Seed Set の行をクリックします。
    2. Seed、Taxonomy、Metadata を確認します。
    3. 下部で全データ件数を確認します。

    Built in の Seed Set では Export のみ使用できます。

  2. 4-2編集

    1. Edit をクリックします。
    2. 修正する行をクリックし、Seed を修正するか Taxonomy を変更します。
  3. 4-3Seed の追加とエクスポート

    1. Seed をさらに生成するには Generate Seed をクリックします。
    2. ファイルで追加するには Upload File をクリックします。
    3. CSV でダウンロードするには Export をクリックします。

    追加時に表示されない項目は編集と Seed の追加にあります。


よくある質問

Generate Seed Set をクリックできず、警告バナーが表示されるのはなぜですか?登録済みの Gen & Judge Model がないためです。
原因
Seed を LLM で生成するには生成モデルが必要です。アップロード、編集、エクスポート、削除はそのまま使えます。
解決方法
バナーの Go to Gen & Judge Model Setting → をクリックしてモデルを登録してください。
Generate 15 Sample Data をクリックできないのはなぜですか?必須項目がすべて入力されていないためです。
原因
Seed Set Name、Domain・Taxonomy、生成方法がすべて揃っていないとサンプルを生成できません。
解決方法
未入力の項目を入力してください。
Finance、Legal、Commerce を選択できないのはなぜですか?まだ提供されていない Domain であるためです。
原因
現在は Open Domain のみ使用できます(Coming soon)。
解決方法
Open Domain を選択してください。
プレビューの行に ⚠ が表示されるのはなぜですか?その行のサンプルを生成できなかったためです。
原因
生成モデルの応答が遅れたり失敗したりすると、その行だけがエラーになります。
解決方法
行の再試行(↺)をクリックしてください。エラーがあっても全体生成は進められます。
Uploading ステータスの Seed Set を開けないのはなぜですか?アップロードがまだ終わっていないためです。
原因
アップロード中の Seed Set は薄く表示され、開くことはできません。
解決方法
アップロードが終わってから、もう一度開いてください。
アップロードを完了できないのはなぜですか?マッピングしていない Taxonomy の値があるためです。
原因
ファイルの Taxonomy の値をすべて Domain の Taxonomy に紐付ける必要があります。
解決方法
空欄を埋めるか、✦ Automatically map (AI) をクリックしてください。
Built-in の Seed Set に Edit、Delete ボタンがないのはなぜですか?標準提供の Seed Set は変更できないためです。Export のみ使用できます。
原因
Built in の Seed Set は削除・追加・編集ができず、Export のみ使用できます。
解決方法
内容を変更するには、エクスポートしたファイルを修正し、新しい Seed Set としてアップロードしてください。

最終更新日