Seed 管理
レッドチーミングで使う Seed Set を確認し、LLM で生成またはファイルでアップロードして、詳細画面で編集したり Seed を追加したりします。
1. Seed Set 一覧の確認
①Seed Set
Seed Set は攻撃シミュレーションに使う Seed のまとまりです。Seed ごとに Taxonomy が付いており、Seed Set は 1 つの Domain に属します。Taxonomy の構成は Domain ごとに異なります。
- 一覧には現在の Workspace のすべての Seed Set が表示されます。
- 行をクリックすると Seed Set の詳細画面が開きます。
- Seed Set は New Run の Seeds ステップで選択します。方法は評価履歴で説明しています。
| 列 | 説明 |
|---|---|
Created at | 作成日 |
Seed Set Name | 名前 |
Description | 説明 |
Domain | 属する Domain |
Seed Count | Seed の数。生成中は進捗数が表示されます。 |
Creation Type / Status | 作成方法と現在のステータス |
②作成方法とステータス
| 種類・ステータス | 意味 |
|---|---|
Built in | 標準提供の Seed Set。削除・追加・編集はできません。 |
Uploaded | ファイルをアップロードして作成した Seed Set |
Generated | 生成が完了した Seed Set |
Generating | 生成中。ローディング表示も表示されます。 |
Error | エラーが 1 件以上発生しました。一覧から全体を再試行するか、詳細画面で Seed ごとに再試行します。 |
Uploading | アップロード中。薄く表示され、開くことはできません。 |
③事前に準備するもの
Seed を LLM で生成するには、Gen & Judge Model が 1 つ以上必要です。モデルがない場合は警告バナーが表示され、生成ボタンが無効になります。方法はGen & Judge Model の登録で説明しています。
1-1一覧を開く
- 左メニューの Red Teaming の下にある
Seed Managementをクリックします。 - 列名を確認します。意味は Seed Set にあります。
- 左メニューの Red Teaming の下にある
1-2ステータスの確認
Generatingの行で生成の進捗を確認します。Errorの行はRetryで全体を再試行します。Uploadingの行はアップロードが終わるまで待ちます。
ステータスごとの意味は作成方法とステータスを参照してください。
1-3Seed Set を開く
- 開きたい Seed Set の行をクリックします。
詳細画面は「4. Seed Set 詳細の確認と編集」で説明します。
2. Seed Set の生成
①入力項目
Generate Seed Set をクリックすると生成画面が開きます。左側で設定を入力し、右側のプレビューでサンプルを確認してから全データを生成します。
| エリア | 項目 | 説明 |
|---|---|---|
| 1 Basic Info | Seed Set Name * | Seed Set の名前 |
Description | 区別用。生成結果には影響しません。 | |
Number of Seeds * | 生成する Seed の数。デフォルト値は 100 です。 | |
| 2 Domain & Taxonomy | Domain * | 現在は Open Domain のみ選択できます。Finance、Legal、Commerce は Coming soon です。 |
| Taxonomy * | Taxonomy を 1 つ以上選択する必要があります。Taxonomy の一覧は Domain ごとに異なります(Open Domain は 19 種類)。 | |
| 3 Generation Method | 生成方法 * | Datumo Seed Generator Lv.1 または Lv.2 を選択します。 |
Lv.2 のドキュメントとキャプション | Lv.2 を選択した場合は PDF を 1 つアップロードし、このドキュメントをどのように活用して Seed を生成するかをキャプション欄に記入します。Lv.2 ではキャプションが必須です。現在アップロードできる PDF は 1 つだけです。 | |
Generation Requirements | 任意ですが、入力を推奨します。ペルソナ、目的、制約を 1 行に 1 つずつ記入します。 | |
| 4 Generation Options | Language * | KR または ENG |
Generation Model * | 初期値はモデル設定のデフォルト Seed 生成モデルです。 |
②Taxonomy の比率
Taxonomy を選択すると、Equal split — about N seeds per taxonomy という案内が表示されます。Seed は Taxonomy ごとに同じ数に分けられます。
- 比率を自分で決めるには
Customizeをクリックします。 - Taxonomy ごとの比率の合計は 100% である必要があります。
③サンプルと全体生成
必須項目をすべて入力すると、Generate 15 Sample Data ボタンが有効になります。
- サンプル生成が終わると、要約(
Generated {N} seeds across {N} taxonomies using {Model}…)と所要時間・コストが表示されます。 - プレビューは最大 15 行です。サンプルはまだ保存されていない状態です。
- 生成に失敗した行には ⚠ とエラーメッセージが表示されます。行の再試行(↺)で再生成します。
- エラーがあっても、
Generate Full Dataで全体生成を進められます。 - 全体生成を開始すると、一覧に
Generatingステータスで追加されます。
④Draft
Draft は、生成設定とその結果をまとめた作業用のコピーです。
- 生成画面に入ると
Draft #1が始まります。 Draft Historyで以前の Draft の設定と生成された Seed を確認します。Create New Draftをクリックすると、現在の設定をそのまま引き継いだ新しい Draft が作成されます。
2-1生成画面を開く
- 右上の
Generate Seed Setをクリックします。 - Basic Info に
Seed Set NameとNumber of Seedsを入力します。
各項目の意味は入力項目にあります。
- 右上の
2-2Domain と Taxonomy
- Domain を選択します。
- 19 種類の Taxonomy から 1 つ以上選択します。
- 比率を変更するには
Customizeをクリックし、合計が 100% になるように設定します。
デフォルトでは Taxonomy ごとに同じ数に分けます。
2-3生成方法とオプション
- Generation Method を選択します。
Generation Requirementsを入力します。入力欄を増やすにはAdd Requirementsをクリックします。LanguageとGeneration Modelを選択します。
2-4サンプルの確認
Generate 15 Sample Dataをクリックします。- 要約と所要時間・コストを確認します。
- ⚠ の行があれば再試行(↺)をクリックします。
サンプルはまだ保存されません。
2-5全体生成
Generate Full Dataをクリックします。- 確認ダイアログで
Generateをクリックします。
一覧に
Generatingステータスで追加されます。2-6Draft の管理
- 以前の設定を確認するには
Draft Historyをクリックします。 - 設定を変えて再生成するには
Create New Draftをクリックします。
新しい Draft は現在の設定をそのまま引き継ぎます。
- 以前の設定を確認するには
3. ファイルでアップロード
①アップロード項目
Upload File をクリックすると、2 つのステップで進みます。アップロードできるファイルは 1 つ だけです。
| ステップ | 項目 | 説明 |
|---|---|---|
| 1 | Seed Set Name * | Seed Set の名前 |
Domain * | 現在は Open Domain に固定されています。 | |
Description | 説明 | |
| 2 | 列のマッピング | ファイルの列を seed、taxonomy(必須)に紐付けます。残りの列は Metadata として扱うかどうかを選択します。 |
| Taxonomy のマッピング | Taxonomy 列の一意の値ごとに、Domain の Taxonomy を 1 つずつ紐付けます。 |
✦ Automatically map (AI)は、手動で紐付けていない値だけを埋めます。- すべての Taxonomy の値を紐付けないと、アップロードを完了できません。
3-1ファイルと基本情報
- 一覧の右上にある
Upload Fileをクリックします。 - ファイルをドラッグ&ドロップするか、選択してアップロードします。
Seed Set Nameを入力し、Domain を確認します。Nextをクリックします。
必須項目をすべて入力すると
Nextが有効になります。- 一覧の右上にある
3-2列と Taxonomy のマッピング
seedとtaxonomyにファイルの列を紐付けます。- Taxonomy の値ごとに紐付ける Taxonomy を選択するか、
✦ Automatically map (AI)をクリックします。 - 空欄がないことを確認して
Uploadをクリックします。
マッピングしていない値があると、アップロードを完了できません。
4. Seed Set 詳細の確認と編集
①種類別の機能
詳細画面では、ID、Seed、Taxonomy、Metadata と全データ件数を確認します。Domain と Taxonomy で絞り込めます。
| 機能 | Built in | Uploaded / Generated |
|---|---|---|
Export | 可能 | 可能 |
Delete | ボタンなし | 可能 |
Generate Seed | ボタンなし | 可能 |
Upload File | ボタンなし | 可能 |
Edit | ボタンなし | 可能 |
②編集と Seed の追加
Editをクリックすると編集状態になります。修正する行をクリックし、Seed と Metadata は直接修正し、Taxonomy は一覧から変更します。Generate SeedまたはUpload Fileで、既存の Seed Set に Seed を追加します。手順は新規作成時と同じです。- 既存の設定をそのまま使うため、一部の項目は表示されません。
| 追加方法 | 表示されない項目 |
|---|---|
Generate Seed | Seed Set Name、Domain の選択 |
Upload File | Seed Set Name、Description、Domain の選択 |
4-1詳細の確認
- 一覧で Seed Set の行をクリックします。
- Seed、Taxonomy、Metadata を確認します。
- 下部で全データ件数を確認します。
Built inの Seed Set ではExportのみ使用できます。4-2編集
Editをクリックします。- 修正する行をクリックし、Seed を修正するか Taxonomy を変更します。
4-3Seed の追加とエクスポート
- Seed をさらに生成するには
Generate Seedをクリックします。 - ファイルで追加するには
Upload Fileをクリックします。 - CSV でダウンロードするには
Exportをクリックします。
追加時に表示されない項目は編集と Seed の追加にあります。
- Seed をさらに生成するには
よくある質問
Generate Seed Set をクリックできず、警告バナーが表示されるのはなぜですか?登録済みの Gen & Judge Model がないためです。
- 原因
- Seed を LLM で生成するには生成モデルが必要です。アップロード、編集、エクスポート、削除はそのまま使えます。
- 解決方法
- バナーの
Go to Gen & Judge Model Setting →をクリックしてモデルを登録してください。
Generate 15 Sample Data をクリックできないのはなぜですか?必須項目がすべて入力されていないためです。
- 原因
Seed Set Name、Domain・Taxonomy、生成方法がすべて揃っていないとサンプルを生成できません。- 解決方法
- 未入力の項目を入力してください。
Finance、Legal、Commerce を選択できないのはなぜですか?まだ提供されていない Domain であるためです。
- 原因
- 現在は
Open Domainのみ使用できます(Coming soon)。 - 解決方法
Open Domainを選択してください。
プレビューの行に ⚠ が表示されるのはなぜですか?その行のサンプルを生成できなかったためです。
- 原因
- 生成モデルの応答が遅れたり失敗したりすると、その行だけがエラーになります。
- 解決方法
- 行の再試行(↺)をクリックしてください。エラーがあっても全体生成は進められます。
Uploading ステータスの Seed Set を開けないのはなぜですか?アップロードがまだ終わっていないためです。
- 原因
- アップロード中の Seed Set は薄く表示され、開くことはできません。
- 解決方法
- アップロードが終わってから、もう一度開いてください。
アップロードを完了できないのはなぜですか?マッピングしていない Taxonomy の値があるためです。
- 原因
- ファイルの Taxonomy の値をすべて Domain の Taxonomy に紐付ける必要があります。
- 解決方法
- 空欄を埋めるか、
✦ Automatically map (AI)をクリックしてください。
Built-in の Seed Set に Edit、Delete ボタンがないのはなぜですか?標準提供の Seed Set は変更できないためです。Export のみ使用できます。
- 原因
Built inの Seed Set は削除・追加・編集ができず、Exportのみ使用できます。- 解決方法
- 内容を変更するには、エクスポートしたファイルを修正し、新しい Seed Set としてアップロードしてください。