Platform Docs
Try DatumoEval

概要

Run Activity と Seed Activity で進行状況を確認し、Where to go から Runs・ダッシュボード・Seed Management へ移動します。

1. 評価の進行状況の確認

①Run Activity

Run Activity は、最近の Run のステータスをバナーで表示します。Run 1 つにつき 1 つのバナーが表示されます。

  • バナーは Error > Pending > Running > Completed > Stopped の順に並びます。
  • バナーをクリックすると、その Run だけに絞り込まれた評価履歴画面に移動します。
  • Run と Batch の関係は、レッドチーミングのコアコンセプトで説明しています。

②Run バナーのステータス

Run のステータスによって、バナーの文言とできることが異なります。

ステータス表示される条件できること
ErrorRun にエラーが 1 件以上あるか、Run を実行できません。再試行(↺)
PendingRun が開始を待っています。—
RunningRun が実行中です。進捗率と ETA も表示されます。—
CompletedRun がエラーなく終了しました。ASR も表示されます。✕ ボタンでバナーを閉じる
Stoppedユーザーが Run を停止しました。✕ ボタンでバナーを閉じる

③再試行

Error バナーの再試行(↺)をクリックすると、エラーになった部分を再実行します。

  • 1 つの Run は 最大 3 回 まで再試行できます。
  1. 1-1Overview を開く

    1. 左メニューで Overview をクリックします。
    2. Run Activity で、Run ごとのバナーのステータスを確認します。

    バナーは Error > Pending > Running > Completed > Stopped の順に並びます。

  2. 1-2Error の再試行

    1. Error バナーでエラーの件数を確認します。
    2. バナー右側の再試行(↺)をクリックします。

    再試行は Run ごとに最大 3 回です。再試行を参照してください。

  3. 1-3Run 一覧へ移動

    1. 確認したい Run のバナーをクリックします。

    その Run だけに絞り込まれた Runs 画面が開きます。Runs 画面は「Run の実行と結果の確認」のドキュメントで説明します。

  4. 1-4バナーを閉じる

    1. Completed または Stopped バナー右側の ✕ をクリックします。

    閉じなくても、Completed バナーは 36 時間後に自動で消えます。


2. Seed 生成状況の確認

①Seed Activity

Seed Activity は、Seed Set の生成(Generate Seed Set)の状況をバナーで表示します。Seed Set 1 つにつき 1 つのバナーが表示されます。

  • バナーは Error > Generating > Generated の順に並びます。
  • バナーをクリックすると、Seed 管理にあるその Seed Set の詳細画面に移動します。

②Seed バナーのステータス

ステータス表示される条件できること
ErrorSeed の生成中にエラーが発生しました。再試行(↺)
GeneratingSeed Set を生成中です。進捗率と生成済みの Seed 数も表示されます。—
GeneratedSeed Set の生成が正常に終了しました。✕ ボタンでバナーを閉じる
  1. 2-1生成状況の確認

    1. Seed Activity で、Seed Set ごとのバナーのステータスを確認します。
    2. Generating バナーで、進捗率と生成済みの Seed 数を確認します。
  2. 2-2Seed Set を開く

    1. Generated バナーをクリックします。

    Seed Management で、その Seed Set の詳細画面が開きます。


3. 他の画面への移動

①Where to go

Where to go エリアのカードをクリックすると、よく使う画面にすぐ移動します。

カード移動先できること
Browse all runs評価履歴ステータスで絞り込み、Run の詳細を開きます。
Analyze deeplyダッシュボード複数の Run を並べて比較します。
Manage seedsSeed 管理Run に使う Seed Set をアップロードまたは生成します。
  1. 3-1ショートカット

    1. すべての Run を見るには Browse all runs をクリックします。
    2. Run の結果を比較するには Analyze deeply をクリックします。
    3. Seed Set を管理するには Manage seeds をクリックします。

よくある質問

Error バナーに再試行アイコンがないのはなぜですか?すでに 3 回再試行した Run であるためです。
原因
Run は最大 3 回まで再試行できます。3 回再試行した後もエラーが残っていると、アイコンが消えます。
解決方法
バナーをクリックし、Runs 画面で Run の詳細を確認してください。再実行するには、New Run を新しく作成してください。
バナーが消えたのはなぜですか?表示期間が過ぎて自動で削除されたためです。
原因
Run の Error バナーは 72 時間後、Completed と Generated バナーは 36 時間後に消えます。
解決方法
Browse all runs または Manage seeds から Run と Seed Set を確認してください。
Seed Activity に Error が表示されるのはなぜですか?Seed の生成の一部が失敗したためです。
原因
生成モデルの応答エラーなどの理由で Seed の一部を生成できなかった場合に Error が表示されます。
解決方法
バナーの再試行(↺)をクリックするか、Seed Management の詳細画面で Seed ごとに再試行してください。

最終更新日