Platform Docs
Try DatumoEval

ダッシュボード

ダッシュボードで Page を作成・管理し、Chart を追加して評価結果を可視化します。

1. Page の管理

①Page の種類

ダッシュボードは、評価結果をチャートで表示する画面です。左メニューの Evaluation Dashboard から開きます。Page は、複数のチャートを 1 つの画面にまとめた単位です。Page 一覧は 2 つのグループに分かれています。

グループ含まれる Pageユーザーができること
Default PageRun Report閲覧のみできます。
作成・削除・名前の変更はできません。
Custom Pageユーザーが作成した PagePage の作成、名前の変更、削除
チャートの追加
  • ダッシュボードを開くと、最初に Run Report が表示されます。詳しくは 評価レポート で説明しています。
  • Custom Page の上部には作成日(Created at)が表示されます。
  • チャートの数は Contained Chart に表示されます。
  1. 1-1Page の作成

    1. 左側の一覧にある + New Dashboard をクリックします。
    2. 一覧に新しい Page が追加され、すぐに開きます。
    • 名前は Page 1、Page 2 のように自動で付きます。
    • 作成できるのは Custom Page だけです。Page の種類 を参照してください。
  2. 1-2Page 名の変更

    1. Page 名の横にある編集アイコンをクリックします。
    2. Page Name に新しい名前を入力します。
    3. Save をクリックします。
  3. 1-3Page の削除

    1. Edit Page をクリックします。
    2. Delete Page をクリックします。
    3. 確認ダイアログで Delete をクリックします。
    • Page が 2 つ以上あるときのみ削除できます。
    • Page 内のチャートも一緒に削除され、元に戻せません。

2. Chart の追加

①Chart 作成の流れ

+ Add Chart をクリックすると、New Chart ダイアログが開きます。ダイアログの上部に 4 つのステップが順番に表示されます。

ステップ設定する内容
AI Input見たい分析を文章で入力し、残りの設定を一度に埋めます。
Evaluation Scopeチャートに含める分析範囲
Run / Versionチャートに含める Run とバージョン
Chart Configurationチャートの種類、軸、タイトルと説明
  • このドキュメントでは、Manual Setup をクリックしてステップごとに自分で選ぶ方法を説明します。
  • AI Input で埋めた設定も、Chart Configuration で確認・修正できます。
  • 文章の例: 最近の Run で口座振替の実行指標をバージョン別に比較して

②分析範囲

分析範囲(Evaluation Scope)は、チャートが描画する評価結果の範囲です。Criteria の構造に沿って 1 段階ずつ下りながら選びます。

Criteria › Task Group › Sub Group › Task › Metric

  • Task Group は、General Performance、Policy & UX、Safety のような評価領域です。
  • Module は Router Module のように別の Task Group として表示されます。
  • 一番下まで下りた段階で、チェックボックスで項目を選びます。選んだ項目がチャートの範囲になります。
  • (例: Task の段階で Task を 3 つ選ぶと、その 3 つの Task の結果だけがチャートに含まれます。)
  • 最初は Application のすべての Task Group が選択されています。

Criteria の構造は 評価のコアコンセプト で説明しています。

③Run と Version

  • Run は、Task・Metric・バージョンを選んで評価を 1 回実行した記録です。Run #142 のように番号で表示されます。
  • Version は、評価した Application または Module のバージョンです(例: Agent v2.4、Router v4)。
  • A/B Test Version には、選んだ Run で評価したバージョンだけが表示されます。
  • バージョンは分析範囲に合わせてグループ分けされて表示されます(例: Select Application Version、Select Router Version)。
  • Run を 1 つも選ばないと、バージョン一覧は表示されません。

④Chart の種類

Chart Type で選べる種類は 4 つです。

種類用途例
Bar ChartTask や Metric 同士でスコアを比較します。口座振替の指標をバージョン別の平均スコアで比較
Line ChartRun を重ねるにつれてスコアがどう変わったかを確認します。Run ごとの Safety の平均スコアをバージョン別に分けて表示
Radar Chart複数項目のスコアのバランスをひと目で確認します。評価項目別のスコアのバランスをバージョン間で比較
Heatmap Chartセルの色でスコアが低い箇所を見つけます。評価項目とバージョン別の平均スコア。黄色や赤のセルほど低い
  • Radar Chart は、X 軸の項目が 3 つ以上あるときのみ描画できます。

⑤軸と測定値

チャートは、次の 3 つの設定で描画します。

設定設定する内容選べる値
Measure縦軸(Y 軸)に描画する値Score Average、Incorrect Count、Data Count、Score Min、Score Max
X-Axis横軸に並べる項目Evaluation Scope、Run、Version、Metadata Key
Group By1 つの項目内で分けて描画する基準X-Axis と同じ一覧。分けない場合は None
  • Measure の値は、順にスコアの平均、不正解データの数、データ数、最低スコア、最高スコアです。
  • (例: X-Axis を Run、Group By を Version にすると、Run ごとにバージョン別のスコアを分けて描画します。)
  • Metadata Key は、Benchmark Set の Metadata 列です(例: 難易度、チャネル)。
  • ダッシュボードは Metadata を最新の値で表示します。
  • X-Axis と Group By の横のボタンをクリックすると、2 つの値が入れ替わります。
  1. 2-1分析範囲の選択

    1. + Add Chart をクリックします。初めての場合は、先に Chart 作成の流れ をお読みください。
    2. 最初のステップで Manual Setup をクリックします。
    3. Criteria から順に、分析する範囲を選びます。分析範囲 を参照してください。
    4. チェックボックスで、チャートに含める項目を選びます。
    5. Next をクリックします。

    項目の横の › をクリックすると、Sub Group、Task、Metric へと下りていきます。

  2. 2-2Run・Version の選択

    1. Select Run で分析する Run を選びます。Run と Version を参照してください。
    2. A/B Test Version で比較するバージョンを選びます。
    3. Next をクリックします。

    最初はすべての Run とバージョンが選択されています。除外するには ✕ をクリックします。

  3. 2-3チャートの種類の選択

    1. Chart Type を選びます。種類ごとの用途は Chart の種類 にあります。
    2. Measure、X-Axis、Group By を選びます。軸と測定値 を参照してください。
    3. Preview でチャートを事前に確認します。

    条件に合うデータがない場合は、Preview に案内文が表示されます。

  4. 2-4Chart 情報の入力

    1. Chart Title と Description を入力します。
    2. Add Chart をクリックします。Page にチャートが追加されます。

    Description は 255 文字まで入力できます。


よくある質問

Delete Page ボタンが表示されないのはなぜですか?Edit Page をクリックしたときだけ表示されるためです。Page が 1 つしかない場合は表示されません。
原因
Page の削除は編集状態でのみ行えます。最後に残った Page は削除できません。
解決方法
Edit Page をクリックしてください。Page が 1 つしかない場合は、新しい Page を作成してから削除してください。
プレビューに、なぜチャートの代わりに案内文が表示されるのですか?選んだ条件ではチャートを描画できないためです。
原因
データが不足している場合や、条件がチャートの種類に合わない場合に起こります。たとえば Radar Chart は、X 軸の項目が 3 つ以上必要です。
解決方法
X-Axis、Group By、分析範囲、Chart Type のいずれかを変更してください。種類ごとの条件は Chart の種類 を参照してください。
チャートに一部の項目しか表示されないのはなぜですか?チャートごとに表示できる項目数を超えているためです。
原因
項目が多すぎると、チャートにすべてを収められません。
解決方法
X-Axis、Group By、分析範囲、Chart Type のいずれかを変更して、項目数を減らしてください。

最終更新日