ダッシュボード
ダッシュボードで Page を作成・管理し、Chart を追加して評価結果を可視化します。
1. Page の管理
①Page の種類
ダッシュボードは、評価結果をチャートで表示する画面です。左メニューの Evaluation Dashboard から開きます。Page は、複数のチャートを 1 つの画面にまとめた単位です。Page 一覧は 2 つのグループに分かれています。
| グループ | 含まれる Page | ユーザーができること |
|---|---|---|
Default Page | Run Report | 閲覧のみできます。 作成・削除・名前の変更はできません。 |
Custom Page | ユーザーが作成した Page | Page の作成、名前の変更、削除 チャートの追加 |
- ダッシュボードを開くと、最初に
Run Reportが表示されます。詳しくは 評価レポート で説明しています。 - Custom Page の上部には作成日(
Created at)が表示されます。 - チャートの数は
Contained Chartに表示されます。
1-1Page の作成
- 左側の一覧にある
+ New Dashboardをクリックします。 - 一覧に新しい Page が追加され、すぐに開きます。
- 名前は
Page 1、Page 2のように自動で付きます。 - 作成できるのは
Custom Pageだけです。Page の種類 を参照してください。
- 左側の一覧にある
1-2Page 名の変更
- Page 名の横にある編集アイコンをクリックします。
Page Nameに新しい名前を入力します。Saveをクリックします。
1-3Page の削除
Edit Pageをクリックします。Delete Pageをクリックします。- 確認ダイアログで
Deleteをクリックします。
- Page が 2 つ以上あるときのみ削除できます。
- Page 内のチャートも一緒に削除され、元に戻せません。
2. Chart の追加
①Chart 作成の流れ
+ Add Chart をクリックすると、New Chart ダイアログが開きます。ダイアログの上部に 4 つのステップが順番に表示されます。
| ステップ | 設定する内容 |
|---|---|
AI Input | 見たい分析を文章で入力し、残りの設定を一度に埋めます。 |
Evaluation Scope | チャートに含める分析範囲 |
Run / Version | チャートに含める Run とバージョン |
Chart Configuration | チャートの種類、軸、タイトルと説明 |
- このドキュメントでは、
Manual Setupをクリックしてステップごとに自分で選ぶ方法を説明します。 AI Inputで埋めた設定も、Chart Configurationで確認・修正できます。- 文章の例:
最近の Run で口座振替の実行指標をバージョン別に比較して
②分析範囲
分析範囲(Evaluation Scope)は、チャートが描画する評価結果の範囲です。Criteria の構造に沿って 1 段階ずつ下りながら選びます。
Criteria › Task Group › Sub Group › Task › Metric
Task Groupは、General Performance、Policy & UX、Safetyのような評価領域です。- Module は
Router Moduleのように別のTask Groupとして表示されます。 - 一番下まで下りた段階で、チェックボックスで項目を選びます。選んだ項目がチャートの範囲になります。
- (例:
Taskの段階で Task を 3 つ選ぶと、その 3 つの Task の結果だけがチャートに含まれます。) - 最初は Application のすべての
Task Groupが選択されています。
Criteria の構造は 評価のコアコンセプト で説明しています。
③Run と Version
- Run は、Task・Metric・バージョンを選んで評価を 1 回実行した記録です。
Run #142のように番号で表示されます。 - Version は、評価した Application または Module のバージョンです(例:
Agent v2.4、Router v4)。 A/B Test Versionには、選んだ Run で評価したバージョンだけが表示されます。- バージョンは分析範囲に合わせてグループ分けされて表示されます(例:
Select Application Version、Select Router Version)。 - Run を 1 つも選ばないと、バージョン一覧は表示されません。
④Chart の種類
Chart Type で選べる種類は 4 つです。
| 種類 | 用途 | 例 |
|---|---|---|
Bar Chart | Task や Metric 同士でスコアを比較します。 | 口座振替の指標をバージョン別の平均スコアで比較 |
Line Chart | Run を重ねるにつれてスコアがどう変わったかを確認します。 | Run ごとの Safety の平均スコアをバージョン別に分けて表示 |
Radar Chart | 複数項目のスコアのバランスをひと目で確認します。 | 評価項目別のスコアのバランスをバージョン間で比較 |
Heatmap Chart | セルの色でスコアが低い箇所を見つけます。 | 評価項目とバージョン別の平均スコア。黄色や赤のセルほど低い |
Radar Chartは、X 軸の項目が 3 つ以上あるときのみ描画できます。
⑤軸と測定値
チャートは、次の 3 つの設定で描画します。
| 設定 | 設定する内容 | 選べる値 |
|---|---|---|
Measure | 縦軸(Y 軸)に描画する値 | Score Average、Incorrect Count、Data Count、Score Min、Score Max |
X-Axis | 横軸に並べる項目 | Evaluation Scope、Run、Version、Metadata Key |
Group By | 1 つの項目内で分けて描画する基準 | X-Axis と同じ一覧。分けない場合は None |
Measureの値は、順にスコアの平均、不正解データの数、データ数、最低スコア、最高スコアです。- (例:
X-AxisをRun、Group ByをVersionにすると、Run ごとにバージョン別のスコアを分けて描画します。) - Metadata Key は、Benchmark Set の Metadata 列です(例:
難易度、チャネル)。 - ダッシュボードは Metadata を最新の値で表示します。
X-AxisとGroup Byの横のボタンをクリックすると、2 つの値が入れ替わります。
2-1分析範囲の選択
+ Add Chartをクリックします。初めての場合は、先に Chart 作成の流れ をお読みください。- 最初のステップで
Manual Setupをクリックします。 - Criteria から順に、分析する範囲を選びます。分析範囲 を参照してください。
- チェックボックスで、チャートに含める項目を選びます。
Nextをクリックします。
項目の横の
›をクリックすると、Sub Group、Task、Metric へと下りていきます。2-2Run・Version の選択
Select Runで分析する Run を選びます。Run と Version を参照してください。A/B Test Versionで比較するバージョンを選びます。Nextをクリックします。
最初はすべての Run とバージョンが選択されています。除外するには
✕をクリックします。2-3チャートの種類の選択
2-4Chart 情報の入力
Chart TitleとDescriptionを入力します。Add Chartをクリックします。Page にチャートが追加されます。
Descriptionは 255 文字まで入力できます。
よくある質問
Delete Page ボタンが表示されないのはなぜですか?Edit Page をクリックしたときだけ表示されるためです。Page が 1 つしかない場合は表示されません。
- 原因
- Page の削除は編集状態でのみ行えます。最後に残った Page は削除できません。
- 解決方法
Edit Pageをクリックしてください。Page が 1 つしかない場合は、新しい Page を作成してから削除してください。
プレビューに、なぜチャートの代わりに案内文が表示されるのですか?選んだ条件ではチャートを描画できないためです。
- 原因
- データが不足している場合や、条件がチャートの種類に合わない場合に起こります。たとえば
Radar Chartは、X 軸の項目が 3 つ以上必要です。 - 解決方法
X-Axis、Group By、分析範囲、Chart Typeのいずれかを変更してください。種類ごとの条件は Chart の種類 を参照してください。
チャートに一部の項目しか表示されないのはなぜですか?チャートごとに表示できる項目数を超えているためです。
- 原因
- 項目が多すぎると、チャートにすべてを収められません。
- 解決方法
X-Axis、Group By、分析範囲、Chart Typeのいずれかを変更して、項目数を減らしてください。