クイックスタート
初めて登録してから最初の評価結果を確認するまでの最短ルートを 6 つのステップで案内します。
初めて登録してから最初の評価結果を確認するまでの最短ルートです。各ステップには詳しい説明のあるドキュメントへのリンクを用意しています。先に概念を知りたい場合は、はじめにのコアコンセプト と 評価のコアコンセプト を先に読んでください。
ひとことでまとめると
登録して Organization と Workspace を作成し → 採点に使うモデルを登録し → 評価する Application を作成して API を接続したうえで → 評価基準(Criteria)を設定して実行すると → 結果をスコアで確認できます。
1. 登録して Organization を作成する
業務用メールアドレスで登録すると、最初の Organization と最初の Workspace が同時に作成されます。登録した人が Owner になります。
- チームメンバーは登録中に招待するか、後から 設定 > Organization >
User Managementで招待します。 - すでにチームが使っている Organization がある場合は、登録せずに招待メールのリンクからアクセスします。
2. Gen & Judge モデルの登録
評価では、LLM が回答を採点する方式(LLM-as-a-Judge)がよく使われます。採点に使うモデルを先に登録します。
- 設定 > Workspace >
Workspace Gen & Judge Modelで+ New Modelをクリックします。 - OpenAI や Anthropic などの対応プロバイダーであれば、API Key を入力するだけで済みます。
3. Application を作成して API を接続する
評価する AI サービスを Application として登録し、DATUMO が呼び出せるように API を接続します。
- 左メニューの Application 選択ボックスで
+ New Applicationをクリックし、名前、タイプ、言語を入力します。 Application Settingの Agent Connection で Version のAPI Integrationをクリックして API の URL とリクエストボディを入力し、応答の中から評価する値を選びます(Output Mapping)。
Application の作成 · Application の API 連携
4. Criteria と Task を設定する
Criteria は評価基準のまとまりで、その中の Task が実際に評価を実行する単位です。Application を作成すると、タイプに合った Task がテンプレートから自動で推奨されます。
Criteriaメニューで推奨された Task を確認します。テンプレートの Task には評価データ(Benchmark Set)と採点方法(Metric)が含まれているため、すぐに実行できます。- 自社サービスに合った質問を追加したい場合は、Benchmark Set にデータをアップロードするか、AI で生成します。
Criteria の管理 · Task の管理 · Benchmark Set の管理
5. 評価の実行
Criteria 画面右上の Run Evaluation をクリックし、評価する Task と Version を選んで実行します。実行状況は Runs メニューで確認します。
6. 結果の確認
評価が終わったら、Task ごとのスコアと、データ 1 件ごとの採点根拠を確認します。プロンプトやモデルを変更した後に新しい Version で再実行すると、変更前後を同じ基準で比較できます。
Eval Result:Task ごとのスコアとデータごとの結果Dashboard:Version と Run をチャートで比較Run Report:リリースしてよいかどうか(Pass / Fail)を判定
次に試すこと
| やりたいこと | 機能 | ドキュメント |
|---|---|---|
| エージェントがポリシーを守って会話するかを、仮想ユーザーとの長い会話で確認する | シミュレーション(Simulation) | シミュレーションのコアコンセプト |
| どの攻撃に脆弱かを自動攻撃でチェックする | レッドチーミング(Red Teaming) | レッドチーミングのコアコンセプト |
| 運用中のサービスの実際の会話を継続的に監視する | モニタリング(Observability) | モニタリングのコアコンセプト |
| 人が直接攻撃してみるレッドチームイベント | Evaluation Lab | プレイグラウンドのコアコンセプト |