Platform Docs
Try DatumoEval

クイックスタート

初めて登録してから最初の評価結果を確認するまでの最短ルートを 6 つのステップで案内します。

初めて登録してから最初の評価結果を確認するまでの最短ルートです。各ステップには詳しい説明のあるドキュメントへのリンクを用意しています。先に概念を知りたい場合は、はじめにのコアコンセプト と 評価のコアコンセプト を先に読んでください。

ひとことでまとめると

登録して Organization と Workspace を作成し → 採点に使うモデルを登録し → 評価する Application を作成して API を接続したうえで → 評価基準(Criteria)を設定して実行すると → 結果をスコアで確認できます。


1. 登録して Organization を作成する

業務用メールアドレスで登録すると、最初の Organization と最初の Workspace が同時に作成されます。登録した人が Owner になります。

  • チームメンバーは登録中に招待するか、後から 設定 > Organization > User Management で招待します。
  • すでにチームが使っている Organization がある場合は、登録せずに招待メールのリンクからアクセスします。

会員登録とログイン · メンバー管理


2. Gen & Judge モデルの登録

評価では、LLM が回答を採点する方式(LLM-as-a-Judge)がよく使われます。採点に使うモデルを先に登録します。

  • 設定 > Workspace > Workspace Gen & Judge Model で + New Model をクリックします。
  • OpenAI や Anthropic などの対応プロバイダーであれば、API Key を入力するだけで済みます。

Gen & Judge モデルの登録


3. Application を作成して API を接続する

評価する AI サービスを Application として登録し、DATUMO が呼び出せるように API を接続します。

  • 左メニューの Application 選択ボックスで + New Application をクリックし、名前、タイプ、言語を入力します。
  • Application Setting の Agent Connection で Version の API Integration をクリックして API の URL とリクエストボディを入力し、応答の中から評価する値を選びます(Output Mapping)。

Application の作成 · Application の API 連携


4. Criteria と Task を設定する

Criteria は評価基準のまとまりで、その中の Task が実際に評価を実行する単位です。Application を作成すると、タイプに合った Task がテンプレートから自動で推奨されます。

  • Criteria メニューで推奨された Task を確認します。テンプレートの Task には評価データ(Benchmark Set)と採点方法(Metric)が含まれているため、すぐに実行できます。
  • 自社サービスに合った質問を追加したい場合は、Benchmark Set にデータをアップロードするか、AI で生成します。

Criteria の管理 · Task の管理 · Benchmark Set の管理


5. 評価の実行

Criteria 画面右上の Run Evaluation をクリックし、評価する Task と Version を選んで実行します。実行状況は Runs メニューで確認します。

評価の実行


6. 結果の確認

評価が終わったら、Task ごとのスコアと、データ 1 件ごとの採点根拠を確認します。プロンプトやモデルを変更した後に新しい Version で再実行すると、変更前後を同じ基準で比較できます。

  • Eval Result:Task ごとのスコアとデータごとの結果
  • Dashboard:Version と Run をチャートで比較
  • Run Report:リリースしてよいかどうか(Pass / Fail)を判定

評価履歴 · ダッシュボード · 評価レポート


次に試すこと

やりたいこと機能ドキュメント
エージェントがポリシーを守って会話するかを、仮想ユーザーとの長い会話で確認するシミュレーション(Simulation)シミュレーションのコアコンセプト
どの攻撃に脆弱かを自動攻撃でチェックするレッドチーミング(Red Teaming)レッドチーミングのコアコンセプト
運用中のサービスの実際の会話を継続的に監視するモニタリング(Observability)モニタリングのコアコンセプト
人が直接攻撃してみるレッドチームイベントEvaluation Labプレイグラウンドのコアコンセプト

最終更新日