Platform Docs
Try DatumoEval

変更履歴

DATUMO Platform にバージョンごとに新しく追加された機能を紹介します。

v1.8.0

2026.11.11

  • Organization とメンバー招待: 登録した人が Organization の Owner になり、同僚をメールで招待してチームを直接作れます。招待するときに Organization のロール(Admin · Member)と Workspace のロール(Workspace Admin · Editor · Viewer)を決め、設定 > Organization > User Management でメンバー、送信した招待(Invitations)、シート(Seats)を管理します。1 つのアカウントで複数の Organization に参加でき、左メニュー最上部の Organization Switcher で Organization と Workspace を切り替えます。Owner の移譲、Organization の削除、アカウントの退会もご自身で行えます。Company は Organization に、Company Gen & Judge Model は Organization Gen & Judge Model に名前が変わりました。Organization と Workspace と メンバー管理 を参照してください。
  • Quick Eval(クイック評価): 会員登録なしで会話ログファイル(CSV · XLSX、50 件から 500 件)をアップロードするだけで、サービスに合った Task と Metric が自動で提案され、そのまま評価結果まで確認できます。ログがない場合は、5 種類のサンプルエージェントで先に試せます。結果画面では Task ごとのスコア、致命的なエラーと失敗事例、Metric ごとの改善提案を表示します。登録すると、作成した評価体系と結果をそのまま引き継ぎ、残りの Task を評価します。
  • Decision モデルで Custom Metric を作成: + Add Metric で Decision Model を選ぶと、決められた選択肢の中から判断する Decision モデルで Custom Metric を作成できます。Typesafe の Jev と Datumo 独自のモデル Davi をデフォルトモデルとして提供します。Metric の管理 を参照してください。
  • Cookie 同意バナー: EEA と英国からアクセスすると Cookie 同意バナーが表示され、同意した場合にのみ Google Analytics が有効になります。選択はブラウザに保存され、会員登録画面またはマイアカウントメニューの Cookie Settings からいつでも変更できます。ブラウザのトラッキング拒否設定(GPC)がオンの場合は、バナーを表示せずに分析用 Cookie をオフにします。

v1.7.0

2026.10.22

  • Datumo 提供モデル: API Key がなくても、Datumo が提供するモデルですぐに生成・評価できます。モデル選択ダイアログで DATUMO のロゴが付いたモデル(EStar-Judge、Davi、Datumo Safety Judge、Datumo の API Key で提供する OpenAI · Anthropic · Gemini)を選ぶだけです。提供モデルは Gen & Judge Model 画面の一番下にある DATUMO Model エリアで確認できます。詳しくは Datumo Model で説明しています。
  • AI Provider でモデルを一括登録: New Model で Preset(OpenAI、Anthropic、Gemini)を選び、API Key を入力するだけで、その Provider のモデルが一括で追加されます。Global Gen & Judge Model は Company Gen & Judge Model に名前が変わり、ここで登録したモデルはすべての Workspace で使用できます。モデル選択ダイアログは Provider → モデルの 2 段階になり、検索機能が追加されました。Gen & Judge Model の登録 を参照してください。
  • Microsoft アカウントでのログイン: サインアップ・ログイン画面の Continue with Microsoft から、メール認証やパスワード設定なしですぐにサインアップしてログインできます。
  • Simulation 結果ダッシュボード: Simulation Studio の結果画面で、使用量(Usage)と評価結果(Evaluation Result)をカードに分けて確認できます。Usage カードはシナリオ生成 · 仮想ユーザー · エージェント · 審査モデルの 4 段階のコスト比率とトークン · コストを表示し、Evaluation Result カードは Must Mention · Expected Behavior · Expected Actions ごとの合格率を表示します。検証項目の 80% 以上が失敗したシナリオは Representative Failures にまとめられ、優先して確認できます。結果の確認 を参照してください。
  • Red Teaming PDF レポート: Run Detail の Create Report (PDF) をクリックすると、Run の結果がドキュメント形式の PDF としてすぐにダウンロードされます。主要指標、Run の設定、Taxonomy · 攻撃戦略別の ASR に加え、AI がまとめた主要な脆弱性 · 攻撃事例の分析 · 改善の推奨事項が含まれており、社内報告や顧客への共有にそのまま使えます。Completed の Run と、結果が一部ある Stopped の Run で作成できます。

v1.6.0

2026.10.07

  • マルチターン API の登録: Application Setting で、複数のターンをやり取りする対話型 API を登録できます。
  • トークン使用量とコストの確認: Application Setting でトークン単価を設定すると、Run Report の Usage タブと Agent Simulation で、コスト、トークン使用量、Latency を確認できます。
  • Agent Simulation 結果画面の統合: 会話履歴、評価結果、使用量を Result タブの 1 つの画面で確認できます。
  • Google アカウントでのログイン: Google アカウントですぐにサインアップしてログインできます。

v1.5.0

2026.09.23

  • Agent Simulation (Simulation Studio): エージェントの企画・ポリシー文書をアップロードすると、評価シナリオを自動で作成し、仮想ユーザーとの会話を進めたうえで、ポリシーを守ったかどうかを採点します。Tool Schema と Trajectory も一緒にアップロードすると、ツール呼び出しまで評価できます。

Agent Simulation は一部のアカウントに先行して提供されます。全体公開のスケジュールは別途お知らせします。

v1.4.1

2026.08.26

  • Run Report のバージョン比較: Run Report で、同じ Module の 2 つのバージョンを並べて比較できます。どのバージョンが何を得意とし、何を苦手とするかを 1 つの画面で確認できます。

v1.4.0

2026.08.12

  • Observability: 運用中のサービスのログ(AWS CloudWatch)を連携すると、収集した会話を設定した Metric で自動採点し、問題のあった Turn を Fail Case としてまとめて表示します。リリース前の評価に加えて、運用中のサービスを常時モニタリングできます。

v1.3.0

2026.08.12

  • Run Report: Run が終わると Report が自動で生成されます。チャートを自分で構成しなくても、Datumo の判定基準に基づいてリリース可否(Pass / Fail)まですぐに確認できます。判定基準は Criteria の作成と管理 の Release Gate で設定します。

v1.2.1

2026.08.03

  • レッドチーミングのアルゴリズムと戦略の拡張: STAR-Teaming 以外にも、より多様なレッドチーミングのアルゴリズムと戦略グループで攻撃を実行できます。
  • カスタム Seed データセット: 任意のデータセットを自分で構成して Seed として使用し、それをもとにレッドチーミングを実行できます。
  • 脆弱性分析ダッシュボードの刷新: レッドチーミングの結果から脆弱性をより簡単に分析できるよう、ダッシュボードを新しく構成しました。

v1.2.0

2026.07.01

  • Evaluation Lab: Evaluation Lab が追加されました。

v1.1.1

2026.06.15

  • カスタム Benchmark Set の生成: AI Tool で評価データを生成できます。データ生成テンプレート 45 種も追加されました。

v1.1.0

2026.05.29

  • Workspace · Application 単位の評価: Workspace と Application の単位で評価を構成し、実行できます。
  • Criteria ベースの一括評価: 複数の評価指標を Criteria にまとめて、一度に評価できます。
  • ダッシュボードのカスタマイズ: 評価結果のダッシュボードを、好みの構成で自分で作成できます。

v0.14.0

2026.02.27

  • セルフサインアップと Workspace の自動作成: メールアドレスで直接サインアップでき、サインアップが完了すると Workspace が自動で作成されます。パスワードの再設定にも対応しています。
  • サンプル Workspace: サインアップすると、サンプルデータと評価結果があらかじめ入った Workspace をすぐに見ることができます。
  • Trial アカウント: Trial アカウントでは、結果の閲覧とダウンロードを利用できます。データ生成や評価の実行が必要な場合は、画面の「お問い合わせ」からご連絡ください。

v0.13.0

2026.02.02

  • 脆弱性分析ダッシュボード: Taxonomy と戦略グループごとの攻撃成功率(ASR)とスコアを可視化し、個々の攻撃試行のクエリ・応答と、攻撃が成功した時点を確認できます。
  • 戦略ベースの自動レッドチーミング(STAR-Teaming)の強化: 戦略グループの説明と分類を強化し、採点方式を改善しました。最大反復回数(Max Loop、最大 20 回)を設定でき、Task 単位で Attack Set を管理できます。
  • Safety ベンチマークデータセット: すべて人の手で検収した、10,908 件規模の独自の Safety データセットを提供します。

最終更新日