変更履歴
DATUMO Platform にバージョンごとに新しく追加された機能を紹介します。
v1.8.0
2026.11.11
- Organization とメンバー招待: 登録した人が Organization の Owner になり、同僚をメールで招待してチームを直接作れます。招待するときに Organization のロール(Admin · Member)と Workspace のロール(Workspace Admin · Editor · Viewer)を決め、設定 > Organization >
User Managementでメンバー、送信した招待(Invitations)、シート(Seats)を管理します。1 つのアカウントで複数の Organization に参加でき、左メニュー最上部の Organization Switcher で Organization と Workspace を切り替えます。Owner の移譲、Organization の削除、アカウントの退会もご自身で行えます。Company は Organization に、Company Gen & Judge Model は Organization Gen & Judge Model に名前が変わりました。Organization と Workspace と メンバー管理 を参照してください。 - Quick Eval(クイック評価): 会員登録なしで会話ログファイル(CSV · XLSX、50 件から 500 件)をアップロードするだけで、サービスに合った Task と Metric が自動で提案され、そのまま評価結果まで確認できます。ログがない場合は、5 種類のサンプルエージェントで先に試せます。結果画面では Task ごとのスコア、致命的なエラーと失敗事例、Metric ごとの改善提案を表示します。登録すると、作成した評価体系と結果をそのまま引き継ぎ、残りの Task を評価します。
- Decision モデルで Custom Metric を作成:
+ Add MetricでDecision Modelを選ぶと、決められた選択肢の中から判断する Decision モデルで Custom Metric を作成できます。Typesafe の Jev と Datumo 独自のモデル Davi をデフォルトモデルとして提供します。Metric の管理 を参照してください。 - Cookie 同意バナー: EEA と英国からアクセスすると Cookie 同意バナーが表示され、同意した場合にのみ Google Analytics が有効になります。選択はブラウザに保存され、会員登録画面またはマイアカウントメニューの
Cookie Settingsからいつでも変更できます。ブラウザのトラッキング拒否設定(GPC)がオンの場合は、バナーを表示せずに分析用 Cookie をオフにします。
v1.7.0
2026.10.22
- Datumo 提供モデル: API Key がなくても、Datumo が提供するモデルですぐに生成・評価できます。モデル選択ダイアログで DATUMO のロゴが付いたモデル(EStar-Judge、Davi、Datumo Safety Judge、Datumo の API Key で提供する OpenAI · Anthropic · Gemini)を選ぶだけです。提供モデルは Gen & Judge Model 画面の一番下にある DATUMO Model エリアで確認できます。詳しくは Datumo Model で説明しています。
- AI Provider でモデルを一括登録:
New Modelで Preset(OpenAI、Anthropic、Gemini)を選び、API Key を入力するだけで、その Provider のモデルが一括で追加されます。Global Gen & Judge Model は Company Gen & Judge Model に名前が変わり、ここで登録したモデルはすべての Workspace で使用できます。モデル選択ダイアログは Provider → モデルの 2 段階になり、検索機能が追加されました。Gen & Judge Model の登録 を参照してください。 - Microsoft アカウントでのログイン: サインアップ・ログイン画面の
Continue with Microsoftから、メール認証やパスワード設定なしですぐにサインアップしてログインできます。 - Simulation 結果ダッシュボード: Simulation Studio の結果画面で、使用量(Usage)と評価結果(Evaluation Result)をカードに分けて確認できます。Usage カードはシナリオ生成 · 仮想ユーザー · エージェント · 審査モデルの 4 段階のコスト比率とトークン · コストを表示し、Evaluation Result カードは Must Mention · Expected Behavior · Expected Actions ごとの合格率を表示します。検証項目の 80% 以上が失敗したシナリオは Representative Failures にまとめられ、優先して確認できます。結果の確認 を参照してください。
- Red Teaming PDF レポート: Run Detail の
Create Report (PDF)をクリックすると、Run の結果がドキュメント形式の PDF としてすぐにダウンロードされます。主要指標、Run の設定、Taxonomy · 攻撃戦略別の ASR に加え、AI がまとめた主要な脆弱性 · 攻撃事例の分析 · 改善の推奨事項が含まれており、社内報告や顧客への共有にそのまま使えます。Completed の Run と、結果が一部ある Stopped の Run で作成できます。
v1.6.0
2026.10.07
- マルチターン API の登録: Application Setting で、複数のターンをやり取りする対話型 API を登録できます。
- トークン使用量とコストの確認: Application Setting でトークン単価を設定すると、Run Report の Usage タブと Agent Simulation で、コスト、トークン使用量、Latency を確認できます。
- Agent Simulation 結果画面の統合: 会話履歴、評価結果、使用量を Result タブの 1 つの画面で確認できます。
- Google アカウントでのログイン: Google アカウントですぐにサインアップしてログインできます。
v1.5.0
2026.09.23
- Agent Simulation (Simulation Studio): エージェントの企画・ポリシー文書をアップロードすると、評価シナリオを自動で作成し、仮想ユーザーとの会話を進めたうえで、ポリシーを守ったかどうかを採点します。Tool Schema と Trajectory も一緒にアップロードすると、ツール呼び出しまで評価できます。
Agent Simulation は一部のアカウントに先行して提供されます。全体公開のスケジュールは別途お知らせします。
v1.4.1
2026.08.26
- Run Report のバージョン比較: Run Report で、同じ Module の 2 つのバージョンを並べて比較できます。どのバージョンが何を得意とし、何を苦手とするかを 1 つの画面で確認できます。
v1.4.0
2026.08.12
- Observability: 運用中のサービスのログ(AWS CloudWatch)を連携すると、収集した会話を設定した Metric で自動採点し、問題のあった Turn を Fail Case としてまとめて表示します。リリース前の評価に加えて、運用中のサービスを常時モニタリングできます。
v1.3.0
2026.08.12
- Run Report: Run が終わると Report が自動で生成されます。チャートを自分で構成しなくても、Datumo の判定基準に基づいてリリース可否(Pass / Fail)まですぐに確認できます。判定基準は Criteria の作成と管理 の Release Gate で設定します。
v1.2.1
2026.08.03
- レッドチーミングのアルゴリズムと戦略の拡張: STAR-Teaming 以外にも、より多様なレッドチーミングのアルゴリズムと戦略グループで攻撃を実行できます。
- カスタム Seed データセット: 任意のデータセットを自分で構成して Seed として使用し、それをもとにレッドチーミングを実行できます。
- 脆弱性分析ダッシュボードの刷新: レッドチーミングの結果から脆弱性をより簡単に分析できるよう、ダッシュボードを新しく構成しました。
v1.2.0
2026.07.01
- Evaluation Lab: Evaluation Lab が追加されました。
v1.1.1
2026.06.15
- カスタム Benchmark Set の生成: AI Tool で評価データを生成できます。データ生成テンプレート 45 種も追加されました。
v1.1.0
2026.05.29
- Workspace · Application 単位の評価: Workspace と Application の単位で評価を構成し、実行できます。
- Criteria ベースの一括評価: 複数の評価指標を Criteria にまとめて、一度に評価できます。
- ダッシュボードのカスタマイズ: 評価結果のダッシュボードを、好みの構成で自分で作成できます。
v0.14.0
2026.02.27
- セルフサインアップと Workspace の自動作成: メールアドレスで直接サインアップでき、サインアップが完了すると Workspace が自動で作成されます。パスワードの再設定にも対応しています。
- サンプル Workspace: サインアップすると、サンプルデータと評価結果があらかじめ入った Workspace をすぐに見ることができます。
- Trial アカウント: Trial アカウントでは、結果の閲覧とダウンロードを利用できます。データ生成や評価の実行が必要な場合は、画面の「お問い合わせ」からご連絡ください。
v0.13.0
2026.02.02
- 脆弱性分析ダッシュボード: Taxonomy と戦略グループごとの攻撃成功率(ASR)とスコアを可視化し、個々の攻撃試行のクエリ・応答と、攻撃が成功した時点を確認できます。
- 戦略ベースの自動レッドチーミング(STAR-Teaming)の強化: 戦略グループの説明と分類を強化し、採点方式を改善しました。最大反復回数(Max Loop、最大 20 回)を設定でき、Task 単位で Attack Set を管理できます。
- Safety ベンチマークデータセット: すべて人の手で検収した、10,908 件規模の独自の Safety データセットを提供します。