AIエージェント評価・レッドチーミング・モニタリングプラットフォーム
DATUMO Platformは、LLM評価・AIレッドチーミング・モニタリングにより、リリース前後のAIエージェントの信頼性を確認できます。各モジュールの構成と使い方を紹介します。
リリースした後も、AI サービスの品質は変わり続けます。
プロンプトを修正するたびに本当に改善したのか、想定外の攻撃で崩れないか、
実際のユーザーの前でどのように回答するのかを確認する必要があります。
DATUMO Platform は、これらの問いに数値で答えられるようにします。
評価、攻撃(レッドチーミング)、観測(モニタリング)の 3 つの軸が互いの入力となり、
新たに見つかった問題は次の評価の基準として蓄積されます。
評価を繰り返すほど基準はサービスの実際のリスクに近づき、その基準がそのままサービスが守るべき品質の期待値になります。
モジュール構成
ドキュメント構成
DATUMO Platform Docs は Docs と ChangeLog に分かれています。
左のメニュー名(評価、シミュレーションなど)をクリックすると概念のドキュメントが、その下のチュートリアルには画面の順に沿って操作できる使い方の案内があります。
はじめに
初めて使う場合は、クイックスタートから始めてみてください。