LIVE · 自動更新 つくる とどける / 運用

運用ダッシュボード

エージェント群の稼働・信頼性・コストを可観測にする。つくって終わりにしないための計測面。

KPI

読み込み中…

プロンプト版ごとの運用品質(まわす)

エージェントのプロンプトを版管理し、版ごとに解決率・エスカレ率・MTTR を計測する。運用結果でプロンプトを比較・改善する。

prompt版runsresolvedescalatedavg MTTR (min)
読み込み中…

eval-in-CI — 退行をデプロイ前に止める

runbook 遵守率(正しい順序で診断→承認→実行→解決できたか)を eval で採点する。 スコアが基準を下回った(退行した)プロンプト変更は、Cloud Build がデプロイをブロックする。 手書きフローを「本番で回るエージェント」に保つための品質ゲート。

runbook eval データセット 遵守率スコア採点 基準未満で退行 Cloud Build がデプロイを停止
← つくる(トップ)