実行結果リファレンス
実行 1 件の結果の語と、KPI の数え方の一覧です。項目の名前は画面の表示に合わせています。結果の読み方は記録ガイド、数字の考え方は記録と指標にあります。
結果の語
実行 1 件の終わり方は、次の 7 つのどれかで表示されます。
| 表示 | 意味 | 決めるのは | Agentの完遂率 |
|---|---|---|---|
| 完了 | Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さずに終わった。報告が無いまま終わったものも、最後の結果でそう示していなければ入る | Agent | 成功に数える |
| 失敗 (Agent の報告) | Agent が自分で「完遂できなかった」と報告したか、最後の結果でそう示して終えた。報告が無いときの分類は「その他」 | Agent | 失敗に数える |
| 失敗 | 例外や実行環境の異常で終わった | 基盤 | 失敗に数える |
| 時間切れ | 制限時間に達して、打ち切られた | 基盤 | 失敗に数える |
| 失敗 (停止) | 人が止めた、または基盤が取り消した | 人か基盤 | 失敗に数える |
| ルールにより実行不可 | 依頼の内容が基盤の入力の検査(ガードレール)で止められ、実行されなかった | 基盤 | 失敗に数える |
| 対象なし | 実行が起動しなかった | 基盤 | 数えない |
- 「完了」は、業務がうまくいったことの保証ではありません。 何をしたかは、実行記録の「実行したこと」で確かめます。
- 実行ルールで個々の操作が止められても、結果は変わりません。 止められた操作は「実行したこと」に拒否として並びます。
- 「ルールにより実行不可」の検査は、Agent に書くガードレール(指示)とは別の仕組みです。 実行記録の理由には「ガードレールにより停止」と出ます。
失敗 (Agent の報告) の理由
Agent が「完遂できなかった」と報告するときは、見直す箇所と、読む人に向けたコメント(できなかったこと・その理由・次にすべきこと)を添えます。分類は次のどれかで、Agent が選ばなかったときは見直す箇所から決まります。実行記録では、分類は結果の横と、先頭の「失敗の要点」の「原因」に出ます。コメントは「失敗の要点」の「Agent の終了時の報告」に出ます。「失敗の要点」の最初の確認先は、見直す箇所が絞れていればそれに合わせて(下の 2 つ目の表)、絞れていなければ分類に合わせて(下の表)決まります。
| 分類 | 失敗の要点の最初の確認先 |
|---|---|
| 接続先へのアクセスに失敗 (認証・権限) | 連携先の設定を確認 |
| 連携先の応答なし | 連携先の設定を確認 |
| 実行ルールによる制限 | 実行ルールを確認 |
| 必要な入力の不足 | 工程の設定と入力を確認 |
| その他 | 実行したことを確認 |
見直す箇所が絞れているときの最初の確認先は、次のとおりです。
| 見直す箇所 | 失敗の要点の最初の確認先 |
|---|---|
| 指示(プロンプト) | 工程の設定と入力を確認 |
| 設定・連携(ハーネス) | 連携先の設定を確認、実行ルールを確認、または工程の設定と入力を確認(どれが出るかは原因による。原因は、見直す箇所の下の説明か、Agent の終了時の報告に書かれる) |
| 管理者・システムによる制限 | 実行したことを確認 |
| 外部サービス | 実行したことを確認 |
| 予期せぬエラー | 実行したことを確認 |
ワークフローで、結果のあとに起きること
| 結果 | 次に起きること |
|---|---|
| 完了 | 同じ工程の次の Agent へ、いなければ次の工程へ進む(「同時に実行」の工程では、全員の結果がそろってから次の工程へ)。次の工程が確認工程なら、そこで確認を待つ |
| 失敗 (Agent の報告) | 既定では確認依頼を作って止まる。工程の「Agent の報告による失敗のとき」を「そのまま進める」にすると、完了と同じく進む。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む |
| ルールにより実行不可 | 既定では確認依頼を作って止まる。工程の「ルールにより実行できない場合」を「失敗として閉じる」にすると、ワークフローの実行は失敗で終わる。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む |
| 失敗・時間切れ | 同じ工程をやり直す。やり直しを「工程ごとの再試行回数」まで使い切ったあとで、また失敗や時間切れになると、ワークフローの実行は失敗で終わる |
| 失敗 (停止) | やり直さず、ワークフローの実行は失敗で終わる |
| 対象なし | 次へ進む(「同時に実行」の工程では、ほかの Agent の結果がそろってから次の工程へ) |
ワークフローの実行そのものを中断したときは、その実行は「中断」で終わります(「失敗」にはなりません)。
サイクルでは、結果によって巡回が止まることはありません。巡回は、決めた周期で続きます。
実行中と、結果が記録されていない実行
| 状態 | 意味 | 集計での扱い |
|---|---|---|
| 実行中 | まだ終わっていない | 数えない(「集計外」の実行中) |
| 記録不足 | 終わったのに、結果が記録されていない。実行記録には「結果が記録されていません」と出る | 成功にも失敗にも数えない(「集計外」の記録不足)。1 件でもあると、Agentの完遂率は暫定値になる |
| 対象なし | 結果の「対象なし」 | 数えない(「集計外」の対象なし) |
Agentの完遂率
Agentの完遂率 = 正常完了 ÷ 終了
| 項目 | 内容 |
|---|---|
| 正常完了 | 結果が「完了」の実行の数 |
| 終了 | 正常完了と「失敗・要対応」の合計。「失敗・要対応」は、失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計 |
| 数える単位 | Agent の実行 1 回。ワークフローの工程の実行も、サイクルの巡回も数える。やり直しも 1 回と数える |
| 期間 | 選んだ期間に始まった実行 |
| 入らないもの | 対象なし・実行中・記録不足 |
| 終了が 0 件で、記録不足も無いとき | 完遂率の欄に「対象なし」と出る(数える実行が無い、という意味。結果の「対象なし」とは別) |
| 記録不足があるとき | 「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る(終了が 0 件でも同じ) |
KPI の項目
概要の「KPI」に出る項目です。期間は選べます(値は設定値リファレンス)。
実行結果
| 項目 | 数え方 |
|---|---|
| Agentの完遂率 | 上の式 |
| 正常完了 | 結果が「完了」の実行の数 |
| 失敗・要対応 | 失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計 |
| 処理時間の目安(p95) | 期間に始まって終わった実行の、始まってから終わるまでの時間。短い順に並べて 95% の位置の値で、終わった実行の約 95% がこの時間以内に終わっている |
| 処理結果の内訳 | 終了した実行を、結果ごとに件数と割合で出す(対象なしは入らない) |
| 集計外 | 対象なし・実行中・記録不足の件数 |
業務のステップ
選んだ期間に終わった Agent の実行から数えます。ワークフローの工程の実行も、サイクルの巡回も入ります。
| 項目 | 数え方 |
|---|---|
| 数えた実行 | 結果が「完了」「失敗 (Agent の報告)」「失敗 (停止)」「ルールにより実行不可」の実行の数。「失敗」「時間切れ」「対象なし」と、結果の記録が無い実行は数えない(その数は「数えなかった実行」) |
| ツールの呼び出し | 数えた実行の、記録されたツールの呼び出しの合計 |
| ステップ | 数えた実行の、業務のステップの合計。1 回の実行のステップは、その実行と記録されたツールの呼び出しから決まり、失敗した外部連携・外部への変更は数えず、1 回ごとに上限がある。件数の記録が無い実行は合計に入らず、その件数が添えられる |
テナント全体の今月(UTC で区切る)の合計は、システム管理者が管理画面の「ライセンス」の「今月の業務のステップ」で見られます。
確認の指標(ワークフローだけ)
選んだ期間に作られた確認依頼を数えます。
工程の確認方法と実績(確認工程ごと)
確認工程ごとに、工程・確認(確認工程の名前)・確認方法と、次の 2 つの割合が出ます。
| 項目 | 数え方 | 期限による自動処理 |
|---|---|---|
| 人が承認した割合 | 人が承認した数 ÷ 決まった数。決まった数は、人が承認した数と、差し戻し・却下の数の合計 | 自動で進んだものは、分子にも分母にも入らない。自動の差し戻し・却下は、分母に入る |
| 差し戻し率 | 差し戻しの数 ÷ 決まった数(上と同じ) | 自動で進んだものは分母に入らない。自動の差し戻し・却下は入る |
確認対応の状況
| 項目 | 数え方 | 期限による自動処理 |
|---|---|---|
| 確認回数(ワークフロー実行1回あたり) | 人が決めた確認依頼の数 ÷ 期間に始まったワークフローの実行の数 | 入らない |
| 待ち時間の目安 | 確認依頼が作られてから決まるまでの時間の中央値。短い順に並べて真ん中の値で、件数が偶数なら真ん中の 2 つのうち短いほう。まだ決まっていないものは入らない | 入る |
| 差し戻し・却下・中断 | 差し戻しと却下の数と、期間に始まって中断されたワークフローの実行の数の合計 | 入る |
全体集計
「全体集計」は、参加しているプロジェクトの実行を合わせて出します。
| 項目 | 数え方 |
|---|---|
| Agentの完遂率・正常完了・失敗・要対応・記録不足・処理時間の目安(p95) | プロジェクトの KPI と同じ |
| 確認の指標 | 出ない |
KPI の CSV
概要の「KPI」の「CSV」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は metric と value です。
| metric | 内容 |
|---|---|
days | 期間(日) |
success_rate | Agentの完遂率(0〜1)。終了が 0 件なら空欄 |
success_rate_status | ok(確定)/incomplete(記録不足があり暫定値。終了が 0 件でも同じ)/none(記録不足が無く、終了が 0 件) |
succeeded | 正常完了 |
denominator | 終了 |
outcome_completed など 7 行 | 結果ごとの数。completed=完了、incomplete=失敗 (Agent の報告)、failed=失敗、timeout=時間切れ、stopped=失敗 (停止)、denied=ルールにより実行不可、skipped=対象なし |
excluded_skipped/excluded_running/excluded_missing/excluded_unmeasured | 集計外の数(対象なし/実行中/記録不足)。excluded_unmeasured は常に 0 |
duration_p95_minutes | 処理時間の目安(p95)。分 |
runs_total | 期間に始まったワークフローの実行の数 |
runs_closed_done/runs_closed_failed/runs_closed_rejected/runs_cancelled | そのうち、完了/失敗/却下/中断で終わった数 |
p95_minutes | ワークフローの実行 1 件の、始まってから終わるまでの時間の p95。分 |
reviews_per_run | 確認回数(ワークフロー実行1回あたり) |
gate_wait_median_minutes | 待ち時間の目安(確認依頼が作られてから決まるまでの時間の中央値)。分 |
interventions | 差し戻し・却下・中断の件数 |
gate_ で始まる行 | 確認工程ごとに 1 行。metric は gate_ のあとに工程の番号と工程名が続く。value は「確認方法;確認依頼の数;人が承認した割合;差し戻し率」を ; で区切ったもの。確認依頼の数は、期間にその工程で作られたもので、まだ決まっていないものも入る。2 つの割合は 0〜1 で、決まった数が 0 件なら空欄。確認方法は blocking(担当者の判断を待つ)または notify_only(期限後に自動で進める) |
terminated_executions/billable_executions/excluded_executions/tool_calls/steps/steps_unknown_executions/steps_formula_version | 業務のステップ。終わった実行/数えた実行/数えなかった実行/ツールの呼び出し/ステップ/件数の記録が無い実行/数え方の版 |