メインコンテンツまでスキップ

実行結果リファレンス

実行 1 件の結果の語と、KPI の数え方の一覧です。項目の名前は画面の表示に合わせています。結果の読み方は記録ガイド、数字の考え方は記録と指標にあります。

結果の語​

実行 1 件の終わり方は、次の 7 つのどれかで表示されます。

表示意味決めるのはAgentの完遂率
完了Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さずに終わった。報告が無いまま終わったものも、最後の結果でそう示していなければ入るAgent成功に数える
失敗 (Agent の報告)Agent が自分で「完遂できなかった」と報告したか、最後の結果でそう示して終えた。報告が無いときの分類は「その他」Agent失敗に数える
失敗例外や実行環境の異常で終わった基盤失敗に数える
時間切れ制限時間に達して、打ち切られた基盤失敗に数える
失敗 (停止)人が止めた、または基盤が取り消した人か基盤失敗に数える
ルールにより実行不可依頼の内容が基盤の入力の検査(ガードレール)で止められ、実行されなかった基盤失敗に数える
対象なし実行が起動しなかった基盤数えない
  • 「完了」は、業務がうまくいったことの保証ではありません。 何をしたかは、実行記録の「実行したこと」で確かめます。
  • 実行ルールで個々の操作が止められても、結果は変わりません。 止められた操作は「実行したこと」に拒否として並びます。
  • 「ルールにより実行不可」の検査は、Agent に書くガードレール(指示)とは別の仕組みです。 実行記録の理由には「ガードレールにより停止」と出ます。

失敗 (Agent の報告) の理由​

Agent が「完遂できなかった」と報告するときは、見直す箇所と、読む人に向けたコメント(できなかったこと・その理由・次にすべきこと)を添えます。分類は次のどれかで、Agent が選ばなかったときは見直す箇所から決まります。実行記録では、分類は結果の横と、先頭の「失敗の要点」の「原因」に出ます。コメントは「失敗の要点」の「Agent の終了時の報告」に出ます。「失敗の要点」の最初の確認先は、見直す箇所が絞れていればそれに合わせて(下の 2 つ目の表)、絞れていなければ分類に合わせて(下の表)決まります。

分類失敗の要点の最初の確認先
接続先へのアクセスに失敗 (認証・権限)連携先の設定を確認
連携先の応答なし連携先の設定を確認
実行ルールによる制限実行ルールを確認
必要な入力の不足工程の設定と入力を確認
その他実行したことを確認

見直す箇所が絞れているときの最初の確認先は、次のとおりです。

見直す箇所失敗の要点の最初の確認先
指示(プロンプト)工程の設定と入力を確認
設定・連携(ハーネス)連携先の設定を確認、実行ルールを確認、または工程の設定と入力を確認(どれが出るかは原因による。原因は、見直す箇所の下の説明か、Agent の終了時の報告に書かれる)
管理者・システムによる制限実行したことを確認
外部サービス実行したことを確認
予期せぬエラー実行したことを確認

ワークフローで、結果のあとに起きること​

結果次に起きること
完了同じ工程の次の Agent へ、いなければ次の工程へ進む(「同時に実行」の工程では、全員の結果がそろってから次の工程へ)。次の工程が確認工程なら、そこで確認を待つ
失敗 (Agent の報告)既定では確認依頼を作って止まる。工程の「Agent の報告による失敗のとき」を「そのまま進める」にすると、完了と同じく進む。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む
ルールにより実行不可既定では確認依頼を作って止まる。工程の「ルールにより実行できない場合」を「失敗として閉じる」にすると、ワークフローの実行は失敗で終わる。「指定した工程へ進む」にすると、選んだ後ろの工程へ進む
失敗・時間切れ同じ工程をやり直す。やり直しを「工程ごとの再試行回数」まで使い切ったあとで、また失敗や時間切れになると、ワークフローの実行は失敗で終わる
失敗 (停止)やり直さず、ワークフローの実行は失敗で終わる
対象なし次へ進む(「同時に実行」の工程では、ほかの Agent の結果がそろってから次の工程へ)

ワークフローの実行そのものを中断したときは、その実行は「中断」で終わります(「失敗」にはなりません)。

サイクルでは、結果によって巡回が止まることはありません。巡回は、決めた周期で続きます。

実行中と、結果が記録されていない実行​

状態意味集計での扱い
実行中まだ終わっていない数えない(「集計外」の実行中)
記録不足終わったのに、結果が記録されていない。実行記録には「結果が記録されていません」と出る成功にも失敗にも数えない(「集計外」の記録不足)。1 件でもあると、Agentの完遂率は暫定値になる
対象なし結果の「対象なし」数えない(「集計外」の対象なし)

Agentの完遂率​

Agentの完遂率 = 正常完了 ÷ 終了

項目内容
正常完了結果が「完了」の実行の数
終了正常完了と「失敗・要対応」の合計。「失敗・要対応」は、失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計
数える単位Agent の実行 1 回。ワークフローの工程の実行も、サイクルの巡回も数える。やり直しも 1 回と数える
期間選んだ期間に始まった実行
入らないもの対象なし・実行中・記録不足
終了が 0 件で、記録不足も無いとき完遂率の欄に「対象なし」と出る(数える実行が無い、という意味。結果の「対象なし」とは別)
記録不足があるとき「記録が不足しています: 結果が欠けた実行 N 件があるため暫定値です」と出る(終了が 0 件でも同じ)

KPI の項目​

概要の「KPI」に出る項目です。期間は選べます(値は設定値リファレンス)。

実行結果​

項目数え方
Agentの完遂率上の式
正常完了結果が「完了」の実行の数
失敗・要対応失敗 (Agent の報告)・失敗・時間切れ・失敗 (停止)・ルールにより実行不可 の合計
処理時間の目安(p95)期間に始まって終わった実行の、始まってから終わるまでの時間。短い順に並べて 95% の位置の値で、終わった実行の約 95% がこの時間以内に終わっている
処理結果の内訳終了した実行を、結果ごとに件数と割合で出す(対象なしは入らない)
集計外対象なし・実行中・記録不足の件数

業務のステップ​

選んだ期間に終わった Agent の実行から数えます。ワークフローの工程の実行も、サイクルの巡回も入ります。

項目数え方
数えた実行結果が「完了」「失敗 (Agent の報告)」「失敗 (停止)」「ルールにより実行不可」の実行の数。「失敗」「時間切れ」「対象なし」と、結果の記録が無い実行は数えない(その数は「数えなかった実行」)
ツールの呼び出し数えた実行の、記録されたツールの呼び出しの合計
ステップ数えた実行の、業務のステップの合計。1 回の実行のステップは、その実行と記録されたツールの呼び出しから決まり、失敗した外部連携・外部への変更は数えず、1 回ごとに上限がある。件数の記録が無い実行は合計に入らず、その件数が添えられる

テナント全体の今月(UTC で区切る)の合計は、システム管理者が管理画面の「ライセンス」の「今月の業務のステップ」で見られます。

確認の指標(ワークフローだけ)​

選んだ期間に作られた確認依頼を数えます。

工程の確認方法と実績(確認工程ごと)

確認工程ごとに、工程・確認(確認工程の名前)・確認方法と、次の 2 つの割合が出ます。

項目数え方期限による自動処理
人が承認した割合人が承認した数 ÷ 決まった数。決まった数は、人が承認した数と、差し戻し・却下の数の合計自動で進んだものは、分子にも分母にも入らない。自動の差し戻し・却下は、分母に入る
差し戻し率差し戻しの数 ÷ 決まった数(上と同じ)自動で進んだものは分母に入らない。自動の差し戻し・却下は入る

確認対応の状況

項目数え方期限による自動処理
確認回数(ワークフロー実行1回あたり)人が決めた確認依頼の数 ÷ 期間に始まったワークフローの実行の数入らない
待ち時間の目安確認依頼が作られてから決まるまでの時間の中央値。短い順に並べて真ん中の値で、件数が偶数なら真ん中の 2 つのうち短いほう。まだ決まっていないものは入らない入る
差し戻し・却下・中断差し戻しと却下の数と、期間に始まって中断されたワークフローの実行の数の合計入る

全体集計​

「全体集計」は、参加しているプロジェクトの実行を合わせて出します。

項目数え方
Agentの完遂率・正常完了・失敗・要対応・記録不足・処理時間の目安(p95)プロジェクトの KPI と同じ
確認の指標出ない

KPI の CSV​

概要の「KPI」の「CSV」で、選んでいる期間の数字を出力します。1 行に 1 項目で、列は metric と value です。

metric内容
days期間(日)
success_rateAgentの完遂率(0〜1)。終了が 0 件なら空欄
success_rate_statusok(確定)/incomplete(記録不足があり暫定値。終了が 0 件でも同じ)/none(記録不足が無く、終了が 0 件)
succeeded正常完了
denominator終了
outcome_completed など 7 行結果ごとの数。completed=完了、incomplete=失敗 (Agent の報告)、failed=失敗、timeout=時間切れ、stopped=失敗 (停止)、denied=ルールにより実行不可、skipped=対象なし
excluded_skipped/excluded_running/excluded_missing/excluded_unmeasured集計外の数(対象なし/実行中/記録不足)。excluded_unmeasured は常に 0
duration_p95_minutes処理時間の目安(p95)。分
runs_total期間に始まったワークフローの実行の数
runs_closed_done/runs_closed_failed/runs_closed_rejected/runs_cancelledそのうち、完了/失敗/却下/中断で終わった数
p95_minutesワークフローの実行 1 件の、始まってから終わるまでの時間の p95。分
reviews_per_run確認回数(ワークフロー実行1回あたり)
gate_wait_median_minutes待ち時間の目安(確認依頼が作られてから決まるまでの時間の中央値)。分
interventions差し戻し・却下・中断の件数
gate_ で始まる行確認工程ごとに 1 行。metric は gate_ のあとに工程の番号と工程名が続く。value は「確認方法;確認依頼の数;人が承認した割合;差し戻し率」を ; で区切ったもの。確認依頼の数は、期間にその工程で作られたもので、まだ決まっていないものも入る。2 つの割合は 0〜1 で、決まった数が 0 件なら空欄。確認方法は blocking(担当者の判断を待つ)または notify_only(期限後に自動で進める)
terminated_executions/billable_executions/excluded_executions/tool_calls/steps/steps_unknown_executions/steps_formula_version業務のステップ。終わった実行/数えた実行/数えなかった実行/ツールの呼び出し/ステップ/件数の記録が無い実行/数え方の版