記録と指標
記録は成績表だと思うかもしれません。そうではありません。 記録は、1 回の実行を追うための材料です。それが業務としてうまくいったかどうかは、記録だけでは分かりません。
このページでは、実行記録をどう読むのかと、数字が何を表していないのかを説明します。見方の手順は記録ガイドにあります。
実行記録は 5 つの問いで追う
実行記録は、1 回の実行を起点から終わりまで追うためのものです。依頼は誰の設定で何をきっかけに始まったか、根拠は何を手がかりに判断したか、実行したことは Agent がどの操作をして、その効果がどこまで確かめられたかを示します。確認は確認依頼の行での、その確認依頼の決定、結果は実行がどう終わったかを示します。
この 5 つをつなげると、何を受けて動き、何を見て、何をして、人がどう決め、どこで終わったかを追えます。逆に、結果だけで実行全体を判断したり、「実行したこと」だけで業務の成果を判断したりはできません。
「実行したこと」は Agent の操作を示す
ここに並ぶのは、Agent が呼んだ操作です。基盤そのものの動き（起動時の構成を読み込む、計画の写しを取る、途中の状態を保存する）は出ません。知りたいのは Agent がどの操作をしたかなので、基盤の内部動作は残しつつ、この欄には並べません。
読むときに気をつけることがもうひとつあります。操作したことと、結果が確かめられたことは、別に書かれます。
「実行」は操作が許可されて動いたことです。「効果確定：成功」「効果確定：失敗」「効果確定：エラー」は結果まで確かめられたことです。「試行のみ (効果は未記録)」は、呼んだことは分かるが結果が記録されていない状態です。「拒否 (理由)」は実行ルールや、製品側で決まっている制限で止められたことです。
「試行のみ」は失敗ではありません。 確かめられなかった、という意味です。失敗と読み替えないでください。
結果は実行の終わり方を表す
結果の欄が示すのは、その実行がどう終わったかです。業務目標が達成されたかどうかではありません。
「完了」は、Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さなかった、という意味です。報告は結果を下げる方向にだけ効きます。「やり終えた」という自己申告は判定に使いませんし、報告が無いまま終わっても、最後の結果で完遂できなかったと示していなければそれは「完了」です。ですから 何も変えずに終わっても「完了」になります。それが問題かどうかを決めるのは利用者です。
途中でツールが失敗しても、結果は変わりません。 ツールの失敗は「実行したこと」に残りますが、結果には数えません。Agent が別の手でやり直すのは、通常の動作だからです。
終わり方が「完了」でない場合は、語で分かれます。Agent が「完遂できなかった」と報告するか、最後の結果でそう示して終えれば「失敗 (Agent の報告)」、異常終了すれば「失敗」、時間切れになれば「時間切れ」、人や基盤が実行を止めれば「失敗 (停止)」、基盤が実行そのものを禁じれば「ルールにより実行不可」になります。実行が起動しなかった場合は「対象なし」です。
空欄、0 件、対象なしは別のもの
紛れやすい 3 つを区別してください。
空欄は、値が得られていないという意味です。記録が残っていない、測定の対象ではない、削除済みで見られない、といった理由が添えられます。0 件は、数えた結果が 0 だったという意味です。空欄と 0 件を同じに読まないでください。
「対象なし」は、そのどちらでもありません。これは結果で、実行が起動しなかったという意味です。処理する対象が無かったときなどに付きます。記録が欠けているわけではありません。
指標は実行記録を集計したもの
指標は、記録を数え上げたものです。だから記録を読むときの注意が、そのまま数字にも表れます。
Agentの完遂率は、正常完了した実行を、終了した実行で割った値です。分子に入るのは結果が「完了」になったものだけで、時間切れ・停止・ルールによる実行不可・失敗は入りません。その「完了」が前の節のとおり「できなかった」と示されなかっただけの状態なので、この数字が高くても業務がうまくいったとは言えません。集計に入らない実行もあります。対象なし、実行中、記録が足りないものは集計外です。再試行も 1 回として数えるので、同じ仕事を 3 回試したなら 3 件です。
確認の数字には、期限による自動処理が混ざるものがあります。 差し戻しや却下の件数と、確認までの待ち時間には、期限を過ぎて自動で処理された分が含まれます。ほかの確認の数字では扱いが違うので、人の対応の実績として読むときは、指標ごとの定義を実行結果リファレンスで確かめてください。
業務の成果は、記録と成果物で判断する
ここまでの話は 1 つに集まります。実行記録は成績表ではありません。
うまくいったかどうかを知りたいなら、数字を見るだけでは足りません。5 つの問いで実行を追い、「実行したこと」と実際の成果物を合わせて判断してください。 記録が答えるのは「何が起きたか」までで、「それでよかったか」を決めるのは利用者です。
次に読むもの
- 記録ガイド — 実行履歴の見方、本文を開くときの手順、証跡のエクスポート
- 実行結果リファレンス — 結果の語とそれぞれが付く条件、Agentの完遂率の式、確認指標の定義
- 人の確認 — 確認の数字のもとになる仕組み