記録ガイド
動かしたあとに何を見るかを扱います。結果の読み方、記録のたどり方、そして実績から見直す進め方です。
記録の仕組みそのものは記録と指標にあります。
画面上の場所がある節では、そこで決めたことをどこで設定・確認するかを終わりに書いてあります。
どこを見るか
見る場所は 4 つあります。
- 概要 — いまの状態。ワークフローなら工程ごとの直近の状態、サイクルなら Agent ごとの直近の動き。工程のカードや「エージェントの動き」の Agent を押すと、その Agent に絞った実行履歴に移ります
- 実行履歴 — 実行の一覧。まだ動いているものも並びます。「起動」の列に、何で始まったか(手動実行・スケジュール実行・外部API実行・メールで起動・巡回・Webhook)が出て、人やアプリが起動したときはその名前も出ます(外部の送信者は「外部([EXT])」付き)。決めたあとの確認依頼の行も並び、エージェントの欄に「確認:(決めた人)」か「自動で決定」が出ます。ここから 1 件を開きます。ワークフローの工程の実行記録からは「この実行の履歴を見る」で、そのワークフローの実行の記録だけに絞って見られます
- ワークフロー履歴 — ワークフローの実行の一覧。ワークフローだけに出ます(サイクルは工程をまたぐ実行を持たないため)。動いているものだけに絞られてはいません。工程に置いた Agent ごとに丸が 1 つ並び(確認工程や Agent を置いていない工程は、工程ごとに 1 つ)、やり直しても丸は増えず、直近の状態が出ます。まだ来ていない工程は「予定」、失敗や却下で動かなかった工程は「未実行」、中断した実行で止めた工程から後ろは「中断」です(丸にポインターを合わせると「工程名(Agent 名): 状態」、確認工程や Agent を置いていない工程では「工程名: 状態」で出ます)
- KPI — 期間を区切った集計。概要の中にあります
プロジェクトの一覧の「自分のプロジェクト」に並ぶカードにも、直近 7 日の「完遂率(7日)」と、実行中の件数が出ます(止めているプロジェクトは「停止中」と状態)。完遂率は Agentの完遂率と同じ数え方です。「公開プロジェクト」に並ぶカードには出ません。
プロジェクトをまたぐ確認依頼は、左の「確認依頼」で見ます(確認ガイド)。
プロジェクトをまたぐ数字は「全体集計」で見ます。 参加しているプロジェクトをまとめた数字と、プロジェクト別の一覧が出ます(数え方は下の「数字を読むときの注意」)。
うまく終わらなかった実行と記録不足、決まらないまま残っている確認依頼、連携先の認証状態について、見る担当と間隔を決めておきます(通知で届くものは連携ガイド)。申請処理のワークフローなら、オーナーが毎朝これらを見て、確認依頼に残っているものを担当者に促す、といった分担です。
画面上の場所 プロジェクトを開くと 概要/実行履歴/ワークフロー履歴/設定 のタブが並びます(ワークフロー履歴 はワークフローのときだけ)。KPI は 概要 の中の「KPI」、プロジェクト内の操作の記録は 実行履歴 の中の「記録 (証跡)」にあります。プロジェクトをまたぐ数字は、プロジェクトを開く前の画面の上部の「全体集計」にあります
1 回の実行を読む
実行履歴で時刻を選ぶと、その 1 回の記録が開きます。 これが実行記録です。
うまく終わらなかった実行では、先頭に「失敗の要点」が出ます。 原因・影響・次の対応が並び、記録されている場合は見直す箇所も並び、次の対応はどこを見ればよいか(連携先の設定/実行ルール/工程の設定と入力/実行したこと)を示します。まずここを読んでください。
「見直す箇所」は、直すところの見当です。 「指示(プロンプト)」「設定・連携(ハーネス)」「管理者・システムによる制限」「外部サービス」などで出て、Agent の報告にコメントが無いときと、基盤側の失敗のときは、何を見直すかの説明も添えられます。次の対応のボタンは、見直す箇所が絞れていればそれに合わせて、絞れていなければ失敗の分類に合わせて出ます。
実行記録は 5 つの問いで並んでいます。
- 依頼 — どの工程の Agent として、何によって起動したか。設定した人(アプリが起動したときは起動したアプリ、メールで起動したワークフローは送った人)、受け付けた時刻、試行 2 回目以降ならその回数。Agent に登録した入力ファイルと、前の工程から受け取ったファイルがあれば、「Agentに登録した入力ファイル」「前の工程から受け取ったファイル」に分けて一覧が出ます。「同時に実行」の工程では「同時に実行した担当」として同じ回の Agent ごとの状況が、レーンのあるワークフローの実行では、分岐が始まると、その実行のどの記録にも各レーンの今の状況(合流待ち・合流済みなど)が並びます(前の工程の記録でも、出るのは今の状況です)
- 根拠 — 読み取った回数、使ったツールの種類、外部サービスの呼び出し件数とそのうちの失敗件数(連携先ごとの件数も出ます)。連携先につながったかは「連携先の接続: ◯/◯」で出て、つながらなかった連携先と、理由の分類ごとの件数も別々に並びます
- 実行したこと — ツールの呼び出しの件数と、どのツールで何をしたかの一覧、それぞれがどうなったか(実行・試行のみ・拒否・効果の確定)。当たった規則が記録されている拒否には、「当たった規則」が添えられます。Agent の出力と、作ったファイルもここに出ます
- 確認 — 「Agentからの質問」と「確認依頼」に分かれます。プロジェクトの実行では Agent は途中で人に尋ねないので、Agentからの質問には「この実行で Agent から人への質問・確認はありません」と出ます。確認依頼は、確認依頼の行の実行記録に出ます(Agent の行の記録には出ません)。決まったものには決定と決めた人、まだのものには「確認待ち」が出ます
- 結果 — どう終わったか。ふつうに完了し、理由やエラーなどの補足が無いときは、この項目は出ません(結果は見出しの札で分かります)
「実行したこと」に拒否が並ぶことがあります。 実行ルールや、製品側で決まっている制限で止められた操作です(実行ルールガイド)。
「実行したこと」の一覧は「操作の詳細」を開くと出ます。 そこには読み取りや外部サービスの呼び出しも並びます。ただし操作の中身(渡した値や書き込んだ本文)は出ません。
実行記録では、「Agentに登録した入力ファイル」「前の工程から受け取ったファイル」「成果物」の名前を押すとプレビューが開き、ダウンロードもできます。 プロジェクトのメンバーのときです。見られるのは最新の版と、そのファイルを初めて成果物として記録した実行が始まったあとに書かれた版です。
「実行情報」タブに「実行時の設定」があります。 実行時に保存された値(実行時の基本ルール・モデルなど)で、あとで設定を変えても、この表示は変わりません。同じ実行について実行基盤に保存された値と照らし合わせ、食い違う項目には「差分あり」と出て、実行記録の上部にも知らせが出ます。値が無い項目は「未記録」です。
担当 Agent を「プロジェクトから外す」で外していなければ、見出しの「現在の設定を見る」で、その Agent の今の設定を見られます(工程から外しただけなら見られます)。ゴール (指示)・ガードレールと、付けている Playbook・Skill・入力ファイルの名前が、読み取り専用で出ます。実行したときの設定ではなく、今の設定です。「Agent を編集」は、その Agent の持ち主にだけ出ます。
「確認」の確認依頼に出るのは、決定と決めた人までです。 中身は、名前を押して確認依頼を開いて見ます(確認ガイド)。やりとりの本文もここには出ません。
記録が欠けている実行もあります。 「結果が記録されていません」と出た場合、成功にも失敗にも数えられていません。
画面上の場所 実行履歴 タブ > 一覧の時刻 > 実行記録。「実行記録」タブに「依頼」「根拠」「実行したこと」「確認」と、補足があるときは「結果」が並び、うまく終わらなかった実行ではその先頭に「失敗の要点」が出ます。「実行時の設定」は「実行情報」タブにあります
結果の語を取り違えない
終わり方は 7 つの語で表されます。
- 完了 — Agent が「完遂できなかった」と報告せず、最後の結果でもそう示さなかった、という意味です
- 失敗 (Agent の報告) — Agent が自分で完遂できなかったと報告したか、最後の結果でそう示した
- 失敗 — 異常終了した
- 失敗 (停止) — 人か基盤が実行を止めた
- 時間切れ — 制限時間に達した
- ルールにより実行不可 — 基盤が実行そのものを禁じた
- 対象なし — 扱う対象が無く、実行が起動しなかった
「完了」は業務がうまくいったことの保証ではありません。 Agent が「完遂できなかった」と示さなかっただけなので、何をしたかは「実行したこと」で確かめてください。ただし操作の中身は出ないので、業務として正しいかは成果物のほうで確かめます。
「失敗」には 3 種類あります。 手の打ち方が違うので、括弧の中まで見てください。「失敗 (Agent の報告)」は先頭の「失敗の要点」に出る「Agent の終了時の報告」を見ます(権限・入力の不足・連携先の応答・実行ルールによる制限など)。括弧なしの失敗は異常終了で、添えられた理由を見ます。「失敗 (停止)」は人か基盤が止めたものです。
何が起きたかをたどる
確認の決定や、実行ルール・メンバーの変更などは、記録 (証跡) で追えます。 それぞれが時刻と実行者とともに並びます(記録に残る出来事は記録リファレンス)。
種別で絞り込め、語で検索もできます。 CSV に出すこともできますが、CSV に反映されるのは種別の絞り込みだけで、検索語は反映されません。一覧は新しい順に 50 件ずつ出て、「さらに読み込む」で前の分も読めます。CSV が上限で切れたときは、出力した件数と全体の件数が出ます。
実行者は人だけではありません。 「エージェント」「システム」も並びます。期限による自動処理はシステムとして記録されます(確認ガイド)。
画面上の場所 実行履歴 タブ >「記録 (証跡)」。同じ場所に「記録を検索」、「種別」の絞り込み、「CSV出力」があります
本文を見るときは理由が残る
本文がある実行では、Agent とのやりとりを開けます。 これを開くには理由の入力が必要です(300 文字まで)。オーナーもメンバーも開けます。「記録の本文を開く」で、本文が別の画面に、読むだけの形で出ます。本文を持たない実行もあり、その場合は開けません。 工程の実行と巡回でできる会話は、「[プロジェクト名] Agent名」という題になります(Webhook で動いたときは先頭に「[webhook]」、メールで動いた巡回は「[mail]」が付きます)。
理由と閲覧者は記録されます。 実行記録の「エクスポート」も同じで、理由の入力が必要です。誰がいつ何のために見たかが残ります。
記録 (証跡) の「CSV出力」はこれとは別で、理由は要りません。 出るのは記録 (証跡) の一覧だけで、本文は含みません。
誰が本文を見たかは、本人が確認できます。 自分の実行の本文を誰が見たかを、閲覧の記録で確かめられます。プロジェクトのオーナーとメンバーも、同じ記録を確かめられます。
本文には業務の内容が含まれます。 必要なときだけ開いてください。
画面上の場所 実行記録 >「記録の本文を開く」/「エクスポート」。閲覧した人の一覧は同じ画面の「閲覧の記録」
数字を読むときの注意
処理結果の指標は、Agent の 1 回の処理を単位に集計します。 期間は選べます(値は設定値リファレンス)。
🚨 確認の指標は、数える対象が処理結果とは違います。 さらに指標によって、期限による自動処理の扱いも違います。ここを取り違えると、人の負担を読み間違えます。
- 確認回数(ワークフロー実行1回あたり) — 人が決めたぶんだけを数えます
- 人が承認した割合/差し戻し率 — 期限で自動に進んだぶんは、どちらにも影響しません。ただし自動で差し戻された・却下されたぶんは影響します
- 差し戻し・却下・中断/待ち時間の目安 — 自動処理も含みます
指標ごとの数え方は実行結果リファレンスにあります。
再試行も、Agent の処理 1 回として別に数えます。 同じ Agent が同じ工程を 2 回動けば 2 件です。
集計外になるものがあります。 対象なし・実行中・記録不足は、「Agentの完遂率」の計算から外れます。記録が欠けた実行があると、暫定値の扱いになります。 概要の「KPI」では数字の代わりに「記録が不足」と出て、「全体集計」では暫定値であることが添えられます(どちらも、結果が欠けた実行の件数が添えられます)。
「Agentの完遂率」は業務の成果ではありません。 結果が「完了」になった実行の割合です。報告が無いまま終わったものも、最後の結果で完遂できなかったと示していなければ「完了」に入りますが、時間切れ・停止・ルールにより実行不可・失敗は入りません。
「全体集計」の Agentの完遂率・件数・処理時間の目安も、同じ数え方です。 参加しているプロジェクトの実行を合わせて出します。プロジェクト別の一覧には記録不足の件数も並び、各行から同じ期間の実行履歴へ進めます。確認の指標は出ません。 確認の指標は各プロジェクトの KPI で見ます。期間の初期値は、プロジェクトの KPI と違います(値は設定値リファレンス)。
画面上の場所 概要 タブ >「KPI」。同じ場所に「期間」と「CSV」があります。プロジェクトをまたぐ数字は、プロジェクトを開く前の画面の上部の「全体集計」(「期間」も同じ場所)
実績から見直す
見直しの手がかりは、実行記録と確認の実績です。 見えたものから、直す場所を選びます。
| 見えたもの | 直す場所 |
|---|---|
| 「失敗の要点」の原因 | 原因ごとの最初の確認先は実行結果リファレンスにあります。実行ルールで止められたなら、その操作を止めてよいか、ゴールでその操作を使わずに済むかも見る |
| 「実行したこと」に拒否が並ぶ | 同じく実行ルールか、ゴール(実行ルールガイド) |
| 差し戻しが続き、理由に同じ指摘が並ぶ | Agent のゴールと Skill |
| 「完了」なのに、成果物が業務に使えない | ゴールの「どの状態まで仕上げるか」と Skill(設計ガイド) |
| サイクルで、同じ対象を何度も拾う | 記録先の目印の決まり(設計ガイド) |
直した内容を試してから反映する進め方は設計ガイドにあります。
うまくいかなかったワークフローの工程の実行からは、AI に改善案を相談できます。 結果が「失敗 (Agent の報告)」で分類が記録されているもの、「ルールにより実行不可」のうちガードレールか実行ルールで禁じられたもの、「時間切れ」のうち実行時間の上限に達したもので、「失敗の要点」に「改善案を相談 (α版)」が出ます。AI が読むのは、終了時の報告・実行したことの一覧(80 件まで)・設定と、読める Skill(先頭の 5 件まで)と Playbook の本文です。長い本文は一部だけになることがあります。Agent の出力は最初の相談には渡らず、選ぶと次の相談から渡ります(長いときは一部だけ)。
案は「文面を直す」(Agent のゴール・ガードレール、工程の説明)、「人の工程にする」(確認工程を足す、配置を外す)、「Skill・Playbookに追記」の 3 種類で、足りない入力や連携先は「入力・連携先を補う」として示されます。Skill への追記は、今は案として示すだけで、反映はできません。
相談はメンバーもできますが、「実施」はオーナーだけです。 実施すると、選んだ変更がその場で保存され、次の実行から使われます。その実行の結果は変わらず、自動でやり直すこともありません。直す先の Agent がほかの人のものか、ほかのプロジェクトでも使われているときは、Agent を複製し、このプロジェクトの配置だけを複製に切り替えます。同じ Agent をこのプロジェクトの複数の工程に置いているときは、ゴールやガードレールの変更は、その Agent を置いたすべての工程に及びます。Playbook がほかの人のものなら、Playbook を複製し、Agent がその複製を使うようにします。自分の Playbook は、ほかで使われていても、そのものが直ります。相談のあとに、案が前提にした設定が変わっていたら、その変更は保存されず、それより後の変更も実施されません(それより前の変更は保存されています)。内容を確かめて相談し直します。
確認を緩めていく
この節はワークフローの話です。 サイクルには確認工程がないので、この設定も出ません(確認ガイド)。
はじめは「担当者の判断を待つ」と「通知して待ち続ける」の組み合わせで運用し、実績を見てから緩めるのが安全です。 「担当者の判断を待つ」だけでは足りません。期限を過ぎたあとの設定によって、自動で進む・差し戻す・却下することがあります(確認ガイド)。
見るのは 2 つです。
- 人が承認した割合 — 高いほど、人が承認した決定の割合が大きかったことになります
- 差し戻し率 — 低いほど、差し戻しの割合が小さかったことになります
この 2 つには、自動で処理された差し戻しと却下も影響します。 期限後の設定が「自動で差し戻す」「自動で却下する」のときは、この 2 つは人の判断だけを表しません。
人が承認した割合が高く、差し戻し率が低いなら、「期限後に自動で進める」に変えられます。 逆に差し戻しが続いているなら、緩める前に Agent のゴールを見直してください(設計ガイド)。
確認方法は工程ごとに、オーナーだけが変えられます。 変える場所は、設定 タブの実行ルールか、編集の確認工程の「確認の設定」で、どちらも同じ設定です。KPI の画面は実績を見るためのものです。変えた人と内容は記録されます。変えた確認方法が使われるのは、そのあとに始まる実行からです。 進行中の実行は、始まったときの確認方法のまま進みます。
🚨 確認方法を緩めても、実行ルールで禁止した操作は許可されません。 確認方法は仕事の流れの設定で、どの操作を許すかとは別の軸です(実行ルールガイド)。
画面上の場所 実績は 概要 タブ >「KPI」>「工程の確認方法と実績」。変更は 設定 タブ >「実行ルール」>「工程の確認方法」> 各行の変更のボタン(ワークフローでオーナーのときだけ)。「工程の確認方法と実績」の「設定を開く」からも「実行ルール」へ移れます。編集 > 中央の図で確認工程を選び、右の「確認の設定」>「基本設定」>「確認方法」からも変えられます
効果を確かめる
KPI の期間は、今日から遡る決まった長さから選びます(設定値リファレンス)。変えた日で区切って比べることはできません。 だから、変える前に KPI の CSV を出して控えておき、変えたあと同じ長さの期間が過ぎてから、もう一度出して比べます。CSV の中身は実行結果リファレンスにあります。
Agentの完遂率と合わせて、業務として決めた終わり(設計ガイド)に照らして、成果物を確かめます。
取り違えやすいところ
ここまでの節をまたいで、区別しておく点をまとめます。
- 「完了」を業務の成功だと思う。 Agent が完遂できなかったと報告せず、最後の結果でもそう示さなかった、という意味です。何をしたかは「実行したこと」で確かめます
- 外部サービスの呼び出し件数を「実行したこと」で探す。 外部サービスの呼び出しと失敗の件数は「根拠」にあります。 「実行したこと」の件数はツールの呼び出し全体の件数で、一覧のほうには読み取りや外部サービスの呼び出しも並びます
- 実行記録で操作の中身まで追えると思う。 出るのは何をしたかだけで、渡した値や書き込んだ本文は出ません
- 確認の数字をひとまとめに読む。 指標によって数える対象も、期限による自動処理の扱いも違います。 「人が承認した割合」は期限で自動に進んだぶんに影響されませんが、自動で差し戻された・却下されたぶんには影響されます
- 確認を緩めれば操作も緩むと思う。 確認方法と実行ルールは別の軸です。 禁止した操作は、確認方法を変えても許可されません
- 本文を気軽に開く。 理由の入力が必要で、誰がいつ何のために見たかが残ります
- サイクルで「ワークフロー履歴」を探す。 サイクルには出ません。 動いているものは概要と実行履歴で見ます
- 記録が無い実行を失敗だと思う。 成功にも失敗にも数えられていません。 集計では「記録不足」として外れます