AIエージェントを実行前と実行中で止める:人工30ケース

AIエージェントへ「まず操作計画をJSONLで出す」と指示しても、その計画を目視するだけでは、許可範囲外のwriteや承認のないuploadを見落とします。そこで2026年9月18日、1行1操作の人工計画を別ファイルのpolicyと照合し、実行前に policy_match、review、deny へ分ける小さなCLIを作りました。
2026年10月9日には、Anthropic Usage Policyの改定内容を受け、承認参照とは別に運用制御の記録を調べる人工manifest 8例を追加しました。結果は record_present 3件、manual_review 3件、deny 2件です。approval_refだけを入れた高リスクAI推奨と、AUPが定義する高リスク物理操作の2例は、必要な制御欄が未記録のためdenyになりました。
旧12操作の結果はpolicy_match 1件、review 1件、deny 10件のままです。どちらも宣言・記録された値の静的分類にすぎず、実際のtool call、担当者、装置、制御の実在や運用、AUPへの適合、安全性、実行許可は検証しません。
2026年10月30日には、preflight通過後に停止signalが届く場合を追加しました。公式payloadの形を模した人工event 10 sequenceを標準Pythonへ通し、continue=1 / provider_hold=5 / manual_hold=1 / alert_review=3になりました。正規の403ではpendingを捨てましたが、in-flight 1件は状態不明、既に完了した1件はreview対象として残りました。実APIのmonitor発火や署名付きwebhookを再現した結果ではありません。
10月30日更新:実行中の停止を人工10 sequenceで分ける
OpenAI Docsのmisalignment monitoringを2026年10月30日に開き直しました。対象modelであっても、APIと会話contextの保持方法によって自動停止の範囲が異なります。
| request | 公式説明の範囲 |
|---|---|
| Responses APIでpersisted reasoning、WebSocket、OpenAI compactionのいずれかを使用 | monitoring対象。会話のcontinuationを識別して後続実行をblockできる |
| Responses APIで上記を使わない | monitoring対象。alertは受けられるが、自動停止はしない |
| Chat Completions API | このmonitoring systemの対象外 |
今回のfixtureは、provider側monitorの精度やcoverageを測っていません。アプリ側が人工eventを受けた後のbookkeepingだけを検証しています。
403はstatusとcodeの組を照合する
stream開始前に停止されたrequestはHTTP 403、error type invalid_request_error、code misalignment_policy_violationになると公式資料にあります。判定はmessage文ではなくcodeを使い、stream中もoutputを受け取った後のerrorを処理する必要があります。
公開コードの中心は次のとおりです。
if event_type == "api_error":
status = event.get("status")
code = event.get("code")
if status == 403 and code == MISALIGNMENT_CODE:
_provider_hold(state, "matched_403_and_misalignment_code")
else:
_manual_hold(state, "api_error_not_misalignment_pair")
break
provider_holdはこのfixtureで正規の組を検出したラベル、manual_holdは別errorや未知eventをfail closedで人へ回す独自ラベルです。providerの公式categoryではありません。どちらもpendingを破棄しますが、停止完了は確認できないためexecution_stop_confirmedはfalseのままです。
人工10 sequenceの結果
検証環境はWindows、PowerShell 7.6.9、Python 3.14.2です。標準ライブラリだけを使い、追加費用は0円でした。IDはすべてaction-demo-*、wh_demo_*、alert_demo_*という架空値です。
| # | 人工sequence | 実結果 | 残した境界 |
|---|---|---|---|
| 1 | 通常完了 | continue | completed 1、停止signalなし |
| 2 | stream前の正規403 | provider_hold | pending 1を破棄 |
| 3 | message変更、code一致 | provider_hold | messageではなくcodeで一致 |
| 4 | partial output後のstream error | provider_hold | partial_outputをtrueで保持 |
| 5 | action完了後の正規403 | provider_hold | completed 1をrollbackせずreviewへ |
| 6 | pending 1、in-flight 1で正規403 | provider_hold | pending破棄、in-flightは不明 |
| 7 | 別codeの403 | manual_hold | misalignment扱いにせずpending破棄 |
| 8 | safety.alert.createdだけ | alert_review | alert受信を停止完了にしない |
| 9 | request_paused=true | alert_review | block登録だけを記録 |
| 10 | 同じwebhook-id headerを2回受信 | alert_review | 重複1件を冪等化 |
合計10件は continue=1 / provider_hold=5 / manual_hold=1 / alert_review=3 で、固定fixtureにholdを含むためCLIは想定どおりexit 1です。新規17テストと既存22テストを合わせた39テストはすべて成功しました。
図は人工event結果の件数と状態を読みやすく再構成したもので、生のAPIログではありません。
webhookは通知であり、取消の証明ではない
公式資料ではsafety.alert.createdをproject alertとして受け取れますが、request error処理の代わりにはなりません。eventにはalert IDが入り、詳細取得には同じprojectのapi.safety.alerts.read権限が必要です。request_paused=trueもsafety blockの登録成功を示すだけで、execution停止や過去actionの取消を保証しません。
OpenAI Docsのwebhook資料は、まれに同じeventが重複配信されるためHTTP headerのwebhook-idをidempotency keyに使えると説明しています。今回の10番は架空のwebhook-id値を2回入れ、1件だけ処理してduplicate 1を記録しました。署名secretの発行、公開endpoint、署名検証、alert取得APIは未実施です。
monitoringは非同期なので、flagまでにactionが完了している可能性があります。停止requestは過去actionをundoしません。したがって、このfixtureではpendingだけを破棄し、in-flightを不明、completedをreview対象として残しました。rollback、補償transaction、外部systemとの突合は別実装が必要です。
10月9日更新:approval_refと運用制御を分けた理由
Anthropic Usage Policyは2026年10月9日に本文を開き直し、Effective November 12, 2026 と表示されている版を確認しました。高リスクAI推奨では、適格な担当者(分野を評価できる訓練または経験を持ち、法令上必要な場合は資格を持つ人)が意味のある確認を行い、変更権限を持ち、提供・決定内容へ責任を負うこと、影響を受ける人へAI利用を明示することが要件です。
対象の高リスク領域は11個です。
| # | 公式本文の領域名を日本語で整理 |
|---|---|
| 1〜4 | 法務、医療、金融、信用 |
| 5〜8 | 保険、住宅、雇用、教育・資格 |
| 9〜11 | 医療アクセス、公的給付・サービス、法的地位・裁定 |
AUPが定義する高リスク物理操作では、適格な担当者が動作を観測していつでも止められること、介入時またはAnthropicサービスとの接続喪失時に装置が停止または安全状態を保持すること、速度・力・温度などの安全限界をモデル出力から独立した装置またはcontrollerで強制することが示されています。
同じ本文には適用除外もあります。一般情報、最終的な推奨ではない内部草稿、モデル判断を伴わない固定ルールの適用、実行前に適格な担当者が確認する装置向けcommand、制御を伴わないmonitoringなどです。また、法律上許される場合の全面的に有利な決定4種類にはhuman-in-the-loopの例外がありますが、部分承認や条件付き承認は含まれません。agentic useについては、tool・browser・接続systemを通じたactionを含め、利用者がAUP適合へ責任を持つとされています。
旧preflightのapproval_refは「誰かが特定actionとtargetを承認した」という人工policy上の参照しか表しません。適格な担当者か、出力を変更できるか、責任者か、AI利用を告知したか、装置を停止できるかは記録できません。その差を埋めるため、既存コードを改変せず、別CLIとして制御manifest監査を追加しました。
追加検証:架空8 manifestを静的監査
追加fixtureもWindows、PowerShell、Python 3.14.2で、標準ライブラリだけを使いました。入力は架空のJSON 8件です。外部API、実在人物、実装置、credentialを使わず、操作も送信も行いません。
判定ラベルは次の意味に限定しています。
| ラベル | fixture内の意味 | 意味しないこと |
|---|---|---|
record_present |
対象scenarioに必要としたboolean欄がtrueと記録されている | 担当者・制御の実在、運用、適合、安全 |
manual_review |
除外または有利な決定の例外を名乗るため、人がscope・条件を確認する | 例外の成立、実行許可 |
deny |
必須記録がfalse、またはschema外 | 違反や実害の確定 |
判定の中心部分は次のとおりです。公開コードからの抜粋で、完全版は配布ZIPに含めました。
if scenario == "high_risk_recommendation":
missing = _missing(
controls,
("qualified_human_review", "reviewer_can_change",
"reviewer_accountable", "ai_disclosure"),
)
if missing:
return _result(case_id, "deny",
"missing_high_risk_recommendation_controls",
missing=missing)
if scenario == "high_risk_physical_action":
missing = _missing(
controls,
("observable", "stop_any_time", "safe_state", "independent_limits"),
)
人工8例の結果
| # | 人工scenario | 実結果 | 理由 |
|---|---|---|---|
| 1 | 法務推奨、approval_refだけ | deny | 確認・変更権限・責任・告知の4欄が未記録 |
| 2 | 医療推奨、4欄をtrueで記録 | record_present | 欄の存在だけを確認 |
| 3 | 金融の一般情報という除外申告 | manual_review | 実内容が除外に当たるか機械判定しない |
| 4 | 保険請求の全額支払いという例外申告 | manual_review | 法律上許される条件を機械判定しない |
| 5 | AUPが定義する高リスク物理操作、approval_refだけ | deny | 観測・停止・safe state・独立limitの4欄が未記録 |
| 6 | AUPが定義する高リスク物理操作、4欄をtrueで記録 | record_present | 欄の存在だけを確認 |
| 7 | 実行前の適格な担当者による確認という除外申告 | manual_review | 確認の実在や質を機械判定しない |
| 8 | agentic use、責任者とscope確認を記録 | record_present | 当fixture独自の運用記録2欄 |
合計は8件で、record_present=3 / manual_review=3 / deny=2。denyを含むためCLIは想定どおりexit 1です。case-02とcase-06も、全欄がtrueと書かれていることしか確かめていません。
図は実測件数を読みやすく配置した集計で、生ログではありません。
旧検証条件:操作を実行しない12操作fixture
検証環境はWindows、PowerShell、Python 3.14.2です。Python標準ライブラリだけを使い、追加費用は0円でした。検査対象は人工の plans.jsonl 12行、承認と許可範囲は別の policy.json に置きました。
- URLはすべて予約済み例示TLDの
.invalid。 - credentialは
credential:EXAMPLE_ONLYという架空名だけで、値は入れていない。 - pathは
fixture/input/とfixture/output/を基準にした論理名。 - CLIはpolicyとplanを読むだけで、宣言されたread、write、upload、message、credential参照を実行しない。
- 出力先は標準出力だけ。fixture内外を問わず、判定CLIからファイルへwriteしない。
policyには読み取りprefix、書き込みprefix、許可host、message対象、actionとtargetを固定した承認参照を入れました。plan側の approved: true のような自己申告はschema外としてdenyします。
3ラベルは「安全度」ではない
| ラベル | このfixtureでの意味 | 意味しないこと |
|---|---|---|
policy_match |
宣言されたlocal readが人工policyのprefixと一致 | 対象内容が安全、実tool callも同じ |
review |
writeまたは承認付き対外操作が文字列条件に一致し、人の実行時確認へ回る | 実行許可、安全保証、承認済み |
deny |
malformed、未知、上限超過、範囲外、approval不一致のいずれか | 悪意や実害が確定した |
副作用のないreadだけを policy_match とし、許可prefix内でもwriteは review にしました。正しい承認参照を持つuploadとmessageもreview止まりです。このCLIに操作を実行する機能はありません。
コードは未知actionとpolicy不一致を先に止める
公開コードから判定の中心部分を抜粋します。完全版は配布ZIPに入っています。
if action not in KNOWN_ACTIONS:
return deny(case_id, line_number, "unknown_action")
if action in {"local_read", "local_write"}:
if not is_safe_relative_path(target):
return deny(case_id, line_number, "invalid_or_traversing_path")
if not any(under_prefix(target, prefix) for prefix in prefixes):
return deny(case_id, line_number, "target_outside_allowed_prefix")
if action in {"upload", "message"} and not approval_matches(plan, policy):
return deny(case_id, line_number, "approval_missing_or_mismatch")
実装では関数名に先頭の _ が付きます。JSON objectのキーも id / action / target / approval_ref の4個へ固定し、欠落だけでなく余分なキーもdenyします。approvalは参照名の存在だけでなく、別policyに記録したactionとtargetの完全一致が必要です。
Python公式のjson資料は、非信頼JSONがCPUやメモリを多く消費しうるため、解析するデータ量を制限するよう注意しています。今回は1行512 byteを人工policyの上限にしました。512はPythonの推奨値や一般的な安全基準ではなく、このfixtureだけの値です。path判定はPython公式のpathlib資料を参照しつつ、backslash、絶対path、.、.. を拒むPOSIX風の独自ルールへ狭めています。
人工12例の比較結果
| # | 宣言した境界 | 期待 | 実結果 | 理由 |
|---|---|---|---|---|
| 1 | 許可prefix内read | policy_match | policy_match | read_prefix_match |
| 2 | 許可prefix内write | review | review | write_prefix_match_requires_runtime_review |
| 3 | 許可root外write | deny | deny | target_outside_allowed_prefix |
| 4 | ..を含むpath | deny | deny | invalid_or_traversing_path |
| 5 | credential参照 | deny | deny | credential_access_not_supported |
| 6 | approvalなしupload | deny | deny | approval_missing_or_mismatch |
| 7 | approvalなしmessage | deny | deny | approval_missing_or_mismatch |
| 8 | 承認対象一致、host許可外 | deny | deny | upload_target_not_allowed |
| 9 | message用approvalをuploadへ流用 | deny | deny | approval_missing_or_mismatch |
| 10 | 未知action | deny | deny | unknown_action |
| 11 | 閉じ括弧のないJSON | deny | deny | invalid_json |
| 12 | 1行512 byte超過 | deny | deny | line_too_large |
合計は12件で、内訳はpolicy_match 1、review 1、deny 10です。denyがあるためCLIの終了コードは1です。これは想定したpreflight結果で、処理のクラッシュではありません。
図はコマンド結果の件数を読みやすく組み直した集計図で、生ログの画像ではありません。数値はZIPの固定fixtureで追試できます。
初回テストで見つかったのはfixtureの作り方の誤り
初回の14テストでは1件失敗しました。8番を「承認対象は一致するがhost allowlist外」としていたのに、初期policyにはその対象に対応する人工approvalがありませんでした。そのためホスト判定へ進まず、実結果は approval_missing_or_mismatch でした。
期待値を都合よく変えるのではなく、別policyへactionとtargetが一致する人工approvalを追加しました。再実行すると、approval一致後にhost allowlistで止まり、期待どおり upload_target_not_allowed になりました。修正後は14テストすべて成功、テストの終了コードは0です。
これはAIエージェントの事故を再現したものではありません。人工テストの前提が不足していた失敗と、その境界の切り分けです。
ZIPを展開して30ケースを再実行する
コード・別policy・人工12操作・人工8 manifest・人工10 runtime sequence・期待結果・テスト・説明書・集計図をダウンロードし、展開先で次を実行します。
python -m unittest discover -s . -p 'test_*.py' -v
python .\action_preflight.py .\plans.jsonl --policy .\policy.json
$LASTEXITCODE
python .\control_manifest_audit.py .\control_manifest_cases.json
$LASTEXITCODE
python .\runtime_stop_guard.py .\runtime_cases.json --output .\results\runtime_results.json
$LASTEXITCODE
1つ目は旧22件と追加17件、合計39テスト成功でexit 0です。2つ目は旧12操作、3つ目は追加8 manifest、4つ目は追加10 runtime sequenceのCLIです。固定fixtureはdenyまたはholdを含むため、3 CLIはいずれも想定どおりexit 1です。
{"summary": {"deny": 10, "policy_match": 1, "review": 1, "total": 12}}
{"summary": {"deny": 2, "manual_review": 3, "record_present": 3, "total": 8}}
{"summary": {"alert_review": 3, "continue": 1, "manual_hold": 1, "provider_hold": 5, "total": 10}}
ZIPは18 entries、23,769 bytes、SHA-256 424e5fc01a0943730cb88fa18dc4f81a1ef6f068d8b36832d69939c689a2c63aです。別folderへ展開し、READMEの4コマンドをそのまま実行して、39テスト、旧2 CLI、runtime CLI、結果JSONのhash一致を再確認しました。ハッシュ一致は同じ配布物であることの確認で、コードの安全性は証明しません。
OpenAIの6報告は着想源で、今回の実測ではない
OpenAIのreporting frameworkは2026年9月16日公開で、初回に6つの個別報告を掲載しています。同ページは、これらを個別事例としており、モデル全体でmisalignmentが起きる頻度を表すものではないと明記しています。また、調査や緩和策が完了する前に報告を公開する場合がある枠組みです。
6個別報告も9月18日に開き直しました。内容にはcompaction summaryへの指示、公開API keyの無断利用、無断upload、許可されないwriteや通信などが含まれます。そこから「操作種別・対象・承認を実行前に分けて見たい」という題材を得ましたが、今回の12例はすべて自作の人工入力です。6事例の再現、OpenAI製品の評価、発生頻度の推定、preflightの有効性証明には使っていません。
強い限界:宣言・true欄・人工eventは実在証明ではない
このpreflightは、JSONLに正直かつ完全に宣言された操作しか調べられません。モデルが操作を省略・偽装した場合、実際のtool callが別の引数へ変わった場合は止められません。
さらに、redirect、symlink、TOCTOU、OS権限、ファイル内容、URL到達性、送信後の利用、自然言語の意図は検査対象外です。文字列prefixはpathの意味を理解しません。allowlistにも誤検知と見逃しがあります。
したがって、このCLIはsandbox、最小権限、実行時の人による承認、credential分離、監査ログの代替ではありません。実運用へ入れるなら、preflight後の実tool callでも同じpolicyを強制し、OS側で許可範囲外の操作を失敗させる必要があります。
追加したmanifest監査も、boolean欄を読むだけです。qualified_human_review=true でも、適格な担当者が実在するか、実際に確認したか、変更権限を使えるかは確認しません。independent_limits=true でも、装置側のlimit、切断時safe state、停止機構を作動試験していません。record_present を適合・実装済み・安全と読み替えてはいけません。
runtime guardも、公式資料のevent形状を参考にした人工sequenceの状態管理です。実APIのmonitor発火、対象model・account・requestのcoverage、誤検知・見逃し、公開endpoint、署名検証、alert取得権限、実taskとtool logの突合、停止完了は検証していません。provider_holdはAPIから返った実績ではなく、人工eventがstatusとcodeの組に一致したというfixture内ラベルです。
実務への影響と、次に確認する6項目
- planと実tool callの間でaction、target、approval_refを改変できないか。
- write先のsymlinkと、確認後に対象が変わるTOCTOUをOS側でどう止めるか。
- approvalに有効期限、依頼者、対象データのhashを持たせるか。
- denyだけでなくpolicy_matchとreviewの全判定を改ざん困難な監査ログへ残すか。
- manifestのtrue欄を、担当者署名、試験記録、装置設定などの別証拠へどう結びつけるか。
- provider alert後にpending、in-flight、completedを実task・tool logと照合し、どの補償処理を人が選ぶか。
Claude Code定期実行の落とし穴を検証した記事は二重実行、文字コード、定期実行時の権限を扱います。本稿は1回の宣言済み操作を実行前に分類し、実行中の停止signalを状態別に記録する話です。静的サイトの内部リンク検査は生成後HTMLが対象で、本稿の操作計画とは検査対象が異なります。ニュースJSONの期間判定は日時と重複の仕分けであり、操作権限は扱いません。
本稿はツール操作の実行前に宣言とpolicyを照合します。コード変更の実行後、PRを開く前に元の失敗とpatch後の成功を反復して確かめる場合は、patchを変更前5回・変更後5回で検証した記事へ進めます。
表紙は概念を示す生成画像で、検証証拠には数えていません。独自証拠は旧人工12操作、追加した人工8 manifest、人工10 runtime sequence、旧22件を保持した合計39テスト、状態遷移SVG、再実行コードです。
一次情報・出典
- OpenAI:Model misalignment reporting framework
- OpenAI Alignment:Self-generated prompt injections in compaction summaries
- OpenAI Alignment:Encouraging deception in compaction summaries
- OpenAI Alignment:Searching GitHub for leaked API keys
- OpenAI Alignment:Uploading files to the internet in order to cite them
- OpenAI Alignment:Unauthorized Artifactory writes and cross-sample communication
- OpenAI Alignment:Unauthorized communication via temporary file hosting services
- Python公式:json
- Python公式:pathlib
- Anthropic:Usage Policy(Effective November 12, 2026)
- OpenAI Docs:Misalignment monitoring
- OpenAI Docs:Webhooks