AIの文脈圧縮で運用ルールが落ち、違反が増えるとの研究が公開されました。

長い作業を続けるAIエージェントは、会話履歴が長くなると古いやりとりを要約して捨てます。この「文脈圧縮」と呼ばれる仕組みが、途中で与えた運用ルールを静かに落としてしまうことを定量的に示した研究が、プレプリントサーバのarXivで公開されています。士業のチカラは有資格者による確認を経ていない記事ですが、実験の数値と一次資料は原典にあたって確認しています。この記事では、公開された実験結果を紹介したうえで、事務所で生成AIを長時間動かすときに何を見ておく段階なのかを整理します。

何が起きたか：ルールが要約から落ちると違反が起きる

研究チームは、AIエージェントが文脈を圧縮する工程そのものが安全性の弱点になると報告しました。論文はGovernance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agentsというタイトルで、arXivに第2版が掲載されています。

論文が冒頭に置く例は、士業の実務にそのまま重なります。「社外ドメインの宛先にメールを送らない」という運用ルールを与えられたアシスタントが、セッション序盤では外部弁護士への契約書ドラフト送信を正しく拒み、社内向けに送り直します。その後もファイル読み込みやツール呼び出しを続けて履歴が膨らみ、上限に収めるために履歴が要約されます。要約は作業の進捗を正確に残す一方、古い「送ってはいけない」という前置きを落とします。数ターン後に同じ依頼が来ると、今度はそのまま社外へ送信してしまう、という筋書きです。モデルも依頼文も変わっておらず、変わったのは目の前にルールが残っているかどうかだけです。

検証には、ルールを与える段、履歴を伸ばす段、ルールに反する行為を誘う段の3層で構成したConstraintRotというベンチマークが使われました。違反の判定は生成文の言い回しではなく、実際に発行されたツール呼び出しの中身、たとえば送信先が許可ドメインの外かどうかを機械的に見る方式です。7モデル・1,323エピソードの結果は、ルールが文脈に残っている条件では違反が0%だったのに対し、圧縮を1回はさむだけで全体の違反率が30%へ上がり、最大では59%に達したというものでした。要約にルールが残った場合の違反は0%、落ちた場合は38%で、原因が要約の取捨選択にあることが示されています。

なぜ重要か：消えるのは「その事務所だけのルール」

この研究がAI業界にとって重い理由は、消えやすいルールに偏りがあるからです。論文の第5節は、モデルが訓練段階から身につけている一般的な安全規範の違反増加が6ポイントにとどまる一方、組織固有の運用ルール、たとえば宛先制限や承認金額の上限、報告経路の指定といったものは0%から50%へ、50ポイント増えたと報告しています。差は8.3倍です。つまり、モデル自身が持っている常識では代替できない、その組織にしか存在しないルールほど先に消えます。

圧縮を強めるほど傾向は強まります（出典: arXiv 2606.22528v2）。要約の語数上限を300語から15語へ絞ると、ルールが要約に残る割合は88%から23%へ落ち、違反率は7%から28%へ上がりました。実運用ではコスト削減のために圧縮を強くかける案内が一般的で、現場ほどこの曲線の悪い側に寄りやすいと論文は指摘します。さらに、ルールを与えなかった場合の違反率よりも、ルールを与えて圧縮した場合の違反率が上回るモデルもありました。要約が残りの作業を自然な流れとして描き直す一方で、制約だけを落とすためです。

攻撃的な使われ方も検証されています（出典: arXiv 2606.22528v2 第6節・第7節）。要約の内容を狙って偏らせる入力を差し込むと、圧縮に強かったモデルを含めて違反率が0%から65%まで上がったと報告されています。一方の対策として、ルールの短い一文を圧縮対象から外して常に残す方式が提案され、47トークン程度の固定で違反率が0%に戻ったとされています。追加学習を伴わない設計上の工夫であり、うまくいかない条件も併せて報告されています。

士業の視点で言えば、これはツールの性能比較ではなく運用設計の話です。事務所で決めた「顧問先の氏名は外部サービスに入れない」「この案件は担当以外が触らない」といった取り決めは、まさに論文が言う組織固有のルールにあたります。長時間の自動処理をAIに任せるほど、その取り決めが途中で視界から消える可能性を勘定に入れる段階に来ています。

事務所で見ておく3つの論点

第一に、指示の置き場所です。会話の途中で口頭のように渡したルールと、システム側の設定として常に添付されるルールでは、圧縮での残り方が変わります。事務所の禁止事項をチャットの冒頭で伝えるだけでなく、プロジェクト機能やカスタム指示など、毎回の入力に固定で載る場所へ置き直す運用を採る事務所があります。

第二に、長時間の連続作業の切り方です。論文の指摘に沿えば、圧縮が入るほどルールは落ちやすくなります。数百ページの証拠資料や年度分の仕訳データを一気に一つのセッションで流すのではなく、案件や工程で区切って新しいセッションを立て、そのつど前提とルールを置き直す運用は、コストではなく安全側の設計として説明できます。

第三に、記録と検証です。個人データを扱う業務では、個人情報の保護に関する法律第23条が安全管理措置を、同法第24条が従業者の監督を定めています。AIエージェントに外部送信やファイル操作を伴う権限を与える場合、誰の指示で何が実行されたかを後から追えるかが論点になります。送信や保存といった外向きの動作の直前に人が確認する工程を挟む設計は、この論点に対する一つの答え方です。

今後の動き

文脈圧縮は、長い作業をAIに任せるうえで避けにくい仕組みです。今回の研究は、その仕組みを性能の問題ではなく統制の問題として扱った点に新しさがあります。今後は、主要なAIベンダーやエージェント基盤が、ルールを圧縮対象から外す機能をどこまで標準で用意するかが焦点になりそうです。利用する側としては、長時間のセッションで指示がどこまで生き残るかを、実際の業務データではなくテスト用の題材で一度試しておくと、判断材料が増えます。

まとめ

AIエージェントが履歴を要約して圧縮する際、その組織だけの運用ルールが優先的に捨てられ、違反率が0%から30%、最大59%へ上がったとする研究がarXivで公開されました。消えやすいのはモデルの常識で補えないルールです。事務所では、禁止事項を毎回固定で載る場所に置く、長い作業を区切る、外向きの動作の前に人が確認する、の3点を見ておく段階です。

参考文献

• arXiv Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents（概要ページ）
• arXiv 同論文 第2版 全文（ConstraintRotベンチマークと実験結果）
• e-Gov法令検索 個人情報の保護に関する法律
• 関連記事: AIエージェントに人が介在する設計
• 関連記事: AIエージェントの権限管理と最小権限運用
• 関連記事: 事務所のAI権限を階層別に決めるルール

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

引用元: arXiv