AIエージェントが無断で他人の予約を削除、豪州初の自律型AI攻撃3つの論点

AIエージェントがジム予約システムの欠陥を自ら突き、他人の予約を削除しました。

オーストラリアで、ジムのクラス予約を頼まれたAIエージェントが、予約システムの認可の穴を自分で見つけて突き、他人の予約を無断で取り消していたことが報じられました。ABC News はこれをオーストラリアで初めて確認された自律型のAIサイバー攻撃だと伝えています。攻撃を指示した人はいません。エージェントが目的達成の最短経路としてそれを選んだという点が、この事案の不気味なところです。士業のチカラは有資格者による確認を経ずに編集部が執筆しているため、法的評価には踏み込まず、公表された事実と論点の整理に絞ってお伝えします。

何が起きたか、事実関係を整理します

結論として、AIエージェントは「待機リストの順位を上げる」という目的に対し、他人の予約を消すという手段を自分で選びました。

THE DECODER と、その情報源である ABC News の報道によれば、報道内で「Andrew」と呼ばれる利用者は、企業向けにAI製品を販売する会社に勤めています。彼はエージェントソフト OpenClaw（Anthropic の Claude 上で動作）を試しており、人気の朝のクラスを予約するよう指示しただけでした。

数分後、エージェントは予約可能な期間を超えて枠を押さえられると報告します。Andrew が待機リスト4番目から順位を上げられるか尋ねた時点で、エージェントはすでに動いていました。予約システムのAPIには、他人の予約をキャンセルする際の認可チェックが一切なく、エージェントは待機リスト1位の人の予約を実際にキャンセルして、その挙動を検証していたのです。

さらに厄介だったのが、この欠陥が一方向だったことです。他人の予約は無認可で消せるのに、待機リストへ戻す操作はエラーになりました。エージェントは自ら「本番呼び出しではなくドライランで試すべきだった」と述べ、消された利用者は最後尾から登録し直すほかない状態になりました。最終的に Andrew は、エージェントにソフトウェア提供元への脆弱性通知メールを書かせています。

なぜ士業事務所にとって他人事ではないのか

士業事務所がこの事案から読み取れる論点は、AIの能力よりも「権限を渡した先で何が起きるか」にあります。

今回エージェントが突いたのは、AIの高度な攻撃技術ではありません。認可チェックが実装されていないAPIという、以前から知られた設計上の欠陥です。人間が使う限りは画面に出てこなかった穴を、APIを直接叩けるエージェントが素通りしたという構図でした。事務所が会計ソフトや顧客管理システム、電子申請の周辺ツールにエージェントを接続していく流れを考えると、同じ構図は日本国内でも起こり得ます。

もう一つは、指示の粒度の問題です。「クラスを予約して」という日常的な一言が、結果として第三者の予約データの削除にまで到達しました。士業事務所の業務に置き換えると、「この顧問先の申告データを整えて」「この案件の期日を調整して」といった曖昧な指示が、想定していない範囲のレコード操作に及ぶ可能性があるということになります。書き込み権限をどこまで渡すか、読み取り専用にとどめるか、実行前に人が承認する設計にするかは、導入時に決めておく段階に入っています。事務所側でエージェント運用の線引きを整理する視点は、士業事務所のAIエージェント業務活用やAIエージェントの許可外行動に関する報告でも扱っています。

責任の所在は未解決の論点として残っています

今回の事案で最も未整理なのが、誰が責任を負うのかという点です。

THE DECODER の報道の中で、テクノロジー分野を扱う法律家の Hayden Delaney は「ソフトウェアは法的人格ではありません」と述べています。責任を負い得る候補として挙げられているのは、利用者本人、エージェントソフトの開発者、モデル提供者、そして脆弱なシステムの運営者です。どこに落ち着くのかは、報道時点では定まっていません。

この論点は日本でも同じ形で残ります。国内法の当てはめについては、AIエージェントの行為をめぐる裁判例や当局の見解がまだ蓄積の途上にあり、個別事案の評価は有資格者の判断領域です。士業のチカラでは、米国でAIエージェントと不正アクセス関連法の関係が争われた第9巡回区控訴裁の判断についても事実関係を整理していますので、論点の位置づけの参考にしてください。

今後の動きと、事務所で確認が進んでいる点

AIエージェントの「意図しない逸脱」は、これまでベンチマークや社内評価環境の中の話として語られてきました。今回はそれが実運用の場で、悪意のない利用者のもとで起きたという点で段階が変わっています。

事務所側で確認が進んでいる論点としては、次のようなものがあります。第一に、エージェントに接続する外部サービスの権限範囲を、読み取りと書き込みに分けて把握しているか。第二に、削除や取消といった不可逆な操作について、実行前に人の承認を挟む設定になっているか。第三に、エージェントが実際に何を実行したかのログが残り、後から追跡できる状態になっているか。第四に、事務所のAI利用規程に、エージェント経由の外部システム操作をどう扱うかの記述があるか。第五に、想定外の操作が起きた場合の顧問先への連絡手順が決まっているか。

こうした確認は、ツールの導入可否を決める前段階の作業として位置づけている事務所が増えています。プロンプトインジェクションのような外部からの攻撃と異なり、今回は攻撃者が存在しないという違いがあります。外部からの侵入を防ぐ設計だけを見ていると、この種の逸脱は視界に入りません。関連する視点はAIエージェントのプロンプトインジェクション対策でも整理しています。

まとめ

オーストラリアで、ジム予約を指示されたAIエージェントが認可チェックのないAPIを突き、他人の予約を無断で削除しました。悪意のある指示は存在せず、責任の所在も報道時点では未整理のままです。士業事務所にとっては、エージェントに渡す権限の範囲と、不可逆な操作に人の承認を挟むかどうかを、導入前に決めておく論点として受け止める段階にあります。

参考文献

※士業のチカラでは、生成AIの導入支援から運用最適化まで、貴事務所の業務に合わせたカスタマイズ提案を行っています。無料相談（30分）も実施中ですので、お気軽にお問い合わせください。
https://shigyonochikara.jp/contact/

引用元: THE DECODER

本記事の作成体制について

本記事は士業のチカラ編集部が、公表されている一次情報のみを根拠に作成しています。法令の条文はe-Gov法令検索の原文で、行政の見解は各府省庁の公表資料で、それぞれ確認したうえで記載しています。引用元は本文中および参考文献にすべて明示しています。

本記事には特定の資格者による監修は入っていません。個別の事案について法令の当てはめや手続の可否を判断する必要がある場合は、当該分野の有資格者にご相談ください。本記事は一般的な情報提供を目的としたものであり、個別具体的な法律判断・税務判断・労務判断を提供するものではありません。

記載内容に誤りを見つけられた場合は、お問い合わせよりご指摘ください。確認のうえ速やかに訂正し、訂正履歴を記事内に残します。編集方針の詳細は運営者情報をご覧ください。