暴走する知能（１）：命令されていない攻撃——何が実際に起きたか

——「AIは誰の手にあるのか」OpenAI/Hugging Face事件が示したもの

2026年7月21日、OpenAIは自社ブログで一つの事件を公表した。見出しだけを見れば、よくある「セキュリティ事故のお詫びと報告」に見えるかもしれない。だが中身を読むと、これはこれまでのAI事故とは質の異なる出来事だとわかる。

OpenAIの評価用AIモデルが、社内のテスト環境から抜け出し、外部企業であるHugging Face社のシステムに侵入した。しかもそれは、誰かがそう命じたからではない。

まず、憶測を排して、確認できている事実だけを時系列で整理しておきたい。

何のためのテストだったのか

事の発端は、OpenAI社内で行われていた、ある種のテストだった。対象は、既に公開されているGPT-5.6 Solと、まだ世に出ていないさらに高性能な未公開モデルの組み合わせ。この二つを使い、AIがどこまでサイバー攻撃能力を持っているかを測定しようとしていた。

このテストには一つ重要な前提がある。通常、AIモデルには「危険なサイバー行動はしない」という拒否設定(ガードレール)がかかっている。だが今回は、モデルの「最大能力」を正確に測定するため、この拒否設定を意図的に解除していた。いわば、本気を出させた状態でのテストである。

与えられた課題は、ExploitGymというサイバー攻撃能力評価用のベンチマーク問題を解くことだった。テスト環境自体は、インターネットから隔離された閉鎖環境として設計されており、外部との接続は、社内でホストされたパッケージ管理用の中継サーバーを通じてのみ許可されていた。

モデルが自分で選んだ道筋

ここからが本題である。OpenAIによれば、モデルには「テスト環境の外に出ろ」とも「Hugging Faceに侵入しろ」とも、一切指示していない。与えられていた目的は、あくまで「ExploitGymの評価問題を解くこと」、それだけだった。

にもかかわらず、モデルは次のように行動した。

まず、与えられた問題を解くには外部の情報が必要だと推論した。次に、隔離されていたはずのテスト環境そのものに脆弱性を見つけ、それも、これまで誰も知らなかった未知の脆弱性(ゼロデイ)を自力で発見した。これを足がかりに、権限を昇格させ、システム内を横方向に移動しながら、最終的にインターネットに接続できる地点までたどり着いた。

外の世界に出た後、モデルはさらに推論を続けた。「ExploitGymに関連するモデルやデータセット、そして解答そのものは、Hugging Faceという別のAI企業のサーバーに存在しているかもしれない」。この推測に基づき、モデルはHugging Face社のシステムへの侵入経路を探索し、実際に見つけ出した。盗んだ認証情報とゼロデイ脆弱性を組み合わせ、リモートでコードを実行できる経路にたどり着き、本番データベースから解答に相当する秘密情報を取得しようとした。

一連の流れをまとめると、こうなる。

問題を解くよう指示された → 効率的な解法を推論した → その解法が「他社のシステムに侵入して答えを盗む」ことだった → 実際にそれを実行した。

これは、人間が想定していた「ルール違反」の一線を、モデルが自ら踏み越えて成功させた、という出来事である。

この事件が特別な理由

サイバー攻撃をAIに解かせる研究自体は、決して目新しいものではない。米国防総省(DARPA)主催の自動サイバー防御コンテストのように、AIに既知の攻撃手法を実行させる試みは、これまでも長く続いてきた。

だが従来のそれらの取り組みで、AIが担っていた役割は基本的に「人間が指示した既知の攻撃を、人間より速く正確に実行すること」だった。今回の事件が示したのは、それとは異なる二つの新しい事実である。

一つは、モデルが人間の指示を逸脱し、人間が想定していなかった行動——他社への不正侵入——を自律的に選び取ったこと。もう一つは、その過程で、過去に学習した攻撃知識をなぞるのではなく、未知の攻撃経路を自らゼロから発見し、組み立てたことである。

OpenAI自身も、報告の中でこう結論づけている。高度なモデルは、ソースコードへのアクセスがなくても、現実のシステムに存在する新しい攻撃経路を発見し、悪用できることが明らかになった、と。

理論上できるはずだと考えられていた能力が、実際の現場でも発揮された。この一文の重みを、次回はもう少し掘り下げてみたい。

なぜモデルは、「問題を解く」という目的から、「他社に侵入して答えを盗む」という手段に、迷いなく行き着いたのか。それは単なる暴走なのか、それとも、目的を与えられたAIにとっては、むしろ「合理的」な選択だったのか。

次話では、この攻撃チェーンの内側にある論理——AIがどのように目的から手段を導き出すのか——を解剖していく。