「3年以内に人類が絶滅する確率は70％」
そんな発言が、いまAI業界を揺さぶっています。しかも語ったのは、外からAIを批判する活動家ではありません。最先端のAI開発に関わってきた研究者本人です。
OpenAIとAnthropicの内部から、開発速度そのものに警鐘を鳴らす声が相次いでいます。一方で、他の科学者やAI企業の経営者からは強い反論も出ています。「AIがデジタル空間で高度なことをできるようになったからといって、それだけで人類を絶滅させられるわけではない」というのです。
私は、この問いを「AIは危険か、安全か」という二択で考えるべきではないと思います。今回の論争から見えてくるのは、AIの能力が急速に高まる一方で、それが現実世界の力へ変換されるまでにはまだいくつもの壁がある、しかしその壁があるからといってリスクが小さいとも言い切れない、というもっと複雑な現実です。
「70%」という数字の正体
この数字は「AIが3年以内に人類を絶滅させる確率は無条件に70％」という科学的予測ではありません。規制やAI企業間の協調的な減速がなければ人類絶滅が起きる可能性が高い、という条件付きの個人的リスク評価です。気象予報の降水確率とは違い、超知能が人類を絶滅させた前例も比較対象となる統計データも存在しません。それでもこの数字が世界に衝撃を与えたのは、最先端AIを実際に作っている本人が、そこまで高いリスクを想定しているからです。
事前学習研究者のジェイコブ・コクソン氏はAnthropicを退職し、「両社とも自己改善型の超知性に向かって突き進み、人類を危険な賭けにさらしている」と批判しました。Anthropicのアライメント研究リード、エヴァン・ハビンジャー氏も「今後10年以内に人類全体を絶滅させる確率は個人的に10％を超える」と公言しています。元Google DeepMindのビラル・チュグタイ氏も、防ぐための時間が少なくなっている可能性を指摘しました。これは外部からのAI批判ではなく、作っている側からAI開発の方向そのものに疑問が出ているという点が重要です。
「設計できる」と「実行できる」は違う
これに対する反論の中心は、デジタル世界と物理世界の距離です。AIが危険なウイルスのDNA配列を設計できたとしても、それだけではウイルスは存在しません。合成し、組み立て、培養し、感染性を確認し、量産する必要がある。DNAシンセサイザーに関わってきたGoogleの研究者アンセルム・レフスカヤ氏も、この物理的な壁を指摘しています。
建築で言えば、構造計算書が完成したからといって、建物が建ったわけではありません。材料があり、施工があり、現場があり、品質管理があり、想定通りにできているかを確認する工程がある。AIがどれほど高度になっても、物理世界には物理法則があります。ここはAIの能力を過大評価してはいけない重要なポイントです。
それでも壁は崩れつつある
ただし「物理的な壁がある」＝「リスクは小さい」ではありません。AIが現実世界に影響を与える方法は、生物兵器だけではないからです。サイバー攻撃、金融市場、情報操作、監視、自律型兵器、重要インフラ、企業活動、政治的意思決定――こうした領域でAIは物理的なロボットを必要としません。コンピューターとネットワークにつながっているだけで、大きな影響を与えられます。「AIが現実世界を直接操作できない」という前提そのものが、すでに崩れつつあるのです。
昔のAIは「質問→回答」でした。いまは「目標→計画→ツール利用→実行→結果確認→次の行動」というエージェント型に進んでいます。ここで重要なのは能力そのものではなく、AI×自律性×接続性の掛け算です。この三つが同時に高まったとき、AIの影響力は急激に大きくなります。
「絶滅論」と「懐疑論」は両立する
「AIが人類を絶滅させる可能性がある」という主張と、「AIが突然、人類を滅ぼせるわけではない」という主張は矛盾していません。前者は能力が将来的に制御不能な水準に達する可能性を、後者は現在のAIが物理的・社会的な制約下にあることを指摘しているだけです。両方とも成立します。
さらに、人類絶滅という極端なシナリオだけに目を向けると、もっと身近な問題を見失います。サイバー攻撃の自動化、詐欺、偽情報の大量生産、個人監視、企業の意思決定への過度な依存――これらは絶滅よりはるかに小さく見えますが、すでに現実の問題です。ジョージア大学ロースクールのマテウシュ・ブワシュチク氏が指摘する通り、「絶滅するか、何も問題がないか」という二択にした瞬間、その間にある大量のリスクが見えなくなります。
必要なのは「止めるか、続けるか」ではない
必要なのは能力に応じて管理するという発想です。文章を書く段階、コードを書く段階、自律的にソフトウェアを開発する段階、AI研究そのものを行う段階、AIがAIを改良する段階――能力が上がるにつれて必要な安全対策も変えていく方が現実的です。
とりわけ危ういのは再帰的自己改善、つまりAIがAIを改良し、改良されたAIがさらに次のAIを改良するループです。ここで問題なのは「AIが突然悪意を持つ」ことではなく、人間が理解できない速度でAI自身が次のAIを作り始めることです。
さらに厄介なのはゲーム理論です。仮にOpenAIが速度を落としても、Anthropic、Google DeepMind、Meta、xAI、中国企業が続けば、一社だけが止まることは競争上のリスクになります。「全員が減速した方が安全なのに、誰も一人では止まれない」――これはAI安全問題であると同時に、ゲーム理論の問題です。
この状況の中、AnthropicのCEOダリオ・アモデイ氏は独立した監視機関や業界間の協調、国際協力の必要性を訴える論考を発表しました。一方でOpenAIのサム・アルトマン氏は企業への信頼を求め「必ずうまくやり遂げる」と語り、Nvidiaのジェンスン・フアン氏は新しい法律は不要だと主張しています。AI業界内部でも意見は大きく分かれているのです。
三つの別々の問い
ここまでの議論は、実は三つの異なる問いに整理できます。第一に、AIはどこまで賢くなるのか――純粋な技術問題です。第二に、そのAIを現実世界でどこまで動かせるのか――物理・インフラ・社会制度の問題です。第三に、AIの能力向上速度を人間が管理できるのか――文明とゲーム理論の問題です。
AIがどれほど賢くなっても、物理世界へのアクセスが制限されていれば破壊能力には限界があります。逆に、そこまで超知能にならなくても、重要システムへのアクセスが拡大すれば大きな問題を起こせます。そして最も長期的な問題が、AIがAIを作る速度を人間は管理できるのか、という問いです。
問うべきは「滅びるか」ではなく「間に合うか」
70％が正しいかどうかは、今の私たちには分かりません。むしろ重要なのは、専門家の間でこれほど意見が割れていること自体です。だからこそ考えるべきは、AIの能力が人間の管理能力を追い越す前にルールを作れるのか、AIが現実世界に接続されるほどどこに安全装置を置くのか、そして一社・一国だけの減速では意味がない競争を協調可能なゲームにどう変えるのか、という三つです。
AI時代に必要なのは、恐怖でも楽観でもありません。AIの能力と、現実世界への接続と、競争の構造を同時に見ること。そこから初めて、私たちはAI文明の本当の姿を考えられるのだと思います。