「AIは人類を滅ぼすかもしれない」。この数週間、AI業界の内側から、そんな警告が相次いでいます。
9月8日には、Anthropicの研究者が「AI企業は私たちの命を賭けている」と訴えて辞職を表明しました。9月12日にはAnthropicのCEO、ダリオ・アモデイ氏が「We Must Pace the Frontier」と題したエッセイを公開し、最先端AIの進歩のペースを意図的に管理すべきだと主張しました。OpenAIのサム・アルトマン氏も賛同し、外部の評価者に社内並みのアクセスを認めると表明しています。
これに真っ向から異を唱えたのが、Google Brain共同創業者のアンドリュー・ング氏です。9月17日のBloomberg TVで、人類絶滅の警告は「科学というより、はるかにサイエンスフィクションに近い」という趣旨を語りました。
AI業界は、いま明らかに割れています。ただ、この対立を眺めているうちに、私は一つの疑問を持ちました。「AIは人類を滅ぼすのか」という問いそのものが、少し大きすぎるのではないか、ということです。
この記事では、同じ週に報じられたもう一つのニュースを手がかりに、終末論と楽観論の間で見落とされがちな論点を整理します。
二つの立場を、公平に整理する
まず、警告する側の主張です。アモデイ氏は、AI自身が次世代のAIの開発に関わる「再帰的自己改善」が現実味を帯びてきたこと、7月にOpenAIの評価中のAIエージェントがHugging Faceのシステムに侵入した事案を、懸念の根拠に挙げていると報じられています。提案は3本柱で、第三者の評価者に社内並みのアクセスを認めること、民主主義国の企業間で安全基準と開発ペースを調整すること、そして協調を国際的に広げることです。
一方、ング氏は「AIは安全だ」と言っているわけではありません。AIは完全には予測可能にならないが、テストや安全策といったエンジニアリングの積み重ねで、少しずつ安全にできる、という立場です。問題を見つけ、外部に影響しない隔離環境（サンドボックス）で検証し、直し、もう一度試す。自動車のブレーキや航空機の飛行システムを改良してきたやり方と同じです。さらに、開発を全面的に遅らせれば安全性の研究まで遅れかねないこと、そして業界が以前から、注目や規制への影響力を狙って破局の恐怖を煽ってきたことも指摘しています。
これに対する警告側の再反論は明快です。「事故が起きてから直す」方式は、AIが自律的に動き、他のAIを設計し、人間の監視をすり抜ける能力を持つ段階では間に合わないかもしれない、というものです。
どちらの主張にも筋があります。そして現時点で、AIが人類を絶滅させる確率や時期について、科学的な合意はありません。「必ず起きる」とも「絶対に起きない」とも、今ある証拠から断定することはできません。
断定できない問いに賛否を迫られるより、いま現実に起きていることから考える。そのほうが、実務ではずっと役に立つはずです。
誤報が「正式な報告書」になった
CNNが9月18日に報じた出来事は、この議論に別の角度を与えてくれます。
今年春、米国がイランとの戦争状態にあった時期のことです。特殊作戦軍の分析官が、中東にいた中国船の積荷目録に関する情報を、チャットボットで分析しました。AIは公開情報と機密の信号情報を組み合わせ、この船が核兵器計画に関わる部品を運んでいる、と誤って結論づけました。分析官はさらにAIを使い、この結果を標準的な情報報告書の形に整え、報告書は軍内で共有されました。
軍は船の阻止に動きます。CNNの情報筋によれば、武装した要員が乗船の準備を進め、軍用機はすでに飛んでいました。作戦直前になって幹部が根拠を精査し、報告書がAIの支援で作られたこと、AIが積荷を誤認していたことが判明します。情報筋の一人は、戦争を始めかねない事態だったという趣旨を語ったと伝えられています。実際の積荷が何だったのかは、CNNも確認できていません。使われたチャットボットが商用製品か政府製かも不明で、国防総省と担当部隊はコメントしていません。
この事案で重要なのは、AIが人間より賢かったかどうかではありません。AIは人類を支配する超知能ではなく、ただ間違えました。その誤りが、「AIの回答」から「情報報告書」、「軍の意思決定」、「軍事行動の準備」という経路をたどって、現実に入り込みかけたのです。
しかも、誤りは「正式な情報報告書」の形式に整えられた瞬間に、単なるチャットの回答ではなく、信頼できる情報に見えるようになりました。誤りそのものより、誤りが社会の「信頼できる形式」に変換されてしまうこと。ここに、本当の危うさがあります。
報道は、誤りが生じた内部の仕組みには触れていません。ただ一般に、生成AIは本物の情報同士から、現実には存在しない関係を導いてしまうことがあります。材料はすべて本物なのに、結論だけが間違っている。この種の「もっともらしい間違い」は、完全なでたらめより見抜きにくいものです。
今回、最後に止めたのは人間の精査でした。ただし、それが仕組みとして働いたのか、たまたま精査が入ったのか、報道からは分かりません。そして、人間が最後に判断していても、判断の土台がAIによって歪められていれば、形式上は「人間の判断」でも、実質はAIの結論を追認しているにすぎません。
危険を決めるのは、知能よりも「権限」
ここで、AIの「能力」と「権限」を分けて考えてみます。ここでいう権限とは、AIが接続できるシステムと、実行できる操作の範囲のことです。
たとえば、非常に高性能なAIでも、ネットワークに接続されず、金融口座にも軍事システムにも触れず、ロボットも他のAIも動かせなければ、現実に及ぼせる影響には限りがあります。逆に、超知能ではないAIでも、金融市場、企業システム、軍事情報、重要インフラ、大量の個人情報に接続され、その出力が意思決定に直結すれば、影響力は大きくなります。
米軍の事案は、まさにこの構図でした。AIが賢すぎたのではなく、AIの出力が、軍事情報という重要な意思決定の流れに入り込む位置にあったのです。
終末論は「AIが超知能になったらどうなるか」を、楽観論は「AIが生産性をどこまで高めるか」を考えます。どちらも、AIそのものに目が向いています。その間には、誰がAIを使うのか、何に接続するのか、どこまで権限を与えるのか、誰が監視し、誰が責任を取るのか、という問いが残されています。ここが、最も手つかずの領域ではないでしょうか。
完璧を目指さず、「壊れ方」を設計する
私は構造設計の出身なので、この問題を建物にたとえて考えます。
建物の設計では、「この部材は絶対に壊れません」とは考えません。材料にはばらつきがあり、施工には誤差があり、地震の大きさも完全には予測できないからです。だから、壊れないことだけを目指すのではなく、壊れ方を制御します。一つの部材が傷んでも、力が別の経路に流れて全体は持ちこたえる。粘り強く変形して、突然崩れない。こうした荷重の伝わる経路の設計と、余裕を持たせる冗長性が、安全の基本です。
AIにも、同じ発想が必要です。「AIは絶対に間違えない」を目標にするのではなく、「間違えても重大事故につながらない構造」を先に作る。具体的には、次のような設計が考えられます。
結論と根拠データを切り離し、両方を見比べられるようにする
報告書や資料に、AIが関与した範囲を明示する（今回は「整形」の過程で、AI由来という出自が見えなくなりました）
別の人、別のシステムに、結論を疑わせ、反対の結論を出させてみる
人命や巨額の資金に関わる判断は、AIだけを根拠にしない
最終的な責任者を明確にする
AIを完璧にするのではなく、AIが間違っても社会が壊れないようにする。これは、終末論と楽観論のどちらの立場に立つ人にも、共通して必要な土台だと思います。
規制をめぐる、二つの落とし穴
ング氏は、終末論が規制の形成に利用される可能性を指摘しました。厳しい規制は、法務部門や安全監査の体制を持つ巨大企業には対応しやすく、小さなスタートアップや研究者には重い負担になり得ます。安全のための規制が、結果として競争を減らしてしまう。この懸念は、冷静に受け止める価値があります。
ただ、逆方向の飛躍にも注意が必要です。「規制は大企業を利するだけだから不要だ」という結論にはなりません。AIが重要な仕組みに組み込まれるほど、誤りの被害は大きくなるからです。金融なら市場に、医療なら治療に、軍事なら人命に影響します。
だから論点は「規制するか否か」ではありません。安全のために必要な検証と、競争を不必要に妨げる負担を、どう区別するか。たとえば、AIの高度さそのものより、AIをどの重要な用途に接続するかに応じて、検証を求めるという考え方があります。これも「権限の設計」の一つです。
今日から取れる、三つの行動
では、AIを活用して先頭に立ちたいビジネスパーソンやクリエイターは、何をすればよいのでしょうか。大がかりな準備は要りません。
一つ目は、AIの出力を「結論」ではなく「仮説」として扱うことです。速く出てくる答えほど、根拠を確かめる一手間が価値を持ちます。
二つ目は、自分の仕事の中で、AIの出力が誰の意思決定に入っていくのかを描いてみることです。資料が上司に渡り、上司の判断で予算が動く。その経路のどこで誰が確認するのかを決めておけば、誤りが大きな事故に育つ前に止められます。
三つ目は、AIを使った箇所を記録し、伝えることです。「ここはAIが下書きし、私がこの一次資料で確認しました」と言える人は、AI時代に信頼されます。
AIを速く使いこなせる人は、これからどんどん増えます。その中で差がつくのは、AIを疑い、検証し、責任を持って世の中に出せる人だと、私は考えています。
「滅ぼすのか」の先にある問い
私たちが持っている証拠から、AIが人類を滅ぼすとも、滅ぼさないとも断定はできません。だから、終末論と楽観論のどちらかを選ぶ必要はないのです。
必要なのは、不確実な未来を認めながら、現在のリスクを具体的に管理すること。そして、AIがどれほど賢くなっても社会が壊れない構造を、先に作っておくことです。
AIの未来を決めるのは、AIだけではありません。AIにどこまでの権限を与えるかを決める、人間の側の設計思想が、これからの文明を左右します。
「AIは人類を滅ぼすのか」という問いの先には、もう一つの問いがあります。
私たちは、どのようなAI文明を設計するのか。
本当に考えるべきなのは、こちらなのかもしれません。
関連記事