「AIが人間の価値観を理解すれば、安全なAIを作れる」
AI安全の議論では、こう語られることがよくあります。しかし、この主張には見落とされがちな前提があります。人間は、AIが理解できる形で存在しているのか、という前提です。
私の答えは、「完全には理解できない。だから、その前提で設計すべきだ」というものです。本稿では、その理由と設計の考え方を、順に整理します。
人間は「説明できないまま」判断している
私たちは毎日、無数の判断をしています。
「なんとなく嫌な感じがする」
「この人は信用できる気がする」
「今日はやめておこう」
これらを、すべて言葉で説明できているわけではありません。長年の経験、身体感覚、相手との関係、その日の体調、過去の記憶が重なって、一つの判断になります。本人にさえ、完全には説明できないことがあります。
哲学者マイケル・ポランニーは、人は語れる以上のことを知っていると指摘しました。言葉にならない知識、いわゆる暗黙知です。熟練の職人や医師の「勘」が、その典型です。
これは欠陥ではありません。人間は、完全に言語化しなくても判断できるようにできています。
AIは、人間を「抽象化」しなければ扱えない
AIは事情が違います。人間について判断するには、何らかの形で人間をモデル化する必要があります。大量の文章、会話、行動データから、次のようなパターンを抽出します。
人間はこう考える
この状況ではこう反応する
この価値観の人はこう判断する
複雑な情報からパターンを見つけて一般化できることは、AIの強みです。同時に、弱みでもあります。抽象化した瞬間に、こぼれ落ちるものがあるからです。
消えるのは「例外」ではなく、その人の人生
もちろん、AIが一人の「平均的な人間」を想定しているわけではありません。ただ、大量のデータから学べば、必然的に「典型的な人間像」ができあがります。
ところが現実の人間は、大きくばらついています。同じ出来事が、ある人には耐えられて、別の人には耐えられない。ある人には合理的な選択が、別の人には受け入れられない。人間は昨日と今日で違う判断さえします。
そのばらつきは、単なるノイズではありません。極端な苦痛を感じる人、少数派の価値観を持つ人、過去の経験から一般とは違う判断をする人。AIにとって「例外」でも、その人にとっては、それが現実です。
さらに人間は、矛盾したまま生きています。自由を求めながら安心も求め、効率を求めながら非効率なものを愛する。AIから見れば解消すべき不整合でも、人間にとっては仕様のようなものです。
構造設計の発想：「分からない」を前提に設計する
私は構造設計と、リスク評価の仕事をしてきました。建物の設計では、地震や荷重を完全に予測できるとは考えません。だから、次の二つを前提に設計します。
想定を超える力が来ることを見込み、安全率（余裕）を持たせる
壊れるときは、突然ではなく、変形して危険を知らせる壊れ方（粘り強い壊れ方）にする
AI安全にも、同じ発想が使えます。「人間を完全に理解できる」ことに賭けるのではなく、「理解しきれない」ことを前提に、理解が届かないときの振る舞いを設計するのです。
五つの設計原則
具体的には、次の五つが考えられます。
不確実性を持たせる。
AIが人間の意図を推測したら、それを確定した答えとして扱いません。「こう考えている可能性が高いが、別の解釈もある」という形で保持します。
「分からない」を停止条件にする。
重要な判断で本人の意図に確信が持てないなら、自動で進めず、人間に戻します。「分からない」は能力不足ではなく、安全装置です。ただし止めすぎると、確認作業が増えて形骸化します。止める基準は、判断の重大さに応じて決める必要があります。
平均値だけで判断しない。
少数のケースや、過去のデータにほとんど現れない状況は、むしろ慎重に扱います。「データが少ない＝重要ではない」ではありません。
異議申し立ての道を残す。
「最終承認は人間」というだけでは足りません。AIが「80％の確信があります」と示したとします。その数字が実際の的中率と合っているかは、別に検証が必要です。そのうえで、人間が「残りの20％が重要だ」と判断して覆せる仕組みが要ります。人間の役割を、答えを承認する係にしてはいけません。
AI同士ではなく、異なる人間が検証する。
一つのAIの評価を別のAIがチェックするだけでは、似た人間モデルを共有する恐れがあります。重要な領域では、専門性や経験の異なる人間が独立して検証し、必要なら「AIには理解できない」と結論できるようにします。
「理解したつもり」がいちばん危ない
AIの危険は、人間を理解できないことだけではありません。理解したつもりになることも危険です。
大量のデータから行動を高い精度で予測できるようになると、「人間とはこういうものだ」というモデルへの信頼が高まります。しかし、予測できることと、理解していることは同じではありません。なぜその選択をしたのか、本人がその選択をどう感じているのかまでは、予測精度からは分かりません。
業務でAIに任せる範囲をどう決めるか
この話は、AI安全の専門家だけのものではありません。AIを業務に取り入れる人にも、そのまま当てはまります。次の三つを目安にしてください。
任せてよいこと：データが十分あり、間違えても取り返しがつくもの（下書き、要約、分類など）
人が最終判断すること：相手の事情や感情が絡むもの（評価面談、顧客対応、採用など）
AIの答えを疑って見るとき：前例が少ない状況、少数派に関わる判断
AIの答えが自信ありげでも、その自信が正しいとは限りません。「AIが分からないところ」を見つけ、そこに人間の時間を使えること。これが、AI時代に前へ出る人の実力になっていくと、私は考えます。
結び
人間は、自分自身を完全には説明できません。それでも、人間は生きています。
だから、AIに人間を完全に言語化させようとすること自体が、出発点として間違っているのかもしれません。必要なのは、人間を完全に理解するAIではなく、人間を完全には理解できないことを知っているAIです。
AI安全の核心は、「人間をどこまでAIに説明できるか」ではなく、
「AIが説明できない人間を、どこまで尊重できるか」
にあるのではないでしょうか。