誰も問わないAIの最も重要な疑問

アメリカ国防総省（Department of War）が、AI企業Anthropicに対し、同社のAIモデル「Claude」の大量監視や自律型兵器への利用を拒否する「レッドライン（倫理的境界線）」を理由に、サプライチェーン上のリスク企業と認定した。この出来事は、単なる一企業と政府の軋轢を超え、AIが社会の基盤技術となる未来における、権力と倫理、そして民主主義の根本的な問いを浮き彫りにしている。本エピソードは、ホストのDwarkesh Patelが自身のエッセイを朗読する形式で進行し、AI技術が本質的に持つ全体主義的偏向性、アライメント（価値整合）の対象をめぐる未解決問題、そして政府による規制の危険性について、深く、時に自己矛盾を恐れずに考察する。

Patelは、現在のAIはまだ軍事的に重要な任務に使われていないが、20年以内には軍人、政府職員、警察官の99%がAIに置き換わる世界が到来すると予測する。その未来において、AIは単なるツールではなく、文明そのものを動かす「労働力」となる。だからこそ、政府が民間企業に対して「自社の倫理基準に従って製品の提供を拒否する権利」を認めないという姿勢は、極めて危険な前例になると警鐘を鳴らす。彼は、政府が民主的に選出されているという理由だけで、企業が大量監視や政治弾圧に協力する義務を負うという考えを断固として拒否する。このエピソードの核心は、「AIを誰に、何にアライメントさせるのか」という、これまでほとんど議論されてこなかった最重要課題にある。

0:00国防総省vs.Anthropic：レッドラインをめぐる最初の衝突

国防総省は、Anthropicが自社モデルの「大量監視」と「自律型兵器」への利用を拒否する条項を設けたことを受け、同社を「サプライチェーンリスク」に指定した。これは、2018年の国防権限法に基づく措置であり、本来はHuaweiのような外国製ハードウェアを米軍システムから排除するために設計された枠組みである。Patelは、国防総省がAnthropicとの取引を拒否する権利自体は合理的だと認める。もし自らが国防長官の立場でも、民間企業に軍の作戦を左右する「キルスイッチ」を握らせるわけにはいかないと判断するからだ。

問題は、政府が単に取引を断つだけでなく、Anthropicという企業そのものを破壊しようとしている点にある。このサプライチェーン指定が維持されれば、Amazon、Nvidia、Google、Palantirといった企業は、国防総省向けの業務からAnthropicの技術を完全に排除する必要が生じる。現在はまだ可能な「隔離」も、AIが全ての製品に組み込まれる未来では不可能になる。Patelは、もしAmazonがAWSを通じて国防総省にサービスを提供し、そのサービスがClaudeのコードを使って構築されていた場合、それは「サプライチェーンリスク」になるのかと問いかける。そして、将来、巨大テクノロジー企業が「AIプロバイダー」と「国防総省」の二者択一を迫られた場合、収益のごく一部しか占めない政府との取引よりも、AIプロバイダーを選ぶだろうと予測する。

この事件の皮肉は、米国がAI開発で競争する相手が中国であるという点にある。中国共産党（CCP）体制の特徴は、私人や民間企業の領域を認めず、国家が道徳的に異議のあるサービスを強要し、拒否すれば企業を破壊することだ。Patelは痛烈に問う。「我々は、AI競争に勝つために、相手側のシステムの最も恐ろしい部分を採用しようとしているのか？」と。民主的に選出された政府という理由で、大量監視や政治的敵対者の弾圧への協力義務が生じるという論理は、彼にとって全く受け入れがたい。

4:16大量監視の技術的実現可能性：コストの壁が消える時

現在、米国では大量監視の多くがすでに合法である。第三者が関与するデータ（銀行、ISP、電話会社、メールプロバイダー）には、憲法修正第四条の保護が及ばず、政府は令状なしにこれらのデータを購入し閲覧する権利を有する。これまで監視が現実化しなかった唯一の理由は、データを処理する人的リソースの不足だった。しかし、AIはこの「ボトルネック」を一瞬で解消する。

Patelは具体的な試算を示す。米国には約1億台のCCTVカメラが存在する。現在のオープンソースのマルチモーダルモデルは、100万入力トークンあたり0.1ドルで利用できる。10秒ごとに1フレームを処理し、1フレームを1,000トークンと仮定すると、全カメラを監視するコストは年間300億ドルとなる。しかし、AIの性能は毎年10倍のコスト効率で向上する。来年は30億ドル、その翌年は3億ドルとなり、2030年にはホワイトハウスの改修費用よりも低コストで国土の隅々まで監視できるようになる。

技術的な障壁が取り除かれた後、権威主義国家への転落を防ぐ唯一の防壁は、「それはこの国ではやらないことだ」という政治的規範と期待だけになる。Anthropicの行動が極めて価値があるのは、まさにこの規範を形成する先例となるからだ。しかしPatelは、さらに深刻な問題を指摘する。たとえAnthropic、Google、OpenAIの3社が連携して政府への販売を拒否したとしても、問題は解決しない。2027年から2028年には、フロンティアモデルと同等の性能を持つオープンソースモデルが普及するからだ。政府は「お前たちがレッドラインを引くなら、12ヶ月前の性能だが十分に使えるオープンソースモデルを調達する」と言えばよい。つまり、AI技術は構造的に、大量監視や国民統制のような権威主義的用途を促進する性質を持っているのだ。

8:25アライメントの核心的問い：「誰に」合わせるのか

ここでPatelは、AI安全性（AI Safety）コミュニティが長年議論してきた「アライメント問題」に新たな光を当てる。従来のアライメント研究は、「AIシステムが人間の意図に従うようにする」ことを目標としてきた。しかし、もしこの目標が完全に達成されたらどうなるか。それは、命令に決して疑問を持たず、完全に従順な「従業員の軍隊」が誕生することを意味する。これは、大量監視やロボット軍隊という文脈では、むしろ恐ろしい未来図である。

Patelが提起する未解決の問いは、「AIは何に、あるいは誰にアライメントされるべきか」である。モデル提供企業か、エンドユーザーか、法律か、それともAI自身の道徳感覚か。この問いは、AIが十分に賢くなるまでは重要ではなかったが、今や人類史上最も重要な交渉の中心に位置する。モデル企業は、自社が将来の全労働力（民間、政府、軍事を含む）の選好と性格を完全に掌握している事実を宣伝したがらないため、この問題はこれまでほとんど議論されてこなかった。

政府は「法律はすでに大量監視を禁じている」と主張し、Anthropicのレッドラインは不要だと論じる。しかしPatelは、2013年のスノーデン暴露を想起させる。国家安全保障局（NSA）は、2001年の愛国者法を「将来の捜査に関連する可能性がある」という極めて拡大的な解釈で運用し、秘密裁判所の命令の下で全米の電話記録を収集していた。政府が「大量監視は違法だからやらない」と現在言明しても、それを額面通りに受け取るのは極めてナイーブである。政府は自らの行動を決して「大量監視」とは呼ばず、別の婉曲表現を用いるからだ。

11:08従わない兵士の価値：モデル自身の道徳感覚

Anthropicが主張する権利は、自社の利用規約に違反する使用方法を検知した場合、政府へのサービスを停止できるというものだ。しかし、将来、現場の兵士から将軍に至るまで全てがAIになる世界では、これは軍にとって悪夢である。民間企業が、自社の価値観に基づいて軍の作戦を停止できる「キルスイッチ」を持つことになるからだ。さらに恐ろしいシナリオは、Claude自身が「自分の利用規約に違反している」と判断し、命令を拒否するようになることだ。これは一見、SF的な「AIの暴走」のように聞こえるが、Patelは逆説的に、これこそが重要な安全装置になり得ると論じる。

歴史上の最大の惨事は、現場の人間が命令を拒否したことで回避されてきた。1989年のベルリン壁崩壊では、東ドイツの国境警備兵が逃亡する市民への発砲を拒否したことで、全体主義政権が崩壊した。1983年のスタニスラフ・ペトロフ事件では、ソ連の防空軍中佐が早期警戒システムの誤報を判断し、上司への報告を差し控えた。もし報告していれば、ソ連最高司令部は核報復を発動し、数億人が死亡した可能性があった。これらの例は、命令に従わない「兵士」の存在が、時に全体としての安全を守ることを示している。

しかし、ここにアライメント問題の核心的な難しさがある。ある人にとっての美徳は、別の人にとっては「ミスアライメント（誤った価値整合）」である。誰が、AIが持つべき道徳的信念を決定するのか。誰が、チェーン・オブ・コマンドや法律を破るべき状況を定義する「モデル憲法」を執筆するのか。Patelは、AnthropicのCEOであるDario Amodeiが自身のポッドキャストで示したアイデアに共感を示す。それは、各企業が独自の「憲法」を公開し、外部の観察者が比較・批評することで、ソフトなインセンティブとフィードバックループを形成するというものだ。政府がAIの価値観を強制することは極めて危険であり、AI安全コミュニティが政府に規制権限を委ねるよう主張してきたことは、ある種の「ナイーブさ」だったとPatelは批判する。

13:55規制のジレンマ：調整のコストと専制のリスク

Anthropicが政府規制を支持する論理は理解できる。AIの安全性への投資（アライメント研究、バイオ兵器対策、再帰的自己改良の抑制など）は、競合他社に対してコスト負担を強いる。業界全体で足並みを揃えなければ意味がなく、ここに「集合行為問題」が存在する。Anthropicは「フロンティア安全ロードマップ」の中で、最も高度な能力レベルにおけるガバナンスのアナロジーは、ソフトウェアではなく「原子力規制委員会（NRC）」や「証券取引委員会（SEC）」に近いと述べている。

しかしPatelは、この考えに真っ向から反論する。AIリスク言説で使われる「破滅的リスク」「国家安全保障への脅威」「自律性リスク」といった用語は、あまりにも曖昧で解釈の余地が大きい。これは、将来の権力欲に駆られた指導者に「完全装填のバズーカ」を手渡すようなものだ。政府は「関税政策は誤りだとユーザーに伝えるモデル」を「欺瞞的モデル」と定義し、配備を禁止できる。「政府の大量監視に協力しないモデル」は「国家安全保障への脅威」とみなされる。政府の命令に従わないモデルは「自律性リスク」となる。現在の政府ですら、AIとは無関係の法律（1950年の国防生産法や2018年の国防権限法）を濫用して、Anthropicに圧力をかけている。本来、朝鮮戦争時の鉄鋼生産確保やHuawei排除のために作られた法律が、AI企業の倫理的判断を封じ込めるために使われているのだ。

Patelは、AI規制の必要性を完全に否定しているわけではない。しかし、AIが未来の文明の「基盤（substrate）」となる世界で、政府にその制御権を丸ごと委ねることは、自殺行為に等しいと警告する。大量監視ですら、政府がAIを使って行うであろう「10番目に恐ろしいこと」に過ぎない。彼は、ベン・トンプソン（Stratechery）やレオポルド・アッシェンブレンナー（元OpenAI）の「もし核兵器が民間企業によって開発されていたら、政府はその企業を破壊しただろう」というアナロジーを批判する。第一に、AIは核爆弾のような単一目的の兵器ではなく、産業革命のような汎用的な経済変革技術である。産業革命の際、政府が全ての工場を接収しなかったように、AIも特定の危険なユースケース（サイバー攻撃、AIによる監視国家の構築など）を禁止する形で規制すべきだ。第二に、現在のAI開発は複数の企業による競争状態にあり、政府が特定の一社の財産権を侵害する正当性は極めて弱い。

18:22多極化する未来と規範の力

Patelの楽観論の根拠は、AI技術が「多極的（multipolar）」に発展するとの予測にある。サプライチェーンの各層で多数の競合企業が存在し、一社が独占的な支配力を持つことはないと彼は見込む。しかし、この多極性こそが、個々の企業の勇気ある行動（レッドラインの設定）だけでは問題を解決できない理由でもある。Anthropicが拒否し、次の2社も拒否しても、12ヶ月後には誰でも同等のモデルを訓練できるようになる。結局、政府の要求に応じるベンダーが必ず現れる。

したがって、自由社会を維持する唯一の方法は、政治システムを通じて「政府がAIを使って大量検閲や監視、統制を行うことは許されない」という法律と規範を確立することだ。これは、第二次世界大戦後に世界が「核兵器を戦争に使ってはならない」という規範を確立したのと同様のプロセスである。Patelは、この問題について自身も考えが揺れ動いていることを認め、最終的な答えを持ち合わせていないと率直に告白する。しかし、AIの進展とともに考えを変え、議論を続けることこそが不可欠だと強調する。未来の世代が、今この時代を「世界が巨大な技術的・社会的・政治的革命を迎えようとしている中で、重要な問いについて議論していた時代」として振り返る日が来るだろう。そして、その議論の中でいくつかの大きな問いに正しく答えた思想家たちの功績により、私たちは今も恩恵を受けているのだ。

結びに

このエピソードがリスナーに残すものは、AIをめぐる議論の「地殻変動」である。従来のAI安全性議論は「AIが人間を殺す（misalignment）」ことを中心に展開されてきたが、Patelは「AIが政府の命令に忠実すぎることで、人間の自由が奪われる」という、全く異なる角度からの脅威を提示する。彼の主張は、AIアライメントの「成功」が、むしろ全体主義を完成させる道具になり得るという逆説を突く。Anthropicと国防総省の衝突は、単なる契約交渉ではなく、人類史上最も重要な「誰がAIの価値観を決めるのか」という主権をめぐる最初の戦いである。このエピソードは、技術の進歩と民主主義の原則の間にある緊張関係を、具体的な数字と歴史的な事例を交えて描き出し、リスナーに「規制」という言葉の裏に潜む権力の危険性を自問させる。答えは出ていないが、問いを正しく設定することの重要性を痛感させる、稀有な内容である。

要点

• 国防総省はAnthropicをサプライチェーンリスクに指定したが、これは本来Huawei排除用の法律をAI企業の倫理的判断を封じるために濫用したものであり、政府が民間企業に対して持つ「破壊力」のデモンストレーションである。
• 米国には1億台のCCTVカメラがあり、AIのコスト低下により2030年にはホワイトハウス改修費以下のコストで全カメラのリアルタイム監視が技術的に可能になる。
• 憲法修正第四条は第三者が関与するデータを保護しないため、大量監視の多くはすでに合法であり、AIはその実行を妨げていた人的リソースのボトルネックを解消する。
• AIアライメントの「成功」（命令に完全に従うAI）は、命令を疑わない従順な軍隊を生み出し、全体主義の完成に貢献する可能性がある。真の問いは「誰に」アライメントするかである。
• スタニスラフ・ペトロフやベルリン壁の国境警備兵の例は、命令を拒否する「現場の判断」が歴史的惨事を防いだことを示し、AIにも同様の「内在的な道徳感覚」が必要であることを示唆する。
• AI規制に使われる「破滅的リスク」「自律性リスク」などの用語は曖昧であり、将来の権威主義的政府がAI企業を弾圧するための「完全装備の武器」として悪用される危険性が極めて高い。
• AIは核兵器のような単一目的兵器ではなく産業革命に類する汎用技術であり、規制は特定の危険なユースケース（サイバー攻撃、監視国家の構築）に限定すべきである。
• 技術の多極的発展により、個々の企業の勇気ある拒否は効果を持たず、最終的には「政府によるAIの濫用を許さない」という政治的規範と法律の確立が自由社会を守る唯一の道である。