🔬「言語のための基盤モデルはあるが、物理学のためのものはない」— アニマ・アナンドクマー、ブレン記念計算科学教授

Anima Anandkumar（アニマ・アナンドクマー）氏は、カリフォルニア工科大学（Caltech）のブレン記念教授であり、AI研究の最前線で理論と実践を往復してきた人物である。彼女はNvidiaでAIリサーチを率い、それ以前にはAmazon Web Services（AWS）でクラウドAIチームを立ち上げ、初のクラウドAI製品を構築した経歴を持つ。このエピソードでは、ホストのBrandonとRJが、彼女の提唱する「ニューラルオペレーター（Neural Operators）」という概念を軸に、天気予報、核融合、気候モデリングといった大規模物理システムへのAI適用について深く掘り下げた。彼女の主張は明確である。言語や画像と異なり、物理世界のデータは乏しく、解像度の要求は天文学的であり、単純にトークンを増やすスケーリング則は通用しない。だからこそ、物理的構造や帰納的バイアスをモデルに組み込む「原理に基づく深層学習」が必要なのである。

冒頭で彼女は、2021年に天気予報へのAI適用を試みた際のエピソードを語った。当時、気象科学者たちは「数十年にわたる物理学ベースの伝統的モデルをAIが超えることはない」と警告したという。しかし、彼女のチームはオープンソースの気象データ「ERA5」を用いてニューラルオペレーターを訓練し、驚くべき結果を得た。精度は伝統的なスーパーコンピュータによるシミュレーションに匹敵し、速度は数万倍も速く、コンシューマー向けGPUで動作したのである。この成功は、その後のDeepMindやHuaweiなどの追随を促し、AI天気予報という分野そのものを切り開いた。本稿では、この画期的な成果の背後にある数学的基盤、物理的構造の重要性、そして彼女の壮大なビジョンについて、エピソードの詳細を辿りながら解説する。

3:48TorchLeanとニューラルネットワークの形式的検証

Anima氏の研究の根底には、「AIと科学の融合」という大きなテーゼがある。彼女は、言語モデルが仮説生成には有効でも、実際にそれが物理世界で機能することを保証する「検証」の段階がボトルネックだと指摘する。この問題意識から生まれたのが「TorchLean」である。これは、PyTorch風の抽象化を用いてニューラルネットワークをLean（リーン）という証明支援系の中に直接記述し、完全に形式化することを可能にするフレームワークだ。これにより、ニューラルネットワーク自体の特性を数学的に証明することができる。

具体的には、入力が摂動された際に出力がどれだけ変化するかという「感度分析」や「認定ロバスト性（certified robustness）」の境界を計算できる。これは、ドローンや原子炉などの制御ループにニューラルネットワークを組み込む際に極めて重要である。安全性や安定性を保証するためには、ネットワークがどのような入力に対しても、出力が一定の範囲内に収まるという証明が必要になるからだ。さらに、有限精度（FP16など）で訓練された際の数値誤差の影響を定量化することも、TorchLeanの射程内である。

ホストのBrandonが「核融合炉を溶融させないための保証とは具体的に何か」と質問したのに対し、Anima氏は「入力の摂動に対する出力の変動幅の境界」がその一例だと答えた。しかし、彼女はまた、Lean自体がまだCPUベースであり、GPUへの対応や大規模ネットワークへのスケーリングには課題が残ると認めた。それでも、この取り組みは、物理法則を満たすことを「期待」するだけでなく、「証明」する方向への重要な一歩である。ピン（PINNs、物理情報ニューラルネットワーク）が最適化の失敗により解けない問題がある一方で、TorchLeanはそのような不確実性を排除するための基盤となる。

13:39ニューラルオペレーターの本質とPINNsの限界

物理情報ニューラルネットワーク（PINNs）は、偏微分方程式（PDE）の解をニューラルネットワークで近似する手法であり、物理法則を損失関数に組み込む。しかしAnima氏は、このアプローチには根本的な限界があると指摘する。特に時間依存の問題、例えば乱流を伴う流体力学では、長時間のシミュレーションはカオス的になり、最適化のランドスケープが非常に複雑になるため、ゼロから方程式を解くことは「絶望的」であるという。PINNsは、方程式のインスタンスごとにゼロから解くため、最適化が失敗するケースが多いのだ。

これに対し、ニューラルオペレーターは、異なる方程式のインスタンスに対する解の写像をデータから学習する。これは、従来の教師あり学習のように、訓練フェーズで多くの解の例を見ることで、テスト時に新しい入力に対して迅速に解を出力できるという利点がある。データ駆動のアプローチであるため、最適化の失敗に悩まされることがなく、さらに物理的制約を損失関数として追加することで、データだけでは捉えきれない高解像度の現象もモデル化できる。Anima氏はこれを「データ駆動と物理情報の融合」と表現した。

ニューラルオペレーターの核心は、入力と出力を固定サイズのベクトルではなく「連続関数」として扱う点にある。標準的なニューラルネットワークは、画像なら固定解像度、言語なら固定語彙という制約があるが、物理世界は本質的にマルチスケールである。気象データが粗い解像度でしか得られなくても、実際の現象はより細かいスケールで起きている。ニューラルオペレーターは、このような関数空間上の写像を学習するため、訓練時とは異なる解像度での予測（ゼロショット超解像）が可能になる。これは、物理的制約を高解像度で追加することで、さらに精度を高めることができる。

19:12フーリエニューラルオペレーターと球面調和関数の力

ニューラルオペレーターの中でも、特に成功したアーキテクチャが「フーリエニューラルオペレーター（FNO）」である。Anima氏は、その利点を「効率性と表現力のトレードオフ」にあると説明する。フーリエ空間は、非局所的な現象を効率的に捉えることができる。流体力学や材料変形、量子化学など、自然界の多くの現象は非局所的であり、微分方程式の解は本質的に積分を伴うため、その影響は遠方にまで及ぶ。フーリエ変換はこのような大域的な依存関係を、準線形の計算複雑性で捉えることができる。

一方で、FNOは単にフーリエ空間で線形変換を行う古典的な数値手法とは異なる。Anima氏は、トランスフォーマーのアテンション機構の代わりにフーリエ層を用いるが、その間に非線形変換や残差接続を挿入する点を強調した。これにより、モデルはデータに適した最適な基底を学習することができる。つまり、単純なフーリエ基底ではなく、潜在空間で非線形に変換された後のフーリエ表現を用いることで、より少ない周波数モードで複雑な信号を表現できるのである。これは、古典的な数値解析が「正しさ」に固執するのに対し、深層学習が「特徴学習」によって本質的な構造を抽出するのと似ている。

このアプローチの真価は、天気予報の長期安定性に現れる。地球は球体であるにもかかわらず、多くの気象モデルは平面のメルカトル図法を用いるため、長期的なロールアウトで不安定になり、すぐに破綻してしまう。Anima氏のチームは、FNOを球面調和関数（Spherical Harmonics）に基づく球面バージョンに拡張した。これにより、モデルは地球の幾何学的構造を暗黙的に理解し、数ヶ月から数年にわたる長期予測でも安定性を維持できる。この「ForecastNet 3」は、短期の天気予報と長期の気候予測を単一のモデルで行うことを可能にした画期的な成果である。

32:28天気予報から気候モデルへ、そして核融合への応用

ForecastNetの進化は、単なる精度向上の物語ではない。初版はフーリエニューラルオペレーターを用いたが、球面幾何学を考慮していなかった。第2版では球面調和関数を導入し、長期ロールアウトの安定性を獲得した。そして第3版では、決定論的な予測だけでなく、確率的なアンサンブル予測の精度を高めるための訓練が行われた。これは、極端な気象現象のリスク評価には、単一の予測ではなく、初期条件にノイズを加えた複数のシミュレーション（アンサンブル）による確率分布が必要だからである。

このアンサンブル予測の重要性は、ハリケーン・リーの事例で示された。ForecastNetは、伝統的な気象モデルよりも数日早く上陸地点を正確に予測したという。AIモデルは計算が数万倍速いため、従来は計算コストが高すぎて実行できなかった大規模なアンサンブルを実行できる。これにより、リスク評価の質が飛躍的に向上する。さらに、Anima氏は、AIが極端なイベントを予測できるのは「物理世界が寛容だから」だと述べる。ハリケーンなどの極端現象は、特有の物理的シグネチャーを持つため、典型的なイベントよりも少ないサンプルで学習できるというのだ。

この「物理世界の寛容さ」は、核融合研究でも確認されている。トカマク型核融合炉では、プラズマの「ディスラプション（崩壊）」が大きな障害となる。プラズマが突然不安定になり、炉壁に損傷を与える現象だ。Anima氏のチームは、UK Atomic Energy Agencyと協力し、わずか数千サンプルのデータで、このディスラプションを予測するモデルを構築した。その速度は従来のシミュレーションの100万倍に達する。現在は、このデジタルツインを用いて、ディスラプションを防ぐための磁場制御の設計にも取り組んでいる。彼女は、トカマクだけでなくステラレーターなど異なる方式にもAIを適用し、特定の技術に先入観を持たずに探求する姿勢を示した。

1:10:28物理のための基盤モデルと逆設計の可能性

Anima氏の最終的なビジョンは、「物理のための基盤モデル（Foundation Model for Physics）」を構築することである。現在のAIモデルは、言語や画像のための基盤モデルは存在するが、物理現象をシミュレーションできる基盤モデルは存在しない。彼女は、単一の物理現象を対象とした「狭いサロゲートモデル」ではなく、複数の物理現象を同時に扱える「マルチフィジックス」モデルの構築を目指している。現実世界では、熱の伝播と材料の変形が同時に起こるように、物理法則は互いに結合しているからだ。

この基盤モデルを実現する鍵は、カリキュラム学習にある。個々の物理現象（熱伝導、材料の伸縮など）を別々に学習させた後、それらを結合した複合現象を学習させることで、ゼロから学習するよりも少ないサンプルで高い精度を達成できる。Anima氏は、このアプローチが多くの論文で有効であることを確認していると述べた。さらに、シミュレーションだけでなく「逆設計」も視野に入れている。これは、所望の物理的特性を実現するための最適な設計をAIが生成するというものだ。

具体例として、彼女は「インバースリソグラフィ」のためのマスク設計や、量子ドットのゲート設計を挙げた。これらの設計は、人間の直感では到達できない非線形な組み合わせを必要とするため、従来は専門家が試行錯誤で行っていた。AIは、物理シミュレーションをループに組み込むことで、設計が実際に機能することを保証しながら、革新的な解を提案できる。彼女は、これを「イノベーションの針を進める」と表現し、単なる予測を超えたAIの可能性を示した。また、車や飛行機の空力設計では、複雑な形状をドーナツ型の潜在空間に変換してから物理をモデル化するという、彼女の「潜在空間」という言葉に込めた遊び心あふれる手法も紹介された。

1:18:12国連科学諮問委員会とAIの民主化

エピソードの後半では、Anima氏が最近任命された国連科学諮問委員会（UN Scientific Advisory Board）での活動について語られた。彼女は、地政学的に複雑な時代において、科学者が政策決定の場にいることの重要性を強調した。彼女の目標は、AIの世界的な影響について、偏りのない科学的根拠を提供することである。具体的には、AIの利益をすべての人に届ける方法、AIへのアクセスを民主化する方法、そして意図しない悪影響を制御する方法について助言することを挙げた。

特に彼女が懸念するのは、規制の枠組みが「AI＝言語モデル」と同一視されていることだ。言語モデルは誤情報の拡散や操作に悪用される可能性があるため、規制が必要である。しかし、AI for Scienceは本質的に異なる。新しい発見をもたらし、人々の生活を向上させる可能性を秘めている。彼女は「one size fits all（画一的な規制）」の問題を指摘し、科学のためのAIが過度に制限されることのないよう警鐘を鳴らした。また、気象モデルの改善が農業や食料安全保障に貢献するなど、国連の各機関が持つ現場の知見とAIを結びつけることへの期待も語った。

ホストから「魔法のように取り除けるボトルネックは何か」と質問されたAnima氏は、迷わず「より多くの計算資源（compute）」と答えた。これは「簡単すぎる答え」と自嘲しつつも、研究における実験とイノベーションには計算資源が不可欠だと強調した。彼女は、国立研究所がスーパーコンピュータを構築していることに言及し、研究目的の計算資源へのアクセス拡大が、物理世界の理解を深めるための前提条件であると述べた。最後に、視聴者への呼びかけとして、オープンソースのニューラルオペレーターライブラリを実際に触ってみること、そしてAI for Scienceを単なる言語モデルやエージェントの延長線上ではなく、物理世界を理解し、シミュレートし、設計するための本質的なツールとして捉え直すことを促した。

結びに

このエピソードが示したのは、AIのスケーリング則が万能ではないという、ある種のアンチテーゼである。言語モデルがトークンを増やせば増やすほど賢くなるのに対し、物理世界のシミュレーションは、データの不足と解像度の壁という根本的な制約に直面する。しかし、Anima Anandkumar氏は、この制約を「遅い道」と表現し、決して「天井」ではないと断言する。彼女のニューラルオペレーターは、物理的構造をモデルに組み込むことで、少ないデータと限られた計算資源でも、従来のスーパーコンピュータを凌駕する性能を発揮できることを実証した。

このエピソードが重要なのは、単に最先端の技術を紹介したからではない。彼女のキャリアを通じて、「理論は制約ではなく、実践を可能にするものだ」という哲学が一貫して示されたからである。深層学習が隆盛する前の理論的基礎の構築から、AWSやNvidiaでの大規模実装、そして現在の物理世界への応用に至るまで、彼女は常に「原理に基づく」アプローチを追求してきた。気象予測の民主化、核融合の実現可能性、そして国連での政策提言。彼女の仕事は、AIが単なる記号操作のツールではなく、我々の物理世界を理解し、より良い未来を設計するための強力な手段であることを示している。物理世界のための基盤モデルという彼女のビジョンは、まだ始まったばかりだが、その第一歩は確実に、AIエンジニアリングの新たなフロンティアを切り開いている。