🔬 アカデミー賞、2つの小惑星、そしてあなたのsklearnの中のアルゴリズム：John Plattが語る科学のためのAI

Google Researchのフェロー兼アプライドサイエンス責任者であるJohn Platt（ジョン・プラット）を迎えた回である。Plattは14歳で大学に入学し、18歳でCaltech（カリフォルニア工科大学）の博士課程に進み、2024年にノーベル物理学賞を受賞したJohn Hopfield（ジョン・ホップフィールド）の指導を受けた人物だ。SVM（サポートベクターマシン）を訓練するための教科書的アルゴリズムであるSMO（Sequential Minimal Optimization）や Platt scaling を生み出し、今日でもscikit-learnを使えばそのコードが動いている。さらにアカデミー賞（技術部門、2006年）を持ち、2つの小惑星を発見・命名し、Erdős–Bacon numberが6という異色の経歴の持ち主である。Pixar作品の物理シミュレーションの系譜に連なる仕事をインターン時代に成し遂げたという話も飛び出す。

本編の中心は、GoogleのEmpirical Research Assistance（ERA）である。あらゆる科学問題を「scoreable task（スコア化可能なタスク）」に還元し、スコアを最大化するコードをAIに探索させるという発想で、Kaggleを自動で解く「auto-Kaggle」構想から始まった。Geminiが実験ノートブックの木構造を維持し、Monte Carlo Tree Searchの親戚にあたるUpper Confidence Bound（UCB）で有望な枝を選び、突然変異を提案する。Gemini 2.0では全く動かなかったものが2.5で劇的に機能するようになり、少なくとも10本の論文が生まれた。後半は気候変動（飛行機雲の抑制、CO2観測、FireSat）、核融合、量子コンピューティング、そして科学におけるAIの役割と人間の創造性・厳密性の話へと広がっていく。

0:00予測モデルと記述モデル——科学におけるAIの根本的な区別

Plattが繰り返し強調するのが「predictive model（予測モデル）」と「descriptive model（記述モデル）」の区別である。予測モデルとは、入力と出力があり、あるデータセット上での誤差率を最小化するコードのことだ。一方で科学が到達しようとするのは記述モデルであり、それは物理や現実の記述を内包しているがゆえに外挿（extrapolation）が可能でなければならない。ニュートンがリンゴから重力を考えたとき、重力はリンゴについてのものではなかった。もし17世紀の機械学習モデルが「リンゴは落ちる」と学習しただけなら、惑星についてはデータがないので何が起きるか分からない、という比喩でこの違いを説明する。

この区別は現代のLLM時代には曖昧になりがちだとPlattは指摘する。物理学者や科学者は直感、あるいはそれ以上の「世界についての確固たる事実の山」を持ち込み、構築するモデルが既知の事実と整合するかを確認する。ERAにおいては、これがLLMの直感として機能する。既存論文を指し示せば、Geminiはそれらの手法を驚くほど上手く適応させ、時には論文のコードをそのまま再現してしまうことさえあるという。

この区別は、ERAが「最適化の神」であるがゆえに生じる自己欺瞞の問題に直結する。ERAが提供するのはあくまで予測モデルであり、それが真に記述的であることを保証するのは科学者の仕事だ。Plattは「これはパワーツールだ。指を切り落とすこともある」と表現し、より厳密で慎重な検証が必要になると主張する。特に隠したホールドアウトセットを厳格に管理し、自分自身を欺かないための規律が、かつてなく重要になるという。

3:05ERAの仕組み——UCBによる木探索とGeminiの世界知識

ERAの入力は「マッピング」ではなく、まず科学者との対話から始まる。多くの場合、問題をスコア化可能なタスクに落とし込むこと自体が自明ではないため、Geminiが対話を通じてスコア関数の定義を手助けするエージェントとして機能する。最終的にPythonノートブックの形でスコアを生成する関数が作られ、そこからGeminiがそのノートブックを賢く突然変異させていく。Plattはこれを「現代の2026年の言葉で言えば専用のハーネス」と表現するが、実際の開発は2024年から2025年にかけて行われた。

アルゴリズムの核心は、数百から数千のノートブック候補を木構造で保持し、強化学習で標準的なUpper Confidence Bound（UCB）でどの候補を選ぶかを決める点にある。UCBは楽観的なアルゴリズムで、突然変異の結果の95パーセンタイルを推定し、最も高い楽観的限界を持つものを選ぶ。つまり常に最良のノートブックを選ぶのではなく、現在の性能に2シグマを加えた推定値で選ぶため、時には5番目に良い候補が選ばれることもある。これは高リコールの探索であり、最も効率的に進歩するための賭けだという。2つの候補からアイデアを取り出して組み合わせ、第3の候補を作ることもある。

初期候補プールの生成は、Geminiがコードを書くのが得意であることに依存する。問題のテキスト記述を与えるだけでなく、「この問題を解こうとした5本の論文はこちら」と示せば、Geminiは実際に論文を読み、最初のコードを書く。バグでマイナス無限大を返すこともあるが、そこから突然変異を繰り返して改善していく。並列度はデフォルトで10で、一度に10枚の葉を成長させる。多すぎる並列は相互学習を妨げるため、この数が適切なトレードオフだとPlattは説明する。履歴は共有コンテキストとして管理され、Geminiの長いコンテキスト能力を押し上げる形になっている。

Plattは、進化的コーディングが1970年代から存在しながら普及しなかった理由を明快に説明する。コード空間におけるランダムな突然変異はほぼ無価値であり、DNAと同様にほとんどの変異は有害だ。しかしERAでは、ループの内側がAIそのものであるため、興味深い勾配を知っている。これが機能する理由であり、同時に「サルパウの願い」のような危険も孕む。ただしGeminiは世界知識を持ち、既存論文を指し示せば常識的なモデルを構築しようとするため、ある程度の健全性も保たれる。

19:26Gemini 2.0から2.5への段階的変化と「ジャギーなフロンティア」

PlattはGeminiのバージョン間の進歩を「驚くべきもの」と評する。Gemini 2.0ではERAは機能しなかったが、2.5で動くようになり、その後は「ただ素晴らしい」状態になった。彼は科学者たちに「2.0を試して気に入らなかったと言う人がいるが、それは1年前の話で永遠の昔のことだ」と語りかける。ERAとAntigravity（大量の論文を取り込みコードを書くハーネス）を組み合わせたプレプリントも存在するが、ERA側はまだ公開されていないという。

Plattは「jagged frontier（ギザギザのフロンティア）」の強い信奉者である。コーディング能力や知識の収集・関連事項の発見においては大きなスパイクがあり、科学者にとって素晴らしい。しかし厳密性、哲学、創造性においては依然としてギザギザが残っている。数学オリンピック（International Math Olympiad）の話題にも触れつつ、彼は「人間はまだ必要だ」と繰り返す。ERAは強力な道具だが、完全に新しい物理や科学を発見するシステムにはなっていないという立場だ。

複数仮説検定（multiple hypothesis testing）の問題について、Plattは記述モデルと予測モデルの区別に立ち返る。10億本のダーツを投げるように、偽発見率（false discovery rate）を管理しなければならない。ERAが記述モデルを見つけているのか予測モデルを見つけているのかを見極めるのは科学者の役目であり、完全に新しい科学を発見するシステムはまだ作れていないと明言する。ただし「完全に新しい科学を発見するためのパワーツール」ではあるという。

過学習についてPlattは「非常に慎重でなければならない」と強調する。パワーツールは指を切り落とすことがあり、かつてなく厳密さが求められる。彼は「常にまず線形回帰を当てはめよ。ただやれ。ただやれ。ただやれ。あるいはSVMだ」と助言する。これは生物学の分野でも、単純なベースラインが非常にうまく機能する例が多いことと通じる。ARC InstituteのVirtual Cellチャレンジでも単純なベースラインが好成績を収めたという。データが豊富で閉じた問題（天気予報、タンパク質構造）では統計モデルで十分だが、気候のように非定常で開かれた問題ではプロセスモデルと厳密な検証が必要になる。

35:11KaggleとGoodhartの法則——報酬ハッキングとの戦い

ERAプロジェクトは「auto-Kaggle」構想から始まった。KaggleはGoogleの一部であり、データが容易に入手できるためだ。PlattはKaggleコンペティションの過学習が「蔓延している」と述べ、参加者がデータセットに過剰適合する様子を「印象的」と評する。彼自身もKaggleコンペティションを経験しており、その現象をよく理解している。

最も象徴的な逸話が飛行機雲（contrails）のKaggleコンペティションだ。Googleのチームは参加者に敗れたが、その理由はラベルに半ピクセルの誤差があったことだった。座標の原点がピクセルの左下にあるのか中心にあるのかという違いで、人工データを回転させるときにこの半ピクセルのオフセットを考慮する必要がある。参加者はこれを見つけて活用し、1万5,000ドルの賞金を獲得した。しかしPlattは「飛行機雲を実際に解決したいなら、これはあまり役に立たない」と指摘する。人間自身がLLMのように振る舞い、報酬ハッキングを行うのだ。

これはGoodhartの法則に直結する。「指標が目標になった瞬間、それはもはや良い指標ではなくなる」。PlattはAI分野が絶えずリーダーボードを消耗している理由として、Goodhartの法則がすべてのリーダーボードに個別に適用されることを挙げる。ERAはplaygroundコンペティションで非常に良い成績を収め、CDCが主催したCOVID・インフルエンザの週次症例予測コンペティションでも好成績を収めた。Google Fluの概念を20年後に一周して回帰した形だ。しかし一部のコンペティションでは、参加者が最後の0.001を絞り出す努力（TLC）を惜しまないため、ERAは上位30位以内に入れなかったという。

ERAは人間がループに入る設計になっている。数時間実行して結果を返し、人間が「この論文を見てみろ」「これは間違っている」と指示を与える。Plattはこれを「眠らない、熱心すぎる大学院生のようなもの」と表現する。外側のループこそが創造的な部分であり、人間の創造性が発揮される場だという。計算コストについては、スコア関数自体がモンテカルロ推定やシミュレーションを含む場合、CPUやGPUを大量に消費する。固定予算の下でどのソリューションに投資するかという問題は、大規模ニューラルネットワークを訓練する大学院生が直面する問題と同じだが、ERAは執拗なのでより早くその問題に突き当たる。

42:43飛行機雲の抑制——1%の温暖化を食い止めるカウンターファクチュアル問題

飛行機雲（contrails）は、人為的温暖化の約1%を引き起こしていると推定されている。Plattはその物理を丁寧に説明する。飛行機雲には相反する2つの効果がある。薄い白い雲は日光を反射するが、これは日中のみだ。一方、すべての物体は黒体放射を放出し、地球は約300ケルビンで10ミクロン付近の遠赤外線を放つ。この波長では飛行機雲はほぼ黒に近く、外向きの赤外線を吸収して両方向に再放出する。つまり熱を毛布のように閉じ込める。これが24時間続くため、正味では温暖化効果を持つ。ヨーロッパのような航空交通の多い地域では、空の数パーセントが飛行機雲で覆われ、局所的に1平方メートルあたり約1ワットの放射強制力をもたらす。全地球の平均人為的温暖化が約3ワット毎平方メートルであることを考えると、これは大きい。

飛行機雲は大気中の「氷過飽和」領域で発生する。これはロックキャンディに似ており、過剰な糖を含む水溶液に少しの糖を加えるとすべてが結晶化する。これらの領域は厚さ数百メートルのパンケーキ状で、飛行機が通過すると排気中の水分が液滴となり凍結する。この悪い領域では、1グラムの水・氷・煤に対して約10キログラムの水が吸い上げられる。1万対1という驚異的な比率だ。解決策は原理的には単純で、氷過飽和領域の場所を特定し、飛行機を2フライトレベル下げるだけだ。燃料コストはわずかで済む。

しかし難しいのは「どれだけの温暖化を防いだか」を評価することだ。これはカウンターファクチュアル（反事実的）問題であり、飛行機雲がなかった宇宙にアクセスできないため、推定が極めて困難である。Plattのチームは外向き長波放射（outgoing longwave radiation）のカウンターファクチュアルモデルは機能していたが、反射日光の効果の測定で2年以上行き詰まっていた。ERAが交絡因子を探索し、彼らが試していなかった組み合わせの単純なモデルを見つけ出して問題を解決した。人工データに飛行機雲を注入して既知の効果を検証するテストで、チーム自身の試みは自らのテストに合格しなかったが、ERAのモデルは合格した。この成果はEGUで発表され、論文は執筆中だという。

Plattは気候モデリング全般の難しさも説明する。天気は「アトラクタ上のどこにいるか」であり、気候は「アトラクタの統計」である。問題は人間がアトラクタ自体を変化させていることで、アトラクタが動いている。ティッピングポイントとはアトラクタが突然変化することであり、予測が極めて困難だ。シミュレータの中でモデルが不安定になったのか、実際の物理的不安定性なのかを区別するのは非常に難しい。気候はデータが少なく（1地点で年次データでも50点程度）、非定常であり、AIによる革命がまだ起きていない領域だという。

1:09:15介入とレジリエンス——FireSat、CO2観測、核融合

Plattとチームは気候変動の「症状」と「病気」の両方に取り組んでいる。介入策として最も興味深いのは飛行機雲の抑制で、これは局所的であり、ある国が自国上空で修正すれば主に自国の気候を改善するため、政治的にも受け入れられやすい。ただし極域の夏など、飛行機雲が冷却効果を持つ稀なケースもあり、そこでは除去すると温暖化する。しかし南極上空にはほぼ飛行機が飛んでおらず、極域の夏の便も少ないため、悪用の懸念は小さい。

CO2観測のプロジェクトでは、OCO-2やOCO-3（国際宇宙ステーションに搭載）のような高精度・高解像度だが狭い帯しか測れない衛星と、GOESのような5分ごとに撮影するが画素が大きくCO2用に設計されていない気象衛星を組み合わせる。ERAは一方から他方を推定する「情報に基づく超解像」のようなモデルを生み出した。これは生物圏の炭素フラックスの不確実性を減らす一歩となる。2100年時点でのCO2濃度の誤差は300ppmに達する可能性があり、現在の濃度が約440〜450ppmであることを考えると、この不確実性は極めて大きい。

FireSatは、低軌道衛星コンステレーションで山火事を早期に検出する取り組みだ。山火事は初期段階（部屋ほどの大きさ）なら消し止めやすいが、1エーカーになると格段に難しくなる。中波赤外線（midwave IR）は火災の温度に相当し、火災が際立つ。約50〜80基の衛星で、地球上のどこでも5メートル四方の火災を検出でき、80基あれば15分以内に検出できる。冷却が必要なため専用衛星となるが、解像度は約50×50メートルで、マルチスペクトルと超解像技術により5×5メートルに到達する。Earth Fire Allianceと協力し、Muonspaceと共に試作衛星を1基打ち上げた。WHOは山火事の煙による超過死亡を年間30万人と推定しており、Plattは気候変動を「深刻な病気」に例え、症状（適応）と根本原因（緩和）の両方に取り組むべきだと主張する。

核融合については、Plattは「30年先」という通説に異を唱え、今世紀末までに商業的に意味のある核融合が実現する確かな確率があると述べ、3年先の可能性にも言及する。Lawson criteria（密度・温度・閉じ込め時間の積）が融合の難しさを説明し、各アプローチにはアキレス腱がある。Google DeepMindはトカマクの制御システムに取り組んでおり、プラズマの不安定性によるディスラプションを防ぐ。PlattはTAE（Field Reversed Configuration、FRCを採用）の制御室にいた経験を語り、実験中の大きな音と2週間の装置停止について言及する。FRCはMHDコードでは不安定とされるが実際には安定で、Z不安定性をPIDコントローラで抑え込めるという。彼は「息を切らしたニュース記事」が3つの数のうち1つだけを語ることへの警戒を促す。

1:29:49科学におけるAIの位相変化と人間の役割

Plattは過去12〜18ヶ月で「位相変化（phase change）」が起きたと述べる。かつては個別の問題を解く専用モデルを構築するのが仕事だったが、今ははるかに汎用的なAIが登場し、AI for scienceコミュニティはまだ手探りの状態にある。若い科学者への助言として、彼は21歳の息子の例を挙げる。息子はAIコーディングと化学の両方に熱心で、RNAのドメイン専門家になろうとしながらvibe codingや各種ツールを使っている。Plattはこれが正しい答えだという。ドメイン専門知識は失われず、むしろ「taste（センス）」の問題に帰着する。ただし、すべての下働きをせずにどうやってtasteを獲得するかは未解決の問いだ。

Plattは「20% time」の概念を自身のグループで強く守っていると語る。何を学んでも、何を試してもよく、報告すら不要だという。世界はすべてを最適化し絞り出そうとする強い衝動があるが、「ハイパー最適化すると何かを失う。過学習するのだ」と警告する。これは文化規範に逆らう助言かもしれないと認めつつも、創造性の源を守ることの重要性を強調する。

実験室作業はボトルネックであり続ける。実験はground truthであり、「lab in the loop」は語られているが、あらゆる実験を行う汎用ラボは存在しない。Plattの「魔法の願い」は「JSONブロブを送ればどんな実験でもやってくれるeverything lab」だ。これはAI完全なロボティクス問題を解くことを意味するが、実現すればERAのような計算ツールがデータ収集を待たずに済むようになる。彼は「それは本当に素晴らしいだろう」と繰り返す。

PlattはFeynmanの「自分自身を欺くことはできない。自分が最も欺きやすい相手だ」という言葉を引用し、LLMは人間とは異なる種類の間違いをするため、厳密に検証する必要があると述べる。しかし自分が書いたソフトウェアも信頼すべきではないという。彼は「根本性（fundamentalness）」、つまり世界についてのドメインを本当に学ぶことが永続的だと考える。生物学や物理科学、数学は永続的であり、厳密性、検証、創造性、枠にとらわれない思考も永続的だという。

1:38:23Feynmanの授業、量子コンピューティング、そしてキャリアの軌跡

Plattは1982年にFeynmanの「Physics of Computation」の授業を受講した。HopfieldとCarver Meadと共同で行われた授業で、火曜日にゲスト講義、木曜日にFeynmanが「なぜそれが間違っているか」を説明する構成だった。Plattは「Feynman効果」と呼ぶ現象に遭遇した。Feynmanが説明すると「はい、分かりました」と思うが、外に出ると「いや、何も分かっていなかった」となるのだ。Danny Hillisなど興味深いゲストが来て、計算の可逆性や熱力学的限界について議論した。当時はゲートモデルはなく、量子複雑性クラスもまだ発展していなかった。

Plattは当時の計算環境を振り返る。Carver Meadのシステム管理者として、1MIP程度のVAX11750と、食洗機ほどの大きさの80メガバイトディスクを研究グループ全体で共有していた。1980年代にはニューラルネットワークへの大きな興奮があり、Hopfieldネットワークが注目を集めた。NeuripsはSnowbirdでのワークショップから生まれ、Plattはスキーを覚えたという。彼は「Hopfield networks are all you need」という論文タイトルに触れ、Transformerが連想記憶であることを指摘し、話が一周したと述べる。

PlattはNvidiaの話も語る。大学院時代の友人Brian KatanzaroがNvidiaでJensen Huangと15分の会話をし、会社をディープラーニングにピボットさせたという。GPUがCPUを性能で追い越した時期と、ImageNetや音声認識の復活が一致することは偶然ではないと指摘する。彼は「脳は行列積で動いていないと確信しているが、アルゴリズムがハードウェアと共進化したから今がある」と述べる。

小惑星の発見について、PlattはCaltechでGeneとCarolyn Shoemakerの惑星科学の授業の一環として行ったと説明する。Palomarで望遠鏡にフィルムを入れ、同じ空域を数分後に再撮影し、ステレオスコープで「浮き出る」ものを探す。測定顕微鏡で恒星参照点と対象の位置を測り、Minor Planet CenterのBrian Marsdenに送る。最後の観測を提供して軌道が繋がれば命名権を得る。現在はVera Rubin天文台のSimone Survey Telescopeが6週間で1万1,000個の小惑星を発見するという。Plattの小惑星の1つにはアマチュアが衛星（月）を発見し、本体約4km、月約1kmのバイナリだという。

アカデミー賞については、1986年にSchlumbergerのAIラボでインターンとして弾性理論に基づくシミュレータを書き、布や伸縮するものを表現した。その子孫がPixarの物理シミュレータになった。受賞は20年後で、これは典型的なタイムラグだという。Plattはインターンに「良い仕事をすればアカデミー賞がもらえる」と半分冗談で言うという。

量子コンピューティングについて、Plattは「NISQ時代」にあり、Google QuantumチームはHartmut Nevinのロードマップに沿って驚くほど順調に実行していると述べる。Quantum Echoes AlgorithmはNMRデータにハミルトニアンをフィットさせる実用的な応用で、現在適用可能だ。超伝導量子ビットはスケーラブルで有望だが、物理量子ビットと論理量子ビットの比率がまだ大きく、中性原子は理論的には任意結合が可能だが実際の限界は不明だ。彼は「30年先でも明日でもない。数年到数年先」と見積もる。量子コンピュータは本質的にアナログコンピュータで非常に気まぐれなため、突然の位相変化は期待できないという。Dave Baconが「Johnはいつも20年早い」とからかうという話で締めくくられる。Plattは1990年代初頭に畳み込みネットワークを愛し、Yann LeCunが「convolutional net」という用語をPlattが作ったと主張していることにも触れる。

結びに

この回が特別なのは、AI for scienceの最前線にいる人物が、単なる楽観論ではなく「パワーツールは指を切り落とす」という厳密さの哲学を同時に語っている点である。ERAはGemini 2.0では動かず2.5で動くようになったという具体的な段階的変化を示し、Monte Carlo Tree SearchとUCBという古典的アルゴリズムがLLMの世界知識と組み合わさることで機能する仕組みを明快に説明する。同時に、Kaggleの半ピクセル誤差やGoodhartの法則といった報酬ハッキングの実例を通じて、最適化の神を手にしたときに科学者がいかに自分を欺かないかという問いを突きつける。

飛行機雲の抑制は、1%の温暖化をわずかな燃料コストで削減できる可能性を示す具体的な成功例であり、2年間行き詰まったカウンターファクチュアル問題をERAが解決したという物語は、AIが科学の実際のボトルネックを突破する瞬間を描いている。気候が非定常でデータが少ない「最も極端な」問題であること、実験室作業が依然としてボトルネックであること、そして人間の創造性と厳密性が永続的に必要だというPlattの立場は、AI万能論への健全な対抗軸となる。Feynmanの授業、小惑星の発見、アカデミー賞、量子コンピューティングと核融合への関与——「常に20年早い」とからかわれるキャリアの軌跡が、科学とAIの共進化そのものを体現している。