アウトプット最大化の教授 — Anjney Midha、AMP

AIインフラの最前線で起きている「計算資源の膨大な無駄」——この問題に真正面から取り組むのが、AMPのCEOであるAnjney Midha（アンジニー・ミダ）だ。本エピソードでは、ホストのswyx（Shawn Wang）がPeriodic LabsのオフィスにMidhaを迎え、GPUの稼働率、データセンターのコミュニティ受容性、そして「出力最大化（Outputmaxxing）」という新たなエンジニアリング規律について深く掘り下げた。Midhaは、Googleの元インフラエンジニアである共同創業者Sebが構築したBorg/GQMスケジューラの知見を基に、業界全体が「ノード利用率95%未満はアウテージ」というGoogle基準から大きく乖離している現状を指摘する。xAIのようなフロンティアラボでさえ、Model FLOPs Utilization（MFU）が10%未満で稼働している事例があるという衝撃的な事実を皮切りに、GPUの調達競争に狂奔する前に、既存の計算資源をいかに効率的に活用するかという本質的な問いを投げかける。

Midhaのビジョンは、AMP Gridを通じて「FLOPsをメガワットのように流動的にする」ことにある。これは、電力網における独立系統運用者（ISO）の概念を計算資源に適用したもので、複数のクラウドやシリコンアーキテクチャにまたがる水平統合型のプーリングレイヤーを構築するものだ。彼は、Google内部で実践されていた「割り込み可能な需要（interruptible demand）」や動的優先順位付けの仕組みを紹介しつつ、同時にその限界——中央集権的な指揮が時に必要であり、社内クレジット市場だけではGPTのようなブレークスルーを逃す可能性がある——も正直に認める。さらに、DeepMindでの未公開研究の「囲い込み」が市場の失敗を生んでいるという鋭い批判や、終末期予測（end-of-life prediction）という14年来のライフワークへの情熱、そしてAnthropicがどのようにしてコーディング分野でブレークスラルーを達成したかという内部事情まで、多岐にわたる話題が展開される。本稿では、この密度の高い対話を、AIエンジニアが現場で直面する課題と戦略的示唆に焦点を当てて再構成する。

00:00:09計算資源の無駄とインフラの常識

Googleのインフラチーム出身のSebが構築したBorg/GQMスケジューラの世界では、ノード利用率95%は「アウテージ」と見なされていた。つまり、96%以上が標準であり、それを下回ることは運用上の問題として扱われた。しかし、現在の多くのフロンティアラボやシングルテナントクラスターでは、この水準にはほど遠い。Midhaは、この問題の本質は「リーダーシップの問題」であり、さらに突き詰めれば「アライメントの問題」だと指摘する。資金調達からクラスターの運用、そして出力の測定に至るまでのサプライチェーンにおいて、関係者間の利害や認識が数度ずれていると、スケールが大きくなるにつれてその乖離が指数関数的に拡大するという「放射状のメタファー」を用いて説明する。

この無駄を防ぐための処方箋は、決して新しいものではない。半導体やデータセンター業界で長年働いてきた人々にとっては常識であり、「反復的な立ち上げ（iterative bring-up）」を徹底することだ。AIという新しい能力に浮かれて「今回は違う」という言い訳をするべきではないとMidhaは断言する。むしろ、AIスケーリングはインフラにおける常識の価値を一層高めるものであり、誤差の許容範囲が狭まり、無駄のコストが莫大になっているからこそ、基本に忠実であるべきだ。彼は、Facebookが「Move fast and break things」から「Move fast with stable infrastructure」へと方針転換した歴史を引き合いに出し、今必要なのは「責任あるインフラ（responsible infrastructure）」の精神であると訴える。

データセンターの建設におけるコミュニティの反発も、無視できないリスク要因だ。Midhaによれば、2024年に米国で計画されているデータセンターの最大20%が、コミュニティの反対に直面する可能性があるという。雇用創出だけではもはや説得材料にならず、電力網への負荷や環境への影響が深刻な懸念事項となっている。彼は、Scott Nolan（General Matter創業者）の提案を紹介する。それは、新しいデータセンターをコミュニティに受け入れてもらうために、1時間あたりの計算コストに50セントの追加料金を課し、その全額を地域社会に還元するというアイデアだ。顧客としても、その追加料金が計算資源の信頼性向上につながるのであれば喜んで支払うとMidhaは語る。このような「ネットポジティブなデータセンター」の実現こそが、AIスケーリングの持続可能性にとって不可欠な要素である。

00:06:07AMP Grid：FLOPsをメガワットのように流動的にする独立系統運用者

AMP Gridの核心は、電力網の歴史から学んだ「独立系統運用者（ISO）」という概念を計算資源に適用することにある。かつて工場がそれぞれ自家発電機を保有していた時代から、発電所と送電線を共有するプーリングモデルへと移行したように、計算資源もまた、複数のクラウドやシリコンアーキテクチャにまたがる水平統合型のプーリングレイヤーによって効率化できるというのがMidhaのビジョンだ。AMPは自らは資産を所有せず、供給者（Neo Cloudなど）と需要者（研究ラボや企業）を結びつける中立な調整メカニズムとして機能する。

このモデルの技術的基盤は、Googleで実績のあるスケジューリング技術にある。AMPのエンジニアリングチームは、SebとMihalyがGoogleで構築したBorg/GQMスケジューラの知見を活かし、まずはスケジューリングレイヤーから実装を始めた。ここでの重要な革新は「割り込み可能な需要（interruptible demand）」の概念だ。各チームはベースロードとして一定の計算容量を保証される一方、研究などのスパイク需要に対しては、クレジットや入札メカニズムを用いた動的優先順位付けが行われる。これにより、全体の稼働率を最大化しながら、重要なジョブに優先的に資源を割り当てることが可能になる。

AMP Gridは現在、4年間で約1.3ギガワットのベースロード容量と、6ギガワットのスパイク容量を目標としている。これは約400億ドルのクラウド支出に相当する規模だ。Midhaは、このグリッドに参加するパートナーとして、SF Computeのような計算資源の先物取引所とも連携する可能性を示唆する。SF Computeが余剰容量をグリッドに接続すれば、AMPの需要で即座に満たされる。逆に、SF Computeに需要が集中した場合には、AMPの容量を利用できる。この双方向のプロトコルをオープンな標準として確立することが、AMPの長期的な目標である。

00:14:42研究の囲い込みと市場の失敗：DeepMindの事例

Midhaは、DeepMindのようなフロンティアラボにおける研究の「囲い込み」が、業界全体にとって深刻な負の外部性を生み出していると批判する。DeepMind内部では、論文発表に6ヶ月の保留期間（embargo）が設けられており、その間にビジネスチームが「これは面白いかもしれない」と判断した研究は、永久に公開されない可能性がある。結果として、公開される論文は「十分に優れていないもの」に限定されるという逆選択の問題が発生している。これは、NeurIPSのような学会で「DeepMindの論文はゴミだ」という評判が立つ原因の一端でもある。

このような研究の囲い込みは、単に知識の流通を妨げるだけでなく、市場の失敗を引き起こしているとMidhaは主張する。GoogleやDeepMindが自社のビジネス戦略に基づいて研究を優先順位付けするのは理解できるが、その結果、人類全体にとって価値のある進歩が遅れている。彼は、DeepMindの研究者が社内で素晴らしい成果を上げながらも、Alphabetの「独裁体制」とミスアライメントを起こし、プロジェクトが中止されるケースを目の当たりにしてきた。AMPの役割の一つは、こうした「解放された」研究者やプロジェクトに計算資源と資本を提供し、彼らが研究を生産化できるようにすることだ。

この問題意識は、AMPの資本事業であるFoundryの設立にもつながっている。Foundryは、フロンティアAIラボをインキュベートし、ベンチャーキャピタルとして投資を行う。Midhaは、Anthropicに数億ドルを投資した実績を挙げ、Periodic Labsのような企業と深く関わっている。彼の戦略は、単に資金を提供するだけでなく、計算資源（AMP Grid）と資本（Foundry）を組み合わせることで、研究の囲い込みによって生じた非効率を是正し、独立したエコシステムの成長を加速させることにある。

00:24:08出力最大化（Outputmaxxing）とフルスタックアライメント

Midhaが提唱する「出力最大化（Outputmaxxing）」とは、限られた資源から最大のアウトプットを引き出すためのエンジニアリング規律である。これは単にGPUの無駄を減らすだけでなく、医療における終末期予測のような、人間の生命と福祉に関わる領域にも適用される。彼は、この概念を「フロンティアシステム（Frontier Systems）」という授業で教えており、その本質は「アライメント」の問題に帰着すると語る。組織やシステムにおいて、資本提供者（LP）、価値創造者（創業者）、そして最終的な受益者（一般市民）の間で完全なアライメントを達成することは極めて困難だが、それを実現できた組織は持続的な競争優位を獲得する。

アライメントの喪失は、スケーリングの過程で不可避的に発生する。組織が大きくなり分業が進むにつれて、各層に抽象化（abstraction）が導入され、APIインターフェースを介したコミュニケーションには常に「損失」が伴う。この問題に対する二つの解決策が提示される。一つは、標準化（standards）によって損失のない通信プロトコルを確立すること。もう一つは、室温超伝導体のような「まったく新しい能力」を獲得し、既存の制約を根本から解消することだ。Periodic Labsが超伝導体の研究に取り組むのは、まさにこの後者のアプローチであり、エネルギー伝送における損失をゼロにすることで、計算資源の制約そのものを変革しようとしている。

Midhaは、Anthropicの成功を「出力最大化」の好例として挙げる。彼らはトランスフォーマーアーキテクチャに集中し、シンプルさを追求することでスケーリングを加速させた。一方で、初期の投資が分散しすぎていた他のアーキテクチャは、その恩恵を受けることができなかった。この教訓は、AIエンジニアリングにおいて「何に集中するか」という選択が、最終的なアウトプットに決定的な影響を与えることを示している。出力最大化とは、単なる効率化ではなく、戦略的な集中と規律の追求なのである。

00:32:57チップスタートアップと信頼境界：NVIDIAのリファレンスアーキテクチャの戦略的価値

新しいAIチップを開発するスタートアップにとって、最大の課題の一つは「信頼境界（trust boundary）」の問題である。MATXのCEOであるReiner PopeがMidhaの授業で語った洞察は、この点を鮮明に浮き彫りにした。MATXは、データセンターの設計においてNVIDIAのリファレンスアーキテクチャをそのまま採用することを決断した。これにより、ハードウェアの互換性を確保し、ソフトウェアスタックに集中することが可能になった。つまり、NVIDIAがすでに解決したデータセンター設計の問題に再び取り組むのではなく、自社の強みである「ロジックダイ」と「システム協調設計（co-design）」にリソースを集中するという戦略だ。

しかし、この戦略にはリスクも伴う。チップのテープアウトには2年かかるため、その間にモデルアーキテクチャが変化してしまうと、せっかくのチップが時代遅れになる可能性がある。Google内部にいたReinerは、GeminiやPaLMチームと隣り合わせで仕事をしており、将来のモデルアーキテクチャに関する情報にアクセスできた。しかし、独立したスタートアップの創業者となった今、その「信頼境界」の外側にいる。Midhaは、AMPがこの信頼境界の問題を解決する役割を果たせると考えている。AMPは複数のフロンティアラボと深い関係を築いており、チップスタートアップに将来のモデルアーキテクチャに関する洞察を提供できる立場にある。

この議論は、AIエコシステムにおける水平分業と垂直統合のトレードオフを浮き彫りにする。NVIDIAのリファレンスアーキテクチャは、一種の「公開プロトコル」として機能し、新規参入者がデータセンター設計の複雑さを回避することを可能にしている。これは、Jensen Huangが意図的に公開したものであり、結果としてMATXのような競合他社の参入を促進している。Midhaは、NVIDIAが単独で需要を満たせない状況では、このような協調的なエコシステムこそが、計算資源のボトルネックを解消する鍵になると主張する。

00:45:54Anthropicがコーディングを突破した方法：準備された心と文化の脆さ

AnthropicがClaudeのコーディング能力でブレークスルーを達成した理由について、Midhaは「運は準備された心を好む（Luck favors the prepared mind）」という格言を引用する。彼自身がインドの全寮制学校Rishi Valleyで経験したエピソードを交え、表面的な「運」ではなく、4年間にわたる徹底的な準備と規律が成功の基盤にあると語る。Anthropicは、OpenAIと比較してはるかに少ない資金と計算資源で運営されてきた。この「困難」こそが、彼らの文化を鍛え上げ、優先順位を明確にする原動力となった。

Anthropicの最優先事項（P0）は、創業当初から「コーディング」だった。彼らは、コーディングを突破することがAGIへの最短経路であると信じていた。この明確な焦点が、他の多くの可能性に「ノー」と言うことを可能にした。Midhaは、現在のAIラブの多くが「あまりにも早く、あまりにも多くの資金を調達しすぎている」と警鐘を鳴らす。資金が豊富にあると、困難を経験する機会が失われ、文化が曖昧になり、結果として組織は脆くなる。Anthropicの初期の苦闘は、後から見れば「バグではなく、機能（feature）」だったのだ。

しかし、文化は一度確立すれば永遠に続く「堀（moat）」ではない。Midhaは、文化は「一連の行動」であり、毎日の手入れを必要とする「脆くて壊れやすい庭」のようなものだと強調する。Ben Horowitz（a16z共同創業者）の言葉を借りれば、文化は「信念の集合ではなく、行動の集合」である。Anthropicが安全性（safety）を重視する文化を維持できるのは、創業者であるDario Amodeiらが、自らの信念に基づいて困難なトレードオフを実行し続けているからだ。この「ミッショナリー（宣教師）的な熱意」こそが、彼らを「マーセナリー（傭兵）的な」競合他社と差別化する真の源泉である。

00:54:03Periodic Labsと物理学の制約：シリコンバレーの宣教師と傭兵

Periodic Labsは、超伝導体の発見という極めて野心的なミッションに取り組んでいる。Midhaは、この会社の「制約」は物理学そのもの、つまり「現実（reality）」であると述べる。彼らは、ChatGPTの共同創設者であるLiamや、DeepMindでAlphaFoldの重要なツールであるGenomesを開発したDogeといった、トップクラスの研究者を擁している。しかし、12ヶ月前には、物理学のデータを分析するAIモデルの性能は「ひどい」ものだった。この困難な状況が、チームの結束を強め、ミッションへのコミットメントを試す試練となった。

Midhaは、Periodic Labsが技術的ブレークスルーを達成した後、かつてより高額の報酬を求めて去った人々が戻りたいと申し出たが、それを断ったエピソードを紹介する。彼にとって、文化とコミットメントは金銭的な報酬よりも重要だからだ。この決断は、シリコンバレーが「非常に宣教師的な場所であると同時に、非常に傭兵的な場所でもある」という彼の認識を反映している。大金が動くとき、人々はしばしば本来のミッションを見失う。Midha自身は、インドのRishi Valleyやシンガポールの質素な寮生活を経験し、「幸せになるために多くを必要としない」という価値観を身につけている。彼にとって、お金は「目的を達成するための手段」であり、「自分を測るものさし」ではない。

このエピソードは、AI業界における「ミッション志向」と「金銭志向」の緊張関係を象徴している。Midhaは、研究者がCEOになることの価値を強く主張する。Dario Amodei（Anthropic CEO）やAnastasis Germanidis（Periodic Labs CEO）のような科学者は、「頭脳のアスリート」であり、トップクラスの研究者になるために必要なリーダーシップ、競争心、そして対立を恐れない姿勢をすでに備えている。ベンチャーキャピタリストは研究者を「ただの研究者」と決めつけがちだが、それは大きな誤りだとMidhaは指摘する。真のリーダーシップとは、「勝つこと」ではなく、「フロンティアをリードすること」にある。そして、そのためには、自らのチームに対しても、顧客に対しても、時には厳しい対立を厭わない姿勢が必要なのである。

結びに

本エピソードは、AIインフラを巡る議論を、単なるGPU調達競争から、より深い「システム設計」と「アライメント」の次元へと引き上げた。Anjney Midhaの語る「出力最大化」という概念は、AIエンジニアリングの新たな規律として、今後ますます重要性を増すだろう。特に印象的なのは、Googleの95%利用率基準と、xAIの10%未満のMFUという現実の対比であり、これは業界全体が抱える構造的な非効率性を如実に示している。また、DeepMindの研究囲い込みや、データセンターのコミュニティ反発といった「人間的・社会的な制約」が、技術的なブレークスルーと同じくらい重要な課題であることを認識させられる。

このエピソードが特別なのは、単なるインフラの技術論に留まらず、Anthropicの文化形成やPeriodic Labsのミッション、そしてMidha自身の生い立ちに至るまで、AI業界を動かす「人間の物語」が豊かに織り込まれている点だ。特に、「運は準備された心を好む」という格言を、Anthropicのコーディングブレークスルーに適用する洞察は秀逸である。AIエンジニアにとって、このエピソードは、より良いモデルを構築するためには、GPUを増やす前に、まず自分たちの「システム」と「文化」を徹底的に最適化すべきだという、力強いメッセージを残している。