ニール・モヴァ - AIを10倍安くする - [Invest Like the Best, EP.488]

Neil Movva（ニール・モヴァ）は、AI推論（inference、モデルが学習済みの知識を使って新しい出力を生成する処理）に特化した新興企業Sailの創業者である。同社が掲げるビジョンは「トークン工場（token factory）」という概念に集約される。これは、人間がリアルタイムで応答を待つチャットボット向けではなく、数時間から数日かけてバックグラウンドで自律的にタスクを遂行するAIエージェント向けに、トークン（AIが処理するテキストの最小単位）の生成コストを可能な限り引き下げることに特化したインフラ企業である。パトリック・オショーネシーとの対談は、ソフトウェア、チップ、電力という「知能のフルスタック」を詳細に解説するものとなり、GPU内部の速度とコストのトレードオフ、誰も欲しがらないチップと電力を買い集める「スカベンジャー戦略」、Nvidiaに対する逆張りの見解、そしてフロンティアラボ（最先端のAI研究機関）が「3〜6か月の先行」に対して課すプレミアムが持続しない可能性など、多岐にわたるテーマが扱われた。

Movvaの主張の核心は、AIの利用形態が「人間が待つ対話型」から「人間の時間軸で動く自律型」へと移行するという予測にある。彼は、エージェントがバックグラウンドで長時間稼働する世界では、レイテンシー（応答速度）よりもコスト効率が圧倒的に重要になると論じる。この認識に基づき、SailはNvidia製GPUの性能をソフトウェアレベルで極限まで引き出すことから始め、やがてはAMDや新興チップ、さらには太陽光や風力といった再生可能エネルギーを動力源とする小規模データセンターまでを組み合わせた、従来の常識を覆す「スカベンジャー」的なアプローチで、業界最安値のトークン供給を目指している。この対談は、AIブームの最前線で起きているハードウェアとインフラの革命を、投資家視点と技術者視点の両方から深く理解するための貴重な機会となっている。

00:03:22トークン工場の構想と長期間稼働エージェントの台頭

Sailのビジネスモデルは、APIを通じてオープンソースの大規模言語モデル（LLM）を、市場で他に追随を許さない低価格で提供することにある。さらに、同社は「Sailboxes」と呼ばれる、数時間から数週間にわたって稼働し続けるエージェント専用の仮想マシンをクラウド上でホスティングしている。Movvaは、同社のテーマを「豊かさ（abundance）」と表現し、知能という新たなコモディティを、ほぼすべての産業が持続可能なコストで利用できるようにすることを使命と掲げる。彼は「何かを10倍安くすれば、それは新しい製品カテゴリーになる」という信念のもと、トークンのコストを10分の1にすることを目指している。

このビジョンの背景には、AIエージェントのタスクが長時間化するという確信がある。Movvaは、テスト時計算量スケーリング（test-time compute scaling、推論時にモデルにより多くの計算リソースを与えることで性能が向上する現象）の理論が現実のものとなったと指摘する。特に、AnthropicのOpus 4.5以降、エージェントが1時間程度の長期的なタスクを処理できるようになったことが転機だという。彼は、この傾向が続けば、バックグラウンドで稼働するワークロードがリアルタイムのワークロードを圧倒し、最終的には90対10の割合になると予測する。人間が介在しないバックグラウンド処理は、トークン消費量に上限がないため、市場は事実上無限に拡大する可能性を秘めている。

具体的なユースケースとして、Movvaはディープリサーチ（深層調査）とサイバーセキュリティを挙げる。ディープリサーチでは、1万以上の情報源を横断して権威ある情報のインデックスを構築するようなタスクが想定される。サイバーセキュリティの分野では、コードを生成するよりも、そのコードを破る方法の方が指数関数的に多いという事実に着目し、ソフトウェアの脆弱性を自律的に発見し、パッチを適用するエージェントの需要が高まっていると説明する。彼は、セキュリティが「プルーフ・オブ・ワーク（仕事の証明）」のようになりつつあると冗談めかして述べ、ソフトウェアの安全性が、それを破るためにAnthropicのAPIに費やした金額で測られる時代が来たと示唆する。

00:15:12知能のフルスタック：ソフトウェア最適化の最前線

Sailの戦略の第一歩は、ソフトウェアによるGPU効率の極限までの追求である。Movva自身がNvidiaでのキャリアをスタートさせたGPUカーネル（GPU上で実行されるプログラム）の専門家であり、彼のチームはNvidia製GPUから、他の誰よりも多くのトークンを引き出すことを目指している。彼は、Nvidiaが「光速（speed of light）」と呼ぶ、ハードウェアの理論上の限界性能を追求する文化を挙げ、自身のチームにも「競合との相対比較ではなく、チップ上の絶対的な性能」を追い求めるよう指示しているという。

この最適化の核心は、GPUの「スループット（処理量）」と「レイテンシー（応答速度）」のトレードオフにある。GPUは本質的に、大量のデータを並列処理するスループットマシンであり、多くのユーザーのリクエストをまとめて処理する「バッチ処理」が最も得意とする分野である。しかし、チャットボットのような対話型AIでは、ユーザーを待たせないために、バッチを小さくして即座に応答を返す「レイテンシー最適化」が優先されてきた。Movvaは、この選択がGPUの性能を最大限に引き出す妨げになっていると主張し、バックグラウンドで動くエージェント向けには、バッチを大きくしてスループットを最大化する方が合理的だと説明する。彼はこの関係を、目的地に直行する「自家用車」と、多くの乗客を乗せて遠回りする「バス」に例えた。

さらに、GPU間を接続するNVLink技術についても言及する。NVLinkは、複数のGPUを連携させて大規模な計算を高速化するためのインターコネクトであり、レイテンシーを劇的に改善する。しかし、Movvaは、この技術は低レイテンシー推論には必須だが、スループット重視の彼らの戦略では、必ずしも最適な選択ではないと述べる。彼は、NVLinkに依存しない「エキスパート並列処理」や「パイプライン並列処理」といった代替手法を用いることで、NVLinkを持たない他社製チップでも、計算コストあたりの性能で優位に立てる可能性を模索している。

00:24:58AIチップの未来：Cerebrasとメモリ階層の戦い

対談では、低レイテンシー特化型ハードウェアの代表格であるCerebrasとGroqについても議論が及んだ。これらの企業は、GPUの標準的なメモリであるDRAM（動的ランダムアクセスメモリ）の代わりに、チップ上に直接配置される超高速メモリであるSRAM（静的ランダムアクセスメモリ）を大量に搭載するというアプローチを取る。SRAMはDRAMに比べて桁違いに高速ですが、シリコンダイ上で多くの面積を占有するため、搭載容量は限られる。Cerebrasは、ウェハー全体を1つのチップとして使用する「ウェハースケールエンジン」により、この問題を克服し、NvidiaのBlackwellの約10テラバイト/秒に対し、21ペタバイト/秒という驚異的なメモリ帯域幅を実現している。

Movvaは、このようなチップは、モデルの重み（学習済みの知識）を保持する「MLP層」の処理に非常に適していると評価する。一方で、会話の履歴を保持する「KVキャッシュ」は、ユーザー数や会話の長さに応じて動的に増加するため、大容量のメモリが必要となる。CerebrasのようなSRAM特化型チップは、このKVキャッシュの容量不足に悩まされる可能性が高い。彼の予測では、将来のAIチップは、計算特化型のCerebrasと、大容量メモリを持つ従来型GPUを組み合わせた「ハイブリッド」構成が主流になるとのことだ。つまり、MLP層をCerebrasで、アテンション層（会話の文脈を動的に処理する部分）をGPUで処理するという役割分担である。

この議論は、Transformerアーキテクチャの本質的な弱点にも及ぶ。Transformerは、2017年に登場して以来、AI分野の支配的なアーキテクチャであり、その成功の要因は、任意のシーケンスデータからパターンを学習する汎用性の高さにある。しかし、Movvaは、Transformerが「メモリバウンドなアテンション層」と「計算バウンドなMLP層」という、性質の異なる2つの層を隣接させている点を「原罪」と表現する。単一のチップで両方の層を最適に処理することは難しく、この構造が、ハードウェア設計におけるトレードオフの根本原因となっている。それでも彼は、Transformerが持つ「スケーラビリティ」の高さから、当分は支配的なアーキテクチャであり続けると予測する。

00:36:43データの未来とモデルの自己改善

データに関して、Movvaは「インターネットはデータへの一時的な補助金だった」という表現を用いる。約30兆トークンとされる高品質なテキストデータは、すでにモデルによって何度も学習されており、人間が生成するデータから得られる新たな価値は限界に達しつつある。彼は、次のデータのフロンティアは、モデル自身が環境と相互作用しながら自己改善する「強化学習（RL）環境」にあると主張する。具体的には、モデルに検証可能なタスク（コーディングや数学の問題など）を与え、その成否を自己採点させることで、無限に学習データを生成するというアプローチだ。

この考え方は、フロンティアラボの投資行動にも表れている。彼らは、データ収集よりも、RL環境の構築に多くの資金を投じるようになっているという。Movvaは、この「検証可能なタスクにおける再帰的自己改善」こそが、汎用人工知能（AGI）への最も確実な道筋であると述べる。特定のタスクに特化した知能を積み重ね、そのギャップを埋めていくことで、最終的にあらゆるタスクをこなせる汎用知能に到達するという考え方だ。ただし、芸術や文章の美しさといった「人間の趣味」が関わる非検証可能なタスクは、当面は人間の領域として残るだろうと彼は予測する。

また、ソフトウェアエンジニアリングの分野では、AIがGPUカーネルを自動生成する時代が来つつあると指摘する。Sailのチームは、ホワイトボードで設計方針を議論し、それを自然言語でモデルに指示することで、カーネル実装を自動化しているという。彼は、この分野での人間の優位性は長く続かず、モデルの進化に伴い、ソフトウェア最適化はコモディティ化していくと予測する。それでも、ハードウェアの性能を引き出すための「概念設計」は、当面は人間の役割として残るだろうと述べる。

00:44:05AIチップ市場とスカベンジャー戦略

AIチップ市場の現状について、MovvaはNvidiaの戦略を分析する。Blackwellのような最先端チップは需要が供給を大幅に上回り、「ドラッグマーケット」のような様相を呈している。しかし、Nvidiaは単に価格を釣り上げるのではなく、長期的な視点から戦略的にチップを配分しているという。特定の顧客に過度に依存しないよう、また、新興企業への供給には関係性と財務的裏付けを重視する姿勢を指摘する。一方で、AMDや新興チップメーカー（Etched、SambaNova、d-Matrixなど）の市場は、Nvidiaほど注目されておらず、ここに大きなビジネスチャンスがあるとMovvaは見る。

彼の戦略は、こうした「誰も欲しがらないチップ」を、ソフトウェアの力で最大限に活用することだ。「悪いチップはない、あるのは悪い価格だけだ」というのが彼の信念であり、AMDのチップはNvidiaに比べてソフトウェアエコシステムが未熟であるがゆえに、性能を引き出す余地が大きいと述べる。また、TPU（Googleの専用チップ）やTrainium（Amazonの専用チップ）といった、特定のクラウドプロバイダーに縛られるチップも、積極的に活用していく構えだ。彼は、あらゆるチップを、あらゆる場所で、あらゆる期間、購入する用意があると宣言し、この柔軟性こそが競争優位の源泉であると主張する。

データセンターについても、従来の常識を覆すアプローチを取る。トレーニング（学習）用途では、巨大なデータセンターにGPUを集中させる必要があるが、推論用途では、1メガワット規模の小規模なデータセンターを分散配置することが可能だ。Movvaは、この小規模データセンターは、冗長な電源やネットワークを持たないため、稼働率が95%程度に低下することもあり得ると認める。しかし、バックグラウンドで動くエージェントにとっては、たまに発生する数分の遅延は許容範囲であり、その代わりに圧倒的な低コストを実現できると主張する。彼は、この「スカベンジャー戦略」を、巨大な一貫製鉄所ではなく、多数の小さなミニミル（製鋼所）を組み合わせて最強の鉄鋼工場を建設することに例えた。

00:51:08データセンターの再発明と電力のスカベンジング

電力調達もまた、Sailの戦略における重要な柱である。Movvaは、太陽光や風力といった再生可能エネルギーの間欠性（天候により発電量が変動する性質）を、むしろビジネスチャンスと捉える。彼は、天候を予測し、データセンターが停止する前にワークロードを別の場所に移動させることで、80%の稼働率でも十分に事業が成立すると述べる。このアプローチは、安定した電源を必要とする従来のデータセンター事業者には不可能であり、再生可能エネルギー由来の電力を安価に調達するための独自の道を切り開くことになる。

このような垂直統合の度合いについて、Movvaは「創業者としての自分」と「CEOとしての自分」の間でバランスを取っていると語る。創業者としては、電力源からチップ設計、ソフトウェアまで、スタック全体を自社で所有したいという野心を持つ。しかし、CEOとしては、資本効率を重視し、まずはソフトウェアから始め、パートナー企業との協業を通じてスケールを追求する方が現実的だと認識している。彼は、自社が「史上最大のコンピューティング市場」を創出するという信念のもと、スタックの各層で非効率を発見し、それを自社の優位性に変えていく考えだ。

現在のシステム全体の非効率性について、Movvaは、計算そのものはかなり効率化されているが、アテンション層のメモリ使用量（KVキャッシュ）には大きな改善の余地があると指摘する。KVキャッシュは現在、トークンあたり数キロバイトのデータを保持しており、これは情報理論的に見て過剰である可能性が高い。DeepSeekなどの企業が、この圧縮技術で目覚ましい進歩を遂げており、今後も桁違いの改善が見込まれるという。さらに、世界全体のコンピューティング資源の活用効率は極めて低く、Nvidiaが年間500万枚のBlackwellを出荷しても、その多くがアイドル状態で放置されていると彼は嘆く。この「世界の計算資源のオーケストレーション」こそが、彼が最終的に解決したいと考える最大の課題である。

01:07:02オープンとクローズドの未来、そしてNvidiaへの逆張り

フロンティアラボとオープンソースモデルの関係について、Movvaは、クローズドなラボが「3〜6か月の先行」に対して課すプレミアムは、長期的には持続しない可能性があると指摘する。企業の導入スピードは、ラボのリリースサイクルよりもはるかに遅く、多くのエンタープライズは依然として旧世代のモデルを使用している。また、蒸留（distillation、高性能モデルの出力を学習データとして利用すること）の問題について、彼は、GitHub上に公開されるコードの多くがAIによって生成されている現状を挙げ、もはや「潜在的な蒸留」を防ぐことは不可能だと論じる。オープンソースモデルの性能は日々向上しており、フロンティアラボの優位性は、時間の経過とともに縮小していくというのが彼の見立てだ。

彼が理想とする未来は、「豊富なトークンと多様なハーネス（道具）」が共存する世界である。個々の企業やユーザーが、自らの用途に合わせてAIエージェントをカスタマイズし、所有できることが重要だと主張する。その実現には、トークンのコストを可能な限り引き下げることが不可欠であり、それがSailの使命であると彼は改めて強調する。

最後に、Movvaの最も異端的な見解として、NvidiaとTSMCの性能向上ペースに対する懐疑論が語られた。彼は、HopperからBlackwell、そして次世代のRubinへと世代が進んでも、電力あたりの計算性能（性能/ワット）は劇的には改善していないと指摘する。TSMCの製造プロセス（5nm、4nm、3nm、2nm）も同様で、世代ごとの性能向上は限定的だという。この観察から、彼は、仮に西側諸国がTSMCへのアクセスを失ったとしても、Intelのプロセス技術がせいぜい2倍程度の性能差で追随しているため、壊滅的な打撃にはならないという逆張りの結論を導き出す。これは、地政学リスクを過大評価する市場のコンセンサスに対する、技術者ならではの冷静な反論である。

結びに

今回のエピソードは、AIインフラの最前線で起きている変革を、ソフトウェア、ハードウェア、電力という三層に分けて詳細に解説した点で、極めて示唆に富む内容だった。Neil Movvaの「トークン工場」というビジョンは、単なる低価格戦略ではなく、AIの利用形態が「対話」から「自律的な長時間稼働」へと移行するという、根本的なパラダイムシフトを見据えたものである。彼の「スカベンジャー戦略」は、最先端技術を追い求めるのではなく、市場が軽視する資源を組み合わせることで、独自の競争優位を築くという、逆張りの思考法を示している。

この対談が特に価値深いのは、投資家の視点からは捉えにくい、AIチップやデータセンターにおける技術的なトレードオフを、実務家の言葉で明確に説明している点だ。GPUのスループットとレイテンシーの関係、SRAMとDRAMの違い、KVキャッシュの役割といった専門的なトピックが、具体的な例え話を交えて解説されており、非専門家でも理解しやすい内容となっている。また、Nvidiaの戦略やフロンティアラボのビジネスモデルに対する鋭い分析は、AIブームの持続性を考える上で重要な視点を提供する。Movvaの「知能は豊かになるべきだ」という信念は、単なるビジネス上の野心ではなく、テクノロジーの民主化に対する強い思いに裏打ちされており、その情熱がリスナーに深い印象を残す。