AIインフラがエージェント体験のために進化すべき理由 — Akshat Bubna, Modal CTO

Modal（モーダル）は、AIエンジニア向けクラウドプラットフォームとして、従来のクラウドが前提としてきた「人間がYAMLを書き、ダッシュボードを解釈する」という開発者体験（DX）から、エージェントが自律的にインフラを操作する「エージェント体験（AX）」へのパラダイムシフトを牽引している。CTOのAkshat Bubna（アクシャット・ブブナ）は、Kubernetesがバースト的なAIワークロード向けに設計されていないという原点に立ち返り、Modalがサーバーレス関数、GPUスナップショッティング、投機的デコード、そして17のクラウドプロバイダーにまたがるキャパシティプールを武器に、いかにしてAIネイティブなインフラを構築してきたかを語る。同社は最近、3億5,500万ドル（約530億円）のシリーズCラウンドを調達し、AIインフラ領域における明確なリーダーとしての地位を確立しつつある。

本エピソードでは、Modalがどのようにして「より良いランタイム」から「AIクラウド」へと進化したか、その技術的・戦略的変遷が詳細に描かれる。特に、強化学習（RL）のロールアウトに10万ものサンドボックスが必要となる事例や、SunoやRunwayといったカスタムモデル企業向けの弾力的な推論、そしてエージェントが自らGPU実験を起動する「Auto Research」の概念など、現場のエンジニアにとって極めて実践的な知見が満載である。Akshatは「インフラは再びエキサイティングになった」と断言し、AIがもたらす新たな計算需要が、クラウドの設計思想そのものを書き換えつつあると主張する。

0:38Modalの起源：Kubernetesでは不十分だった理由

Modalの創業は、CEOのErik Bernhardsson（エリック・バーンハードソン）が「なぜワークフローオーケストレーションプロダクトはこんなに使いにくいのか」という問いから始まった。その答えは、それらがKubernetes上で動作しなければならないことにあった。Kubernetesは管理が難しく、バースト的な負荷やカスタムイメージに対応しておらず、開発者体験が極めて悪い。Akshatは、この問題意識こそがModalの原点だと語る。当初Modalは、データパイプラインやETL、ジョブキューといったバースト処理全般を対象とした「より良いランタイム」として構想された。

特筆すべきは、ModalがChatGPTの登場より1年前にGPUを製品に追加していた点だ。当時はコンピュータビジョンやXGBoostといった古典的な推論ワークロードを想定しており、LLMがこれほど大きな市場になるとは予想していなかった。しかし、この先見性が後に同社をAIインフラの最前線に押し上げる。Akshatは「当時はGPUがそれほど重要になるとは思っていなかった」と振り返るが、結果的にこの決断がModalの命運を分けた。

Modalのもう一つの核心は、インフラ要件をコードと同一ファイルに配置する「デコレータベース」のアプローチである。Akshatは、Temporal時代に書いた「ソフトウェア定義インフラ」に関するブログ記事がModalのランディングページに採用されたエピソードを紹介する。YAMLを書く代わりに、Pythonのデコレータでハードウェア構成やスケーリングを指定できるこの設計は、開発者にとって直感的であり、エージェントにとっても扱いやすい。なぜなら、エージェントが数百行のKubernetesファイルを読む必要がなく、デコレータの数行を変更するだけで済むからだ。

4:32開発者体験からエージェント体験へ

Modalは現在、SDKチームのミッションを「開発者体験（DX）」から「エージェント体験（AX）」へとシフトさせている。Akshatは、DXに有効だった原則の多くがAXにもそのまま当てはまると主張する。例えば、エージェントが型付けすらされていないYAMLを書くよりも、デコレータで変更を加え、その結果を即座に確認できる方がはるかに効率的だ。Modalの顧客からも、Modalは他のクラウド基盤よりもエージェントが高速に操作できるというフィードバックが寄せられている。

しかし、ここで重要なのは、コードを読む人間が不要になるわけではないという点だ。Akshatは「観測可能性（observability）がコードを読むことよりも重要になりつつある」と指摘する。エージェントがコードを書く時代において、人間の役割はダッシュボードやログを解釈し、判断を下すことに移行する。ModalはCLIにも観測可能性の機能を多数実装しており、エージェント自身がログを調査できるようにしているが、最終的な判断は人間が行う。この「コードをブラックボックスとして扱い、観測可能な出力からプロンプトで変更する」というサイクルが、新しい開発ワークフローの核心である。

Modalの製品範囲は、推論、トレーニング、バッチ処理、サンドボックスと多岐にわたるが、Akshatは「ウェブサーバー」を意図的に製品範囲から外している。これは、常時稼働する大規模Kubernetesとは競合しないという明確な戦略である。Modalの差別化要因は、特殊な計算リソースを必要とし、頻繁にスケールアップ・ダウンするワークロードにある。この選択が、結果的にAIエージェントのニーズと完全に一致した。

9:14サンドボックス、エージェントループ、そしてプロト・コグニション

Modalのサンドボックス機能は、2023年5月にリリースされた。これは、エージェントがコードを書き、実行し、出力を検査し、環境を変更し、デバッグし、再試行するというループを実現するための基盤である。興味深いことに、Modalが最初に公開したサンドボックスのサンプルは、Small Developer（スモールデベロッパー）というコードエージェントをループ内で自己反復させるものだった。これは、後にCognition（コグニション）のような企業が実現する「エージェントによるソフトウェア開発」のプロトタイプと言える。

当時はモデル自体がループや自己修正、ツール呼び出しに最適化されておらず、10回の反復でモデルが発散してしまうという問題があった。Akshatは「今の自分にアドバイスするなら、すべての失敗を収集し、ベンチマークを作り、RL環境を構築し、Metaに100億ドルで売れと言うだろう」と冗談交じりに振り返る。このエピソードは、AIインフラの進化がモデルの能力向上と密接に連動していることを示している。

Modalのサンドボックスは、単なる隔離環境ではない。サイドカーコンテナをサポートし、Docker Composeのようなマルチコンテナ構成が可能だ。また、アウトバウンドネットワーキングの制御、Man-in-the-Middleプロキシの実行、ドメインへのEgress制御、クレデンシャルの注入など、本番エージェントに必要な高度な機能を備えている。Akshatは「RLのロールアウトでは、時には10万ものサンドボックスが必要になる」と述べ、そのスケールの大きさを強調する。

12:12弾力的推論、GPUスナップショッティング、そして10万サンドボックス

Modalの最大のユースケースは「弾力的推論（elastic inference）」である。同社はLLM市場から距離を置き、Suno（オーディオ）、Runway（ビデオ）、ロボティクス、計算生物学（Comp Bio）など、独自モデルを訓練する企業に特化してきた。これらの企業のトラフィックパターンは極めて予測不可能で、日周変動があり、新製品ローンチ時には急激な需要増が発生する。Modalは、GPUスナップショッティング技術を活用することで、コールドスタートを劇的に高速化し、このバースト性に対応している。

GPUスナップショッティングとは、Torchコンパイラやモデルの状態をスナップショットとして保存し、次回の起動時に高速に復元する技術である。これにより、Modalは「真のスケール・トゥ・ゼロ」と「真のバースト性」を両立している。Akshatは「他の推論プロバイダーが自動スケーリングを謳っていても、実際にはそれができているところは少ない」と指摘する。

さらに、Modalは投機的デコード（speculative decoding）の分野でも先進的な取り組みを行っている。同社がオープンソース化した「DeFlash」は、ブロックベースの投機的デコーダであり、従来のトークン単位の予測ではなく、ブロック単位で予測を行うことで、2〜4倍の高速化を実現する。Akshatは「カーネルの最適化は数%の改善だが、投機的デコードは乗算効果で2〜4倍の改善をもたらす」と説明する。Modalはこの技術を「Auto Endpoints」として製品化し、ユーザーがコードに触れることなく、フロンティアレベルの推論性能を利用できるようにしている。

22:00バックグラウンドエージェントとエージェントライフサイクル

Modalは、モデルのライフサイクルだけでなく、エージェントのライフサイクル全体をカバーするプラットフォームを目指している。その代表例が、Ramp（ランプ）の「Ramp Inspect」である。これは、バックグラウンドで動作するエージェントであり、Modalのスナップショッティングと高速スケーリングを活用して、リアクティブな動作を実現している。Akshatは「RampのCTOであるRahul（ラーフル）と協力して構築した」と述べ、顧客との密接な連携を強調する。

ここで重要なのは、AIワークロードにおけるGPUとCPUの役割の変化である。Akshatは、Jensen Huang（ジェンスン・フアン）のGTC基調講演で言及された「推論の変曲点」に言及する。従来はGPU対CPUの比率が8:1だったが、エージェントの普及により1:1に近づいている。エージェントは頻繁にCPU負荷の高い処理（ファイル処理、データベースアクセスなど）を呼び出すため、GPUとCPUの間でボトルネックが常に変動する。Modalは、この両方を同一プラットフォームで最適化できる点が強みである。

Modalはまた、エージェント向けの「ハードガードレール」の重要性を強調する。Akshatは、LLMが仲介するパーミッション（LLM-mediated permissions）に対して懐疑的であり、「サンドボックスレベルではハードな境界が必要」と主張する。データの外部流出を防ぐためには、ソフトウェアによるガードレールとハードな境界を組み合わせる必要がある。この考え方は、Modalが「マネージドエージェント」ではなく「インフラレイヤー」に特化する理由でもある。

24:0817クラウドのスーパークラウド戦略とネットワーキング

Modalは自社のデータセンターを持たず、17のクラウドプロバイダー（NEOクラウドやメタルプロバイダーを含む）にまたがるキャパシティプールを運用している。これは「スーパークラウド」戦略であり、Modalの差別化はソフトウェアレイヤーにある。Akshatは「資本集約的にならず、ソフトウェアに集中することで迅速に動ける」と説明する。Modalは、各プロバイダーの信頼性のばらつきを吸収する独自のリライアビリティレイヤーを構築しており、GPUがバスから外れるような障害が発生しても、ユーザーのワークロードに影響が出ないよう設計されている。

ネットワーキング面では、Modalは「i6pn」と呼ばれるプライベートIPv6オーバーレイネットワークを開発している。これは、同一ワークスペース内のModalコンテナ同士が、プライベートIPv6アドレスで相互に通信できるようにする技術である。もともとは分散トレーニング製品のために開発されたが、ユーザーが予想外の用途で使い始めているという。Akshatは「プリミティブを構築して、ユーザーに使い方を発見してもらう」というModalの哲学を体現するエピソードとして紹介する。

Modalのマルチノードトレーニングは、RDMA（Remote Direct Memory Access）をサポートし、3テラビット/秒の内部ネットワークを実現している。ただし、これは大規模なプリトレーニングではなく、中規模のポストトレーニング（量子化モデルのファインチューニングなど）を対象としている。Akshatは「研究者が小さな実験を弾力的に実行できることの方が、大規模クラスターを持つことよりも重要だ」と指摘する。この「Auto Research」の概念は、エージェントが自らGPU実験を起動し、ハイパーパラメータスイープをモデルガイドで効率的に実行するという、新しい研究パラダイムを示唆している。

37:36コンピュート戦略とキャパシティプランニング

Modalの急成長に伴い、キャパシティプランニングは極めて重要な課題となっている。Akshatは、この役割を「コンピュート戦略（compute strategy）」と呼び、単なるFP&A（財務計画・分析）とは異なる高度な専門性が必要だと説明する。具体的には、1年契約と3年契約のブレンド、GPUタイプやリージョンごとの需要予測、サプライチェーンの進化に関する見通し、そしてそれらに基づくリスクテイクが求められる。Akshatは、これを航空業界の燃料ヘッジに例え、Southwest Airlines（サウスウエスト航空）が燃料先物で成功した故事を引き合いに出す。

Modalはまた、レイテンシを気にしない顧客向けに、24時間以内に結果を返す「バッチティア」を構築中である。これは、LLMの評価や合成データ生成だけでなく、計算生物学など非LLM領域の企業からも高い需要がある。Akshatは「フロンティアラボのバッチAPIほど普及していないが、大きな可能性を秘めている」と述べる。

Modalの将来像として、Akshatは「より多くの企業が独自モデルをポストトレーニングし、オープンソースモデルをデプロイするようになる」と予測する。そのために、トレーニングジムからフロンティアレベルの推論エンドポイントまでをシームレスに提供する製品を構築している。また、リアルタイムオーディオやビデオの需要に対応するため、リージョナルルーティングとフォールバック機能も開発中である。

46:06AIがインフラを再びエキサイティングにした理由

Akshatは、インフラエンジニアとして「これほどエキサイティングな時期はない」と断言する。データインフラの時代は退屈で、誰もサンドボックスをいくつ起動できるかなど気にしなかったが、AIの登場により状況は一変した。Modalの製品方向性は結果的に正しかったが、Akshatは「予測できたわけではない」と謙遜する。重要なのは、LLM推論だけがAIのすべてではないという点だ。Modalは創薬、計算生物学、ロボティクスなど、多様な分野の企業と協業しており、これがLLM市場への過度な依存を防いでいる。

ModalとReplicate（レプリケート）の違いについて、Akshatは「モデルAPIを提供することは避けている」と明確に述べる。モデルAPIは趣味開発者向けの市場になりがちで、顧客の定着率が低い。Modalはあくまでコードベースのプラットフォームであり、ユーザーはサンプルコードを自由にカスタマイズできる。Sunoのように完全なカスタムモデルアーキテクチャを持つ企業にとって、APIラッパーでは不十分であり、コードレベルでの柔軟性が不可欠だ。

最後に、Akshatは「エージェント体験」がModalのアイデンティティの中核であると強調する。同社は「Modal Bench」というベンチマークを構築し、エージェントが苦手とする領域（例：観測可能性データの解釈と適切な修正）を特定し、製品にフィードバックしている。エージェントが存在しない機能を幻覚（ハルシネーション）することは、むしろ製品改善のヒントとなる。Modalは、ログやメトリクスをUIだけでなくCLIにも実装し、エージェントが直接アクセスできるようにしている。この「エージェントが求めるものを先回りして提供する」姿勢が、Modalの競争力の源泉である。

結びに

本エピソードが最も鮮烈に印象づけるのは、「インフラは人間のためにあるのか、エージェントのためにあるのか」という根本的な問いである。Modalは、この問いに「両方」と答えつつも、その重心を明確にエージェント側にシフトさせている。Akshatの語る「デコレータでインフラを定義する」という哲学は、単なる開発者体験の改善ではなく、エージェントが自律的にインフラを操作する未来を見据えた設計思想である。10万のサンドボックスを弾力的に起動するRLワークロードや、GPUスナップショッティングによるコールドスタートの克服、17クラウドにまたがるスーパークラウド戦略など、Modalの技術的選択はすべてこの未来予測に基づいている。

このエピソードが重要な理由は、AIエンジニアリングの最前線で何が起きているかを、生々しい現場の声とともに伝えている点にある。Modalは単なるクラウドプロバイダーではなく、AIエージェントが主役となる新しいコンピューティングパラダイムの設計図そのものである。Akshatの「インフラは再びエキサイティングになった」という言葉は、誇張ではなく、技術的な真実を言い当てている。