Baseten CEO Tuhin Srivastavaが語るAI推論の逼迫、カスタムモデル、そして推論クラウドの構築

BasetenのCEO兼共同創業者であるTuhin Srivastava（トゥヒン・スリヴァスタヴァ）が、No PriorsのホストであるSarah Guo（サラ・グオ）とElad Gil（エラッド・ギル）との対談に応じ、AI推論市場の急拡大とその戦略的重要性について深く掘り下げた。BasetenはAI推論に特化したクラウドサービスを提供する企業であり、過去1年間で30倍の成長を遂げ、今年中に10億ドル（約1,500億円）を超える収益を見込んでいる。Srivastavaは、AIの応用レイヤー（アプリケーション層）は独立して存続すると確信しており、その根拠として、企業が自社のユーザーシグナルをワークフローやモデルのポストトレーニング（事後学習）に組み込むことで、フロンティアモデルを提供する大手ラボ（OpenAIやAnthropicなど）には模倣できない独自の価値を生み出せると主張する。具体例として、医療現場で医師の診療記録作成を支援するAbridge（アブリッジ）や、カスタマーサポートの自動化を行うDecagon（デカゴン）といった企業を挙げ、これらは深いワークフロー統合と独自のユーザーシグナルによって強固なポジションを築いていると説明した。さらに、GPU（画像処理半導体）の供給逼迫が業界全体の構造を変えつつあり、長期契約や前払いが標準化しつつある現状を明らかにした。Basetenは18のクラウドプロバイダーと90のクラスターにまたがる独自のランタイムファブリック（実行基盤）を構築し、供給制約の中で柔軟にコンピュートリソースを調達できる体制を整えている。Srivastavaは、ソフトウェアレイヤーこそが顧客ロックインの鍵であり、トップ30の顧客は一人も解約しておらず、年間NDR（ネットドルリテンション）は400%に達すると述べ、推論市場におけるソフトウェアの重要性を強調した。また、中国発のオープンソースモデル（DeepSeekなど）の台頭や地政学的な影響、マルチチップ時代の展望、そして企業がカスタムモデルに投資すべきタイミングについても議論が及んだ。Srivastavaは、推論の効率化が需要を減らすどころか、むしろ拡大させるという「ジェヴォンズのパラドックス」が現実に起きていると指摘し、推論コストの低下がより高度で長時間のエージェントワークフローを可能にし、結果として総需要が増大する好循環を描いた。最後に、AIがもたらす未来像として「すべての人がパーソナルコンシェルジュを持つ世界」を提示し、教育や医療、ソフトウェア開発のあり方が根本的に変革されるとのビジョンを語った。

0:31Basetenの驚異的成長と推論市場の構造変化

BasetenはAI推論クラウドとして、過去1年間で30倍の成長を遂げ、今年度の収益は10億ドルを超える見込みである。Srivastavaはこの急成長の背景について、過去24ヶ月間で「AIをあらゆる場所に配置できる」という認識が広がったことを挙げる。オープンソースモデルのベースライン性能が飛躍的に向上し、ある種の「キャズム（普及の壁）」を越えたこと、そして強化学習（RL）技術やポストトレーニング（事後学習）が主流となり、企業が自社で推論をコントロールできるようになったことが主な要因だ。これにより、顧客は自社のインテリジェンスを内製化するようになり、その結果としてアプリケーション層全体が拡大し、Basetenはその需要のインデックス（指標）として成長していると説明する。

Srivastavaは、推論市場が「最後の市場（last market）」であると繰り返し強調する。これは、たとえ汎用人工知能（AGI）が実現したとしても、最後に残るのは推論という行為そのものだからだ。彼は「GPU as a Service（GPUの貸し出しサービス）」はコモディティであり顧客ロックインは生まれないが、ソフトウェアレイヤーを含んだ推論サービスは極めて粘着性が高いと指摘する。実際、Basetenのトップ30顧客は一度も解約したことがなく、年間NDR（ネットドルリテンション）は400%に達する。この粘着性の源泉は、単なるGPUの提供ではなく、推論のパフォーマンス最適化、信頼性保証、マルチクラウドにまたがるシームレスな運用といったソフトウェア基盤にある。

Basetenのビジネスは三つの柱から構成される。第一に「専用推論（Dedicated Inference）」で、これは顧客がカスタマイズしたモデルを専用のGPUリソースで実行するサービスであり、全トークンの95%以上を占める。第二に「共有推論（Shared Inference）」、第三に「トレーニング（Training）」である。特筆すべきは、専用推論のほぼすべての顧客が、何らかの形でモデルを自社データでカスタマイズしている点だ。単にオープンソースの重みをそのまま使うケースはほとんどなく、品質最適化やパフォーマンス最適化のためにモデルを変更している。さらに、モデルのコンパイル方法も顧客ごとに異なり、これがBasetenのソフトウェアレイヤーの価値を高めている。

5:57アプリケーション層の存続理由とフロンティア顧客への対応

AI業界では「独立したアプリケーション層は存続できるのか、それとも大手ラボ（OpenAI、Anthropic、Googleなど）に飲み込まれるのか」という根本的な問いが常に存在する。Srivastavaはこの問いに対し、アプリケーション層は存続すると明確に答える。その理由は、企業が持つ「ユーザーシグナル」の独自性にある。企業は自社のユーザーからしか得られないシグナルを、ワークフローやモデルに組み込むことができる。このシグナルはフロンティアモデルを提供するラボにはアクセスできないため、ラボがアプリケーション層を「食べ尽くす」ことは難しいというのが彼の主張だ。

具体例として、医療分野のAbridgeが挙げられる。Abridgeは医師の診療記録を自動生成する「アンビエント・スクライブ（環境記録）」サービスであり、米国のほぼすべての病院で使用されている。同社の強みは、電子カルテ（EMR）への深い統合と、医師のワークフロー全体をカバーする点にある。医師による記録の編集、その後のアクション、さらにはEMR内の3ステップ先の処理までを含むワークフロー全体が、Abridgeだけが持つ独自の資産となっている。Srivastavaは、このようなユーザーシグナルにアクセスできる企業は、そのシグナルを報酬信号としてポストトレーニングに活用し、長期的なエージェントモデルを構築できると説明する。

もう一つの例として、カスタマーサポート企業が挙げられる。サポートチケットの処理は単発のタスクではなく、1件のチケットに対して1回から20回以上のアクションが連続して発生する。このような複雑なワークフローこそ、専門化されたモデルを開発する絶好の機会となる。Srivastavaは、AbridgeやDecagonのような新興AIアプリケーション企業と、AIを内製化するエンタープライズ企業の二つの流れがあると指摘する。推論カウントで見れば、現在の市場の99%はエンタープライズ企業によるものであり、エンタープライズのAI導入はまだ始まったばかりだと強調する。

Basetenは、フロンティア顧客（最も先進的で大規模なAI企業）と協業することで、技術的知見を蓄積している。SrivastavaはStripeの進化を引き合いに出し、Stripeが12年前はスタートアップ向けだったが、フロンティア顧客のために構築した結果、現在は大企業も顧客に持つようになったと説明する。Basetenも同様に、AbridgeやOpen Evidence、Cursor、Gammaといった企業と協業することで、エンタープライズの要件を間接的に学んでいる。これらの企業は自社がエンタープライズにサービスを提供しているため、データ保持要件、モデルの透明性、GPUの可用性要件など、エンタープライズが求める条件をBasetenに伝達する。この「翻訳」プロセスを通じて、Basetenはエンタープライズ市場に直接参入しなくても、エンタープライズ向けの機能を開発できると述べた。

9:21中国製オープンソースモデルと地政学的影響

Basetenの顧客は、最先端のモデルを積極的に採用している。GPT-4oからMoonshot、DeepSeek、Orpheus（テキスト音声変換モデル）まで、あらゆるモデルが使用されている。Srivastavaは、顧客はまず性能（capability）を最優先し、その後でコスト最適化を行うと説明する。これは、性能こそが経済的価値の源泉だからだ。しかし、中国発のオープンソースモデル（DeepSeekなど）の台頭は、セキュリティや地政学的な懸念を引き起こしている。

Srivastavaは、中国製モデルに対する懸念について、自身はネットワーク境界を越えてデータセンターに侵入するような「トロイの木馬」が埋め込まれているという証拠を見たことがないと述べる。ただし、初期のモデルでいくつかのバイアスやアジェンダが発見されたことは認めている。彼は、米国が自国のオープンソースモデルを開発することの重要性を強調する。現在、中国では5つの異なるラボがオープンソースモデルを公開しているのに対し、米国ではMetaのLlama以外に有力なオープンソースモデルが不足している。この状況は「massive loss（大きな損失）」であり、米国のイノベーション速度を低下させると警告する。

Elad Gilは、中国政府がオープンソースモデルを補助金で支援している可能性を指摘し、その補助金が実質的に米国のエンタープライズに間接的に還元されているという興味深い構図を提示する。DeepSeekを例に挙げ、同モデルをOpenAIやAnthropicのモデルと比較して20%のコストで運用でき、かつ同等以上のレイテンシと信頼性を提供できると述べる。もし米国がこのようなインテリジェンスにアクセスできなければ、イノベーションの速度が著しく低下するというのがGilの見解だ。ただし、Srivastavaは、現在のフロンティア（最先端）モデルは依然としてクローズドソースのAnthropic、OpenAI、Googleのものであると補足する。

Srivastavaは、中国製モデルを「Metaから出たモデルだと思って使えばいい」という意見に対しては、それでは「木を見て森を見ず」だと批判する。米国が優れたオープンソースモデルを生み出せないのであれば、それは根本的な問題であり、逆に米国が追いつくのであれば、その世界に備える必要があると述べる。彼は、オープンソースモデルのエコシステムが米国にとって戦略的に重要であり、その欠如は国家安全保障上のリスクになり得ると示唆した。

13:07カスタム推論の支配とポストトレーニングの重要性

Basetenで処理されるトークンの95%以上は、何らかの形でカスタマイズされたモデルからのものである。これは、顧客が単にオープンソースの重みをそのまま使うのではなく、自社のデータでモデルを調整し、さらにコンパイル方法も最適化していることを意味する。Srivastavaは、この「カスタム推論」の優位性こそがBasetenのビジネスの核心だと説明する。顧客は品質向上のためにモデルをカスタマイズするだけでなく、パフォーマンス最適化のためにもカスタマイズしており、これがソフトウェアレイヤーの粘着性を生み出している。

Basetenは数ヶ月前、研究チームを持つ企業「Parsed」を買収した。Parsedは元々Basetenの顧客であり、ポストトレーニングサービスを提供していた。Srivastavaは、この買収の背景について、Basetenはインフラとプロダクトの専門家集団であり、研究能力を持っていなかったと説明する。市場がポストトレーニングに大きくシフトする中で、この分野の専門知識を内製化する必要があった。Parsedのチームは現在、顧客のポストトレーニングを支援するとともに、推論とポストトレーニングの連携に関する研究を行っている。

Srivastavaは、推論とポストトレーニングが「同じ問題の両面」であると強調する。推論はデータを生成し、そのデータを使って評価（evals）を行い、その報酬関数に基づいてポストトレーニングを実施できる。これにより、推論がさらなるポストトレーニングを生み、ポストトレーニングがより良い推論を生むという好循環が成立する。具体的には、量子化（モデルの精度を落とさずにサイズを削減する技術）のタイミングや方法が、モデルのトレーニング方法に依存することを例に挙げ、両者が密接に連携していることを示した。

顧客がカスタムモデルに投資すべきタイミングについて、Srivastavaは明確な基準を示す。「まずは最高のモデルで自分自身に価値があることを証明せよ」というのが彼のアドバイスだ。つまり、プロダクトマーケットフィット（PMF）を達成する前にポストトレーニングに投資するのは時期尚早であり、PMFを確認した後で、より良く、より速く、より安くするためにカスタムモデルを検討すべきだと述べる。例えば、カスタマーサポートに特化したモデルは、コーディング能力が不要な代わりに、サポート品質を最大化するように調整できる。このように、ユーザーシグナルを持ち、その価値を証明した企業こそが、カスタムモデルへの投資を成功させると結論づけた。

18:35GPU供給逼迫と長期契約の新常態

AI推論市場における最大の課題は、GPUの供給逼迫である。Srivastavaは、「どれだけ供給逼迫の話を聞いても、人々はその深刻さを本当には理解していない」と述べる。Basetenは大規模なクラスターを運用しているが、その稼働率は常に90%台半ばという「不快なほど高い」水準にある。同社は18のクラウドプロバイダーと90のクラスターにまたがるネットワークを構築しており、新しいプロバイダーを半日以内にBasetenのランタイムファブリックに統合できる体制を整えている。それでもなお、需要に対して供給が追いつかない状況が続いている。

さらに深刻なのは、供給側の品質問題だ。Srivastavaは、多くの新興データセンター事業者が「grifty（怪しい）」と表現し、データセンターの運用経験が不足しており、特に推論に必要なSLA（サービスレベル契約）を理解していないと指摘する。彼の評価では、「良いクラウド」は十数社程度であり、その中でも「ゴールドティア」と呼べるのは3〜4社に過ぎない。つまり、業界は単に供給不足なだけでなく、信頼できるサプライヤーそのものが不足しているという二重の制約に直面している。

この供給逼迫は、契約条件にも大きな変化をもたらしている。過去6ヶ月間で、顧客が希望する契約期間が大幅に長期化した。例えば、信頼できるクラウドからH100（NVIDIAのGPU）を調達する場合、現在は3〜5年の契約が標準となり、さらに総契約額（TCV）の20〜30%を前払いする必要がある。このような条件は、調達側に低い資本コストと確実な需要を要求する。Srivastavaは、この状況がBasetenのIPO（新規株式公開）のタイミングにも影響を与えると示唆する。上場企業になれば資本調達が容易になり、長期契約に必要な資金をより有利な条件で調達できるからだ。

Basetenは、この供給制約の中で競争優位を築くために、独自のランタイムファブリックを活用している。同社は18のクラウドに分散した90のクラスターを一元的に管理し、顧客に対しては単一のインターフェースを提供する。この技術により、特定のクラウドプロバイダーに依存することなく、世界中のあらゆるコンピュートリソースを柔軟に活用できる。Srivastavaは、この「コンピュートへのアクセス」こそが戦略的優位性の源泉であり、大手ラボでさえもコンピュートの確保を最優先事項としていると指摘する。供給が制約された世界では、コンピュートそのものを所有することが最大の競争力となる。

24:09勝者を決める要素：ソフトウェアレイヤーとマルチチップの未来

推論市場で勝者となるためには、何が必要か。Srivastavaは「すべてにおいて卓越すること」と答える。しかし、最も重要な要素はソフトウェアレイヤーだと強調する。GPUの貸し出しだけではコモディティであり、顧客は簡単に乗り換えることができる。しかし、推論の最適化、信頼性保証、マルチクラウド管理、ポストトレーニングとの連携といったソフトウェア機能を組み合わせることで、極めて高い粘着性が生まれる。Basetenのトップ30顧客が一度も解約していないという事実は、この粘着性を如実に示している。

もう一つの重要な要素は、コンピュートへのアクセスである。Srivastavaは「良いホットチョコレートを作るにはミルクが必要だ」という比喩を用いて、コンピュートが推論の不可欠な原材料であることを説明する。供給が制約された世界では、コンピュートを所有すること自体が戦略的優位性となる。大手ラボが自前のコンピュートを確保しようとするのも、この理由からだ。Basetenは、ソフトウェアレイヤーで差別化しつつ、コンピュートへのアクセスを最大化するという二軸の戦略を取っている。

マルチチップの未来について、Srivastavaは「多様化はあらゆる場面で重要」と述べる。彼は推論専用チップやデコード専用チップの登場を予想し、NVIDIA自身もその方向性を示唆していると指摘する。しかし、現実的にはNVIDIAのサプライチェーンとCUDAエコシステムの強さを過小評価すべきではないと警告する。NVIDIAは圧倒的なスケールで生産を行っており、そのエコシステムに参加することで、インフラ企業は最も速く市場に適応できる。他のチップメーカーが競争するためには、同様のエコシステムを形成する必要があるが、多くの新興チップ企業は特定の大口顧客と専属契約を結んでおり、エコシステムの拡大が妨げられている。

Srivastavaは、ランタイムレベルの革新にも注力している。具体的には、プレフィル（プロンプトの前処理）とデコード（トークン生成）を分離してそれぞれを最適化する技術、KVキャッシュの効率的なルーティング、そして推論とポストトレーニングのループを強化するためのパートナーシップ戦略を挙げる。Basetenは、評価（evals）の分野でBrainTrustと連携し、サンドボックス環境の構築や継続的学習のAPI整備を進めている。Srivastavaは、Basetenの製品ビジョンを「推論を核とし、供給をアンロックし、価値を積み上げる」と要約する。つまり、推論のコアを極めた上で、上流（コンピュート調達）と下流（ポストトレーニング、評価、サンドボックス）の両方向に価値を拡大していくという戦略だ。

31:08スケールのエッジケースと運用文化

Basetenが30倍の成長を遂げる中で、スケールならではの課題も浮き彫りになっている。Srivastavaは、ハイパースケーラー（AWS、GCPなど）の製品にもスケール限界が存在することを指摘する。例えば、fluent bit（ログ収集ツール）のワーカーが過剰なログを生成し、特定のノードに集中した結果、カーネルパニック（OSレベルの致命的エラー）が発生した事例を挙げる。このような問題は、システムレベルおよびカーネルレベルでのみ顕在化する。また、LLMのランタイム自体がまだ未成熟であり、KVキャッシュの使用方法も今後さらに洗練される必要があると述べる。

Srivastavaが最も「夜も眠れない」問題として挙げるのは、やはり容量（capacity）である。彼は「今後5〜10年でLLMから引き出したい価値を実現するのに十分なコンピュートは存在しない」と断言する。もう一つの懸念は、市場の大きさと成長速度に合わせて、いかに攻撃的に拡大するかという点だ。Basetenは既に急成長を遂げているが、「もっと大きく、もっと速く」というプレッシャーが常に存在する。

組織のスケーリングに関して、Srivastavaはリーダーシップの重要性を強調する。Basetenは12〜18ヶ月前までは非常にフラットな組織だったが、Elad Gilの助言を受けてリーダーを採用し始めた。彼は「エンジニアはすべてをオーバーヘッドと見なす傾向があるが、信頼できるリーダーシップチームを持つことの重要性を学んだ」と語る。採用の基準として、「ホールプロブレム（問題全体）を任せられる人」「ファーストプリンシプル（第一原理）から考える人」「仕事を優先するが、親切で協力的な人」を挙げる。ヒーロー文化を否定し、エゴの低い環境を重視している。

Basetenの運用文化は、まさに「オンコール（待機対応）」が中心にある。Srivastavaは「推論は止められない」と断言し、自身も常にSlackから離れられない状態にあると認める。彼の共同創業者であるAmirの7歳の子供が「それってP0（最優先障害）？」と尋ねるという逸話は、この文化が家庭にまで浸透していることを示している。BasetenではP0が発生すると、全員が即座にコールに参加する。Srivastavaは、この文化が「パジェリズム（ページャー対応を避ける姿勢）」を持つエンジニアを自然に排除すると述べる。この運用文化こそが、Basetenが高信頼性の推論サービスを提供できる基盤となっている。

38:19ジェヴォンズのパラドックスと推論需要の無限ループ

AIコミュニティでは、ジェヴォンズのパラドックス（効率化が需要を増大させる現象）が頻繁に議論されている。Srivastavaは、このパラドックスが現実のものとなっていると断言する。推論コストが低下すると、開発者はより多くのインテリジェンスをアプリケーションに組み込むようになる。具体的には、エージェントの実行時間が長期化し、より複雑なタスクを処理するようになる。Basetenの顧客は、推論コストの低下に伴い、「この品質に到達するためにこれだけの推論が必要」という計算を常に上方修正している。

Srivastavaは、推論の効率化が需要を減らすどころか、むしろ拡大させるメカニズムを説明する。消費者はより良い回答とより良い体験を求めるため、インテリジェンスの向上は直接的な価値につながる。開発者の視点では、推論が安くなればなるほど、より多くのインテリジェンスを挿入するようになる。この好循環により、推論の総需要は増大し続ける。彼は「推論コストの低下は、さらなる推論を生む」と要約し、この市場が「最後の市場」と呼ばれる所以を説明する。

将来の展望として、Srivastavaは「すべての人がパーソナルコンシェルジュを持つ世界」を描く。医療、教育、生活管理の各分野で、個人専用のAIエージェントが活動するようになる。医療では医師がより良いツールにアクセスできるようになり、教育では個別化された学習体験が提供される。ソフトウェアエンジニアの需要が減少するという懸念に対しては、むしろ「より多くのソフトウェアを構築する」と反論する。Baseten自体もソフトウェアエンジニアの採用を減らしておらず、むしろ増やしている。

Srivastavaは、既存のソフトウェア企業に対して「インテリジェンスを挿入したバージョン」への進化を促す。ClaudeがFigmaを必要としなくなるのではなく、むしろワークフロー企業がインテリジェントな機能を統合することで、エンドユーザーにより大きな価値を提供できると述べる。この変革を受け入れない企業は「extinction moment（絶滅の瞬間）」を迎えると警告する。推論市場は単なるGPUの貸し出しではなく、認知（cognition）の単位を販売する新たな市場であり、その規模はソフトウェアやデジタル化をはるかに超えるものになると結論づけた。

結びに

今回のエピソードは、AI推論市場の現状と未来を、現場の最前線で戦う起業家の視点から描き出した貴重な回となった。Tuhin Srivastavaの語る「推論は最後の市場」というフレーズは、AI業界の本質を突いている。彼の主張の核心は、ソフトウェアレイヤーこそが差別化の源泉であり、単なるGPUの貸し出しでは持続可能な競争優位は築けないという点にある。Basetenの30倍成長と10億ドル収益という数字は、この戦略が現実の市場で機能していることを証明している。

特に印象的だったのは、供給逼迫の実態と、それに対するBasetenの対応策だ。18のクラウドと90のクラスターを統合するランタイムファブリックは、単なる技術的優位性ではなく、供給制約下での生存戦略そのものである。また、中国製オープンソースモデルに対する冷静な評価と、米国のオープンソースエコシステムの重要性を訴えた点は、地政学的な視点からも示唆に富む。Srivastavaが「DeepSeekを20%のコストで運用できる」と述べた数字は、オープンソースモデルの経済的インパクトを如実に示している。

最後に、彼が描く「コンシェルジュ・エブリシング」の未来像は、AIがもたらす社会変革の大きさを改めて認識させる。推論コストの低下が需要を拡大するというジェヴォンズのパラドックスが現実のものとなり、AIの普及は加速する一方だ。このエピソードは、AI推論市場が単なるインフラビジネスではなく、次世代のソフトウェア産業そのものを形作る戦略的な市場であることを、具体的なデータと事例で示した点で、極めて重要な意味を持つ。

要点

• Basetenは過去1年間で30倍成長し、今年度の収益は10億ドルを超える見込みであり、AI推論市場の急拡大を象徴している。
• 推論市場は「最後の市場」であり、AGIが実現しても最後に残るのは推論という行為そのもの。ソフトウェアレイヤーを含めた推論サービスは極めて粘着性が高く、トップ30顧客の解約率はゼロ、年間NDRは400%に達する。
• アプリケーション層は存続する。その理由は、企業が持つ独自のユーザーシグナルをワークフローやポストトレーニングに組み込むことで、大手ラボには模倣できない価値を生み出せるからだ（例：Abridgeの医療ワークフロー統合）。
• Basetenで処理されるトークンの95%以上はカスタムモデルからのものであり、顧客は単にオープンソースの重みを使うのではなく、品質とパフォーマンスの両面でモデルを最適化している。
• GPU供給は深刻に逼迫しており、信頼できるクラウドプロバイダーは3〜4社のみ。長期契約（3〜5年）と総契約額の20〜30%前払いが標準化しつつあり、資本コストが競争力の鍵となっている。
• 中国製オープンソースモデル（DeepSeekなど）は、米国のモデルと比較して20%のコストで運用可能であり、米国が自国のオープンソースエコシステムを強化しない場合、イノベーション速度の低下という「大きな損失」が生じる。
• 推論の効率化は需要を減らすどころか、ジェヴォンズのパラドックスにより需要を拡大する。推論コストの低下は、より長時間・高機能なエージェントワークフローを可能にし、総需要を増大させる好循環を生む。
• Basetenの戦略は「推論を核とし、供給をアンロックし、価値を積み上げる」こと。ランタイム最適化、マルチクラウドファブリック、ポストトレーニングとの連携を三位一体で推進し、認知の単位を販売する新市場の創造を目指す。