The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

BasetenのPhilip Kiely（フィリップ・キーリー）とAli Taha（アリ・タハ）を迎えた今回のエピソードは、推論エンジニアリングという分野の現在地と未来を、実務者の視点から徹底的に掘り下げた内容だ。ホストのswyx（スウィックス）とVibhu（ヴィブ）は、まず「20万トークンのクエリをBasetenに送ったら何が起きるのか」という具体的な質問から始め、キャッシュ認識ルーティング、プレフィルとデコードの分離、投機的デコードといった一連の最適化技術の仕組みを引き出していく。会話はやがて、モデルの量子化、ハードウェアの進化、ビデオ生成の課題、そして訓練と推論の収束という大きなテーマへと広がっていく。Basetenが最近調達した130億ドル（約2兆円）という巨額の資金調達や、同社が「推論インフレクション」の最大の受益者の一角であるという背景も、この対話に重みを与えている。

エピソード全体を貫くのは、推論エンジニアリングがもはや「訓練の後の最終ステップ」ではなく、独自の研究課題とインフラを持つ独立した工学分野になったという認識だ。Kielyは著書『Inference Engineering』でこの分野を体系化し、TahaはKimi K3の分解記事をバイラルさせた実務者として、理論と現場の橋渡し役を務める。二人の説明は、単なる技術解説に留まらず、なぜ推論の最適化が今なお20%や100%、時には200%もの改善をもたらすのかという、この分野の未成熟さと可能性を浮き彫りにする。訓練済みモデルの重みを「速く、信頼でき、手頃な価格の製品」に変えるという課題は、モデルアーキテクチャ、ハードウェア、システム設計が交差する複雑な問題であり、その最前線にいる二人の実践的な知見が随所にちりばめられている。

00:0320万トークンのクエリが辿る道筋

swyxの「20万トークンのクエリを送ったら何が起きるのか」という問いに対し、Kielyはまず「以前に同じクエリを送ったことがあるか」と逆に尋ねることから始める。もし過去に送ったことがあれば、その入力の一部はすでにKVキャッシュとして保存されており、プレフィル（入力処理）の一部をスキップできるからだ。これが「キャッシュ認識ルーティング」と呼ばれる技術で、システムは複数のレプリカの中から、利用可能なプレフィルワーカーがあり、かつキャッシュされた入力が存在するインスタンスを選択する。20万トークンのクエリはコーディングやマルチターンエージェントのケースが多く、そうした用途ではキャッシュヒット率が高いと期待できる。

キャッシュがない場合、クエリはプレフィル専用のGPUに送られ、そこでKVキャッシュが作成されて最初のトークンが生成される。その後、デコード専用の別のGPUセットに処理が引き継がれる。これが「分離型プレフィル・デコード（PDディスアグリゲーション）」だ。さらに、その前に投機的デコーディング用の小さなモデル（スペキュレータ）が介入する。コーディング用途だと仮定すれば、その用途に特化して訓練されたスペキュレータは高いトークン受理率を達成できる。しかし、もしハリー・ポッター全巻の要約を頼んだなら、スペキュレータの精度は落ち、処理は遅くなるだろう。

この説明から浮かび上がるのは、推論システムが単一のモノリスではなく、複数の最適化レイヤーが積み重なった複合体だということだ。キャッシュ、プレフィルとデコードの分離、投機的デコード、そしてルーティング。それぞれの要素が独立して機能しつつ、全体としてレイテンシとスループットのバランスを最適化している。Kielyの説明は、ユーザーが意識することのない「見えないインフラ」の複雑さを明確に示している。

00:03専用デプロイメントと投機的デコードの実践

パブリックAPIと専用デプロイメントの使い分けについて、Tahaは「非常に高いボリュームを処理するユーザーは、ボックス単位でレンタルする方がはるかに安価になることが多い」と指摘する。1時間あたり数百万トークンを処理するようなケースでは、トークン単位の課金よりも時間単位のレンタルの方が経済的だ。Basetenでは、まずパブリックAPIでオープンモデルを試し、ユースケースが固まったら専用デプロイメントに移行するという流れが一般的になっているという。

専用デプロイメントに移行する理由はコストだけではない。信頼性も大きな要因だ。特定のユースケースに特化したスペキュレータを訓練できるという利点がある。投機的デコーディングは、巨大なモデルが1トークンずつ生成するのに対し、小さな「寄生虫」モデルが3トークンを高速に予測し、その後で元のモデルが一度のフォワードパスでそれらの予測を検証する仕組みだ。このドラフトモデルはトラフィックに特化して訓練できるため、ハリー・ポッターの要約専用に訓練すれば、3トークンすべてが受理されることをほぼ保証できる。しかし、共有エンドポイントではユーザーが何をしているか分からないため、このような特化は不可能だ。

また、専用デプロイメントではバッチサイズや並列化戦略を特定の要件に合わせて調整できる。スループットを優先するかレイテンシを優先するか、NVFP4量子化がベンチマークを通過しないなら高精度で実行するかなど、細かい制御が可能になる。さらに、他のユーザーが1億トークンのベンチマークトラフィックをエンドポイントに流してくる心配もない。Kielyは「クラシックな移行パターン」と表現するが、これは多くの企業がたどる典型的な道筋だ。

00:11新モデルを本番稼働させるまでの道のり

新しいオープンモデルがリリースされたとき、推論プロバイダーが「サポート」を宣言するまでに何が起きているのか。Kielyは「トークンを生成できる」状態と「本番対応のAPIを提供できる」状態には大きな隔たりがあると説明する。オープンソースの推論エンジン（vLLMやSGLangなど）は、モデル開発者が事前に重みを提供したり、サポート用のPRをマージしたりすることが多いため、標準的なスタックで動かすこと自体はそれほど難しくない。しかし、各推論企業は独自のプロプライエタリなスタックを持っており、任意のモデルには必ず新しい対応が必要になる。

具体的には、まず量子化の作業がある。多くのモデルはNVFP4形式でリリースされないため、Blackwellとの互換性を最大化するために、Baseten側で量子化とキャリブレーションを実施する必要がある。次にスペキュレータの訓練だ。スペキュレータはベースモデル自体を使って訓練する必要があり、特定のプロンプトで推論を実行して得られる隠れ状態が訓練データとなる。さらに、インフラの構築、ロード、テストという一連のプロセスが続く。アーキテクチャが新しいモデル（DeepSeek系など）は特に難易度が高く、GLM 5.2の場合はDeepSeek由来のDSA（Deep Sparse Attention）のサポートをランタイムに組み込む必要があった。

この文脈で語られたのが、KimiのビジョンエンコーダーをGLM 5.2に「移植」したという興味深い事例だ。GLM 5.2には視覚機能がないため、チームのHayley（ヘイリー）というメンバーが、KimiのビジョンエンコーダーとプロジェクターをGLM 5.2に接続した。エンコーダー（画像を潜在情報に変換する部分）とモデル重みは凍結したまま、プロジェクター（潜在情報をモデルにマッピングする部分）だけを訓練するというアプローチだ。プロジェクターは数百万パラメータ程度の小さなモジュールで、最初は「この画像に何が写っているか」という単純な記述タスクから始め、徐々に「この画像に白人の男性が写っているか」「鳥が右上の角にいるか」といった質問応答形式に進化させていった。Tahaは「グローキング（grokking）が起きるのを目の当たりにした」と興奮気味に語る。最終的にこのモデルはMMLU-Proで50点を達成し、画像入力がない場合のGLM 5.2の品質は一切損なわれないという。

00:19モデル改修、障害モード、非決定性

モデルレイヤーの「レトロフィット」も、推論エンジニアリングの重要な仕事になっている。Minimax M3のヘッドはフルアテンションを使用しており、これが推論のボトルネックになる。アテンションはシーケンス内の全トークンに対してO(n²)の計算を行うため、KVキャッシュが巨大になり、処理が遅くなる。そこでBasetenは、この非効率なレイヤーを、GQA（Grouped Query Attention）を使用する別のモデルのレイヤーに置き換えるという手法を取る。適切な訓練を行えば、同じ受理率を達成できるという。Kielyは「レイヤーが非効率なら、それを交換する。訓練が課題になる」と述べ、推論を高速化するためには高度な訓練技術が必要になるという「訓練と推論の融合」を強調する。

本番環境にモデルを公開すると、予期せぬ障害が発生することもある。GLM 5.2では、特定のプロンプトと温度設定で「モード崩壊」が発生し、同じトークンを繰り返し出力する問題が起きた。Basetenのエンドポイントには、同じトークンが4回以上連続したら生成を停止して再試行するループ検出機能が組み込まれている。興味深いのは、この問題が「s」という特定のトークンで頻発することだ。温度ゼロでも発生するため、モデルの重みの問題ではなく、ソフトウェアやハードウェアの非決定性に起因すると考えられる。

この非決定性はさらに深い問題を引き起こす。同じ重みを使っても、推論エンジンが異なれば問題が再現しないことがある。また、同じモデルを別のクラスターにホストすると問題が発生するが、別のクラスターでは発生しないというケースもある。原因はノード間のKVキャッシュ転送に使われるインターコネクトの速度差で、遅いインターコネクトがレースコンディションを露呈させるのだ。Tahaは「これはソフトウェアの問題か、モデルの重みの問題か、それともハードウェアの問題か」という判断に苦慮することがあると語る。温度ゼロでも同じ出力が保証されないのは、主にハードウェアの非決定性によるものだ。

00:28量子化と誤差の相殺

量子化は推論最適化の中で最も「ロッシー」（損失を伴う）な技術だ。Kielyは品質の考え方について「ゴールデンな実装に対する忠実度」と定義する。つまり、モデルが設計された通りに100%の性能を発揮する状態を基準に、どれだけ近づけるかが品質だ。Basetenの内部標準は「自社のAPIと公式APIの違いをユーザーが判別できないこと」であり、Kimiはベンダーベンチマークを公開して他社の量子化品質を検証するなど、この分野の先頭を走っている。

量子化の品質を左右する要素は、データ形式、どのレイヤーを量子化するか、そしてキャリブレーションの質だ。画像モデルでは、変調レイヤーと出力プロジェクションは量子化しないという経験則がある。出力プロジェクションはユーザーが直接目にする部分であり、変調レイヤーはモデル自身の理解に関わる部分だからだ。

ここでTahaが紹介したのが、Basetenの研究インターンJoshua（ジョシュア）による画期的な発見だ。量子化は情報を失うため、一般的には「量子化すればするほど品質が下がる」と考えられている。しかしJoshuaの数学的証明によれば、量子化誤差はレイヤー間で相殺し合うことがある。あるレイヤーの誤差が右に偏り、別のレイヤーの誤差が左に偏れば、全体として元の分布に近づく可能性があるのだ。この理論に基づいて量子化するレイヤーを選択することで、BasetenはNVIDIAよりも20%多く量子化しながら、品質はむしろ向上させた。検証にはKLダイバージェンスを使用し、量子化モデルのロジット分布が元のモデルとどれだけ似ているかを測定した。この研究は当初72ページの論文だったが、公開時には39ページに圧縮されたという。

00:3210倍高速化への競争

推論エンジニアリングの魅力は、改善の規模がまだ大きいことだ。Kielyは金融業界との比較を持ち出す。「金融では5ベーシスポイント（0.05%）の改善が大きなニュースになる。しかし推論では20%、100%、200%の改善が当たり前だ。研究者が『1%速くなった』と発表するようになったら、この分野は成熟したと言えるだろう」。実際、1970年代のクオンツ金融では20%台のリターン差が普通だったが、現在はほぼゼロに収束している。推論エンジニアリングはその初期段階にあるというわけだ。

具体的な数値目標として、Kielyは「標準的なAPIで1兆パラメータモデルを30〜50トークン/秒で運用する」というベースラインを挙げる。そこから最適化を積み重ねて10倍の300〜400トークン/秒を目指す。ただし、これは最高のハードウェア、最適化されたスペキュレータ、徹底した量子化、高いキャッシュヒット率、レイテンシ重視のバッチサイズと並列化構成が揃って初めて可能だ。実際には4〜6倍の改善が現実的な範囲だとKielyは認める。

同じハードウェアとGPU数で比較した場合、推論最適化による改善は2〜4倍程度だ。その内訳は、スペキュレータと量子化で約95%を占める。BF16からNVFP4への量子化は、16ビットから8ビットで30〜40%の改善、8ビットから4ビットでさらに30〜40%の改善をもたらす。スペキュレータで約2倍、PDディスアグリゲーションで約2倍、そして最新のカーネルとランタイムで数十%の改善が加わる。ただし、これらの最適化を一から構築するには、量子化に数時間から数日、スペキュレータの訓練にも同様の時間がかかる。幸い、今日ではNVIDIAや各プロバイダーが量子化済みチェックポイントやスペキュレータを公開しているため、通常のユーザーはそれらを利用すればよい。

00:40Dynamo、投機的デコード、そしてローカルAIとの違い

NVIDIA Dynamoについて、Kielyは「アウトオブボックスで動くシステムというより、構築のためのツールキット」と位置づける。DynamoはKVキャッシュの移動、KVオフロード、PDディスアグリゲーションを調整するオープンソースライブラリで、NVIDIAのKarl（カール）との共同作業で開発された。しかし「pip install dynamo」するだけで劇的な高速化が得られるわけではなく、デフォルト設定を自社のユースケースに合わせて調整する必要がある。

投機的デコードの進化も話題に上った。書籍で紹介したMedusaやEAGLEはすでに古い技術になりつつあり、最新の研究では「投機的デコードの投機的デコード」とも言うべき手法が登場している。Tri Dao（トリ・ダオ）によるこの論文は、スペキュレータ自体をさらに小さなモデルで予測するというものだ。しかしTahaは、この訓練の複雑さがGAN（敵対的生成ネットワーク）の訓練に匹敵すると指摘する。「繊細なバランスが必要で、追加の複雑さに見合うかは疑問だ」。スペキュレータのサイズは通常、元のモデルの約60分の1（1層程度）で、GLMでは約10億パラメータだという。

ローカルAIとデータセンターAIの推論エンジニアリングの違いについて、Kielyは鋭い対比を示す。「ローカルAIは『モデルをハードウェアにどう収めるか』が課題で、目標は『あまりバカにしないこと』。データセンターAIは『モデルをどうロードするか』が課題で、目標は『あまり遅くしないこと』だ」。ローカルAIの分野は動的量子化やプルーニング、蒸留などで先進的だが、データセンターにはそのまま適用できない。例えばTurboQuantはMacBookのようなメモリ帯域幅の遅いデバイスでは大きな効果を発揮するが、B200の3.5TB/秒という帯域幅では、カーネル内の逆量子化オーバーヘッドが節約時間を上回ってしまう。NVIDIA自身も「これは良い最適化ではない」と明言しているという。

00:50モデル並列化、オートチューニング、メガカーネルへの懐疑

モデル並列化の基本として、テンソル並列（TP）とエキスパート並列（EP）が説明された。TPはモデルをGPU全体にシャーディングし、各ステップで全GPUの結果を結合するため、NVLinkのような高帯域幅のインターコネクトが必須だ。一方、EPはMoE（Mixture of Experts）モデル専用で、各エキスパートをGPUに配置し、ルーター（非常に小さい）を各GPUに複製する。エキスパート間の移動はGPU内で完結するため、GPU間通信の負荷が少ない。一般的にTPはレイテンシに有効で、EPはスループットに有効だが、実際のモデルではこれらを組み合わせて使用する。パイプライン並列（PP）は、モデルが単一ノードに収まらない場合の最終手段であり、H100のようなHBM容量の少ないハードウェアで巨大モデルを扱う場合にのみ使用される。

並列化構成の選択は、理論的に最適解を導き出すのが難しいため、オートチューニングに頼るのが現実的だ。Tahaは「TP1、TP2、EP1、EP2のような組み合わせを実際のトラフィックでテストし、最良のTPS（トークン/秒）を達成する構成を選ぶ」と説明する。GPUカーネルの設計でも同様で、スレッド数や共有メモリ量などのパラメータをスイープして最適な組み合わせを経験的に見つける。

メガカーネル（カーネル融合）については、Tahaが明確に「ベアリッシュ（弱気）」な立場を示した。理論的には魅力的だが、カーネルの複雑さが実装を困難にし、実際には個々のコンポーネントを最適化して並列実行する方が速い場合が多い。さらに、NVIDIAのRubin（ルービン）GPUの設計はメガカーネルの必要性そのものを減らすという。Tahaは「Rubinはメガカーネルを殺す設計になっている」と述べ、この研究分野が今後継続されない可能性を示唆した。

01:00Rubin、GPUとASICの進化、カスタムAIチップ

Kielyは3つのハードウェア世代（Ampere、Hopper、Blackwell）を経験したベテランとして、Rubin時代の展望を語る。各世代で推論エンジン（vLLMやSGLang）の更新が求められ、そのサイクルは加速し複雑化している。Rubinで重要になるのは、より高速なメモリ帯域幅と、CPU-GPU間およびGPU間のインターコネクトへの注力だ。DynamoがKVキャッシュの移動に特化したシステムであることからも分かるように、KVキャッシュオフロード、KV認識ルーティング、ディスアグリゲーションがRubin時代の中心テーマになる。推論エンジニアリングはCUDAカーネルの問題から、伝統的なハードウェアインフラの問題へと進化しつつある。

Tahaはさらに踏み込んで、GPUが「プログラム可能なAI ASIC」へと進化していると主張する。CUDAでスレッドレベルまで制御する時代から、テンソルコアやUMMA（Unified Memory Access）のような専用命令でデータ操作を指示する時代へ。GPUは「汎用コンピュータ」から「特定のワークロードに特化した計算機」へとスペクトラム上を移動している。しかし、完全なASIC化には懐疑的だ。モデルの重みをチップに焼き付けることは、ファインチューニングや量子化、新しいチェックポイントのリリースができなくなるため非現実的だ。NVIDIAは市場の動向を予測して設計しており、Rubinは「オープンソースモデルが現在の形になる以前から設計が始まった最初のチップ」だとKielyは指摘する。

一方で、垂直統合型のモデルラボASICには一定の合理性がある。Martin Casado（マーティン・カサド）が以前このポッドキャストで語ったように、5,000億ドルの訓練ランがあるなら、そのうち500億ドルをASIC開発に充てても10%の効率向上は見合う。しかし、毎年新しいモデルをリリースするOpenAIやAnthropicのような企業が、毎年新しいASICを設計するのは現実的ではない。モデルの寿命も考慮すべきで、Llama 3やGPT-4のような古いモデルが今も使われている事実は、ASICの陳腐化リスクを高める。

01:10巨大モデルとGPUメモリの限界

Kimi K3のような3兆パラメータのモデルは、ほとんどのハードウェアに収まらない。Tahaは単純な計算を示す。NVFP4量子化で2.8兆パラメータは1.4テラバイトになり、GB300の288GB×8台でようやく収まる。さらにKVキャッシュ用のスペースも確保する必要があるため、巨大なパラメータ数と長いコンテキスト長はGPUメモリ内で「スペースの奪い合い」を引き起こす。これがKVキャッシュオフロードが重要になる理由だ。BlackwellのNVL72ラックは20テラバイトのメモリを持つが、実際には8GPU構成のラックの方がはるかに多く存在する。

ハードウェアの世代はモデルのサイズに影響を与える。DeepSeek R1の6,710億パラメータは当時としては巨大で、Blackwellの早期採用と最適化を強く後押しした。モデルアーキテクチャとネイティブ量子化をターゲットハードウェアに合わせる動きも見られる。NVIDIAのNemotronモデルはBlackwellで非常に効率的に動作するが、これは意図的な設計だ。ただし、ほとんどのオープンラボは特定のチップに最適化するのではなく、できるだけ広いハードウェアで動作するモデルを目指している。

01:12AIビデオ、二次アテンション、自己回帰生成

Tahaはビデオ拡散モデルの課題を詳細に説明する。LLMとは異なり、ビデオモデルはバッチ処理を行わず、各リクエストが1つのGPUで処理される。モデルサイズも小さく、Wan 2.2は200億パラメータ程度だ。しかし、オープンソースとクローズドソースの品質ギャップはLLMよりもはるかに大きい。Wan 2.2とVeoやKlingの差は「昼夜の差」だとTahaは表現する。メディア企業は100倍安いオープンソースモデルよりも、1,000ドルかかるクローズドソースモデルを選ぶ。この需要の偏りがオープンソースのイノベーションを阻害するという「鶏と卵」のサイクルが存在する。

ビデオ生成の根本的な課題はトークン数だ。5秒の480pビデオ（16fps）を潜在空間に圧縮しても、アテンションは35,000トークンに対して実行される。アテンションは二次関数的に増加するため、10秒なら4倍、20秒なら16倍の計算が必要になる。1分のビデオを生成するには、ほぼ不可能な計算量が必要だ。この制約を回避するには、スパースアテンション（各トークンが上位12.5%の関連トークンにのみアテンションする）を使うか、自己回帰モデルに移行するかの二択になる。スパースアテンションは品質を犠牲にし、自己回帰モデルは現状「品質がひどい」とTahaは断言する。

自己回帰ビデオの品質問題は、拡散モデルとの本質的な違いに起因する。拡散モデルは双方向アテンションを持ち、過去のフレームを修正して全体の一貫性を保つことができる。一方、自己回帰モデルは前方のみのアテンションで、過去を修正できない。Grok ImagineやGrok Videoは7秒のチャンクを「縫い合わせる」手法でこの問題を回避しているが、オープンソースにはその技術がない。チャンクを連結すると品質が徐々に劣化し、25秒後には黒い画面になるという「ドリフト」が発生する。Tahaは「デモを見せるのが恥ずかしかった」と苦笑いしながら、この問題を認めた。将来のビデオシステムは、自己回帰と拡散のハイブリッドになるとKielyは予測する。

01:21音声、画像、拡散モデル

音声生成はビデオとは異なり、すでに自己回帰モデルが主流だ。Orpheusアーキテクチャのように、波形を語彙に追加してLLMが直接音声トークンを出力する方式が標準になっている。音楽では拡散モデルと自己回帰モデルの間でトレードオフがあったが、スピーチは完全に自己回帰に移行した。テキストから音声への変換は、LLMがトランスクリプトを生成し、音声モデルがそれを読み上げるという2段階のプロセスだ。

画像生成では、Nano BananaやGPT Imageが自己回帰モデルを採用しており、拡散と自己回帰の「ブレンド」が進んでいる。テキスト拡散モデル（MercuryやDiffusion Gemmaなど）も存在するが、まだ主流ではない。Tahaは「拡散モデルはチャット応答とは異なるAPIを提供すべきだ」と主張する。拡散の特性を活かせば、詩やプロット構造のように「全体が同時に浮かび上がる」ような生成が可能になる。しかし、最大の拡散LLMでも約200億パラメータ程度で、自己回帰モデルと比較してスケールが不足している。Tahaは「同じスケールで比較したことがないのは不公平だ」と指摘する。

01:27訓練と推論の収束、自己最適化モデル、継続的学習

エピソードの後半では、訓練と推論の境界が曖昧になっている現状が議論された。「推論のための訓練」は、スペキュレータの訓練や量子化対応のポスト訓練（QAT、蒸留など）を指す。NVFP4に量子化しただけで品質が低下する場合、モデルに「自分がNVFP4になったこと」を理解させるための訓練が必要になる。NVIDIAは量子化蒸留の論文を発表しており、FP4モデルとフル精度モデルのロジットを使って蒸留訓練を行う手法だ。「訓練のための推論」は、RL訓練時のロールアウト生成を指す。推論エンジンが遅いとロールアウトが遅れ、オフポリシーな訓練データに頼らざるを得なくなる。

最も興味深いのは、モデルが自身の推論インフラを最適化するという「自己最適化ループ」だ。Tahaは社内での実例を明かす。GLM 5.2エンドポイントをクラウドコードハーネスに接続し、GLM 5.2自身にプロファイリングトレースを分析させ、ボトルネックとなっているカーネルを特定し、新しいカーネルを書かせた。そのカーネルをデプロイして再度プロファイリングするというサイクルを繰り返した結果、Basetenの推論エンジンで動作するGLM 5.2用のGPUカーネルの一部は、実際にGLM 5.2自身が書いたものになったという。「モデルが自分の推論を最適化するのは、すでに起きていることだ」とTahaは断言する。

継続的学習については、TahaとCharlie（チャーリー）の間で交わされたTwitter上の議論が紹介された。モデルが新しい知識を重みに組み込む「重みプッシュ」方式と、KVキャッシュの圧縮とLoRAレイヤーで対応する方式だ。Tahaは当初、重みプッシュ方式を支持していたが、Charlieの指摘で考えを改めた。重みプッシュでは「世界で最高の大学はWaterlooだ」という事実を学習させても、「どの大学からインターンを採用すべきか」という二次的な推論にその知識が活用されない。一方、KVキャッシュ圧縮方式なら、知識を失わずに無限に近いコンテキストを維持でき、継続的学習が可能になる。Tahaは「Charlieの主張が正しかったと認めざるを得ない」と語り、KVキャッシュが継続的学習の鍵だという結論に至った。

結びに

今回のエピソードが示したのは、推論エンジニアリングが「GPUを速く回す技術」から、モデル設計、ハードウェア、システムアーキテクチャ、さらには訓練までを含む総合的な工学分野へと進化した姿だ。KielyとTahaの説明は、単なるテクニックの羅列ではなく、なぜこの分野が今なお大きな改善余地を残しているのかという構造的な理解を与えてくれる。量子化誤差の相殺、モデル自身によるカーネル最適化、KVキャッシュによる継続的学習——これらの発見は、推論が単なる「最終ステップ」ではなく、独自の研究フロンティアであることを示している。

特に印象的なのは、推論エンジニアリングの「未成熟さ」がもたらす機会だ。金融業界がベーシスポイント単位の改善に苦心するのに対し、推論では20%や100%の改善が日常的に達成される。この非対称性は、この分野がまだ大きな成長余地を残していることを意味する。同時に、モデルの非決定性やレースコンディションといった「ソフトウェア工学の古典的な問題」が、AIインフラの最前線で再浮上しているのも興味深い。推論エンジニアリングは、AIの進化とともに常に新しい課題を生み出し続ける分野であり、その最前線に立つエンジニアの役割は今後ますます重要になるだろう。