次の大きなブレイクスルーは、AIが実務で学ぶことから生まれる

ドワーケシュ・パテル（Dwarkesh Patel）がホストを務めるポッドキャスト「Dwarkesh Podcast」の本エピソードは、AI研究の最前線における核心的な研究上の賭けを深く掘り下げる内容となっている。パテルは、現在の主要なAIラボが「検証可能なタスクを数百万件、多様なRL環境で訓練すれば、汎用人工知能（AGI）に到達できる」という仮説に賭けていると指摘する。この楽観論の根底には、訓練時のサンプル効率の低さや継続学習の欠如といった現在のパラダイムの欠点は、LLM（大規模言語モデル）の登場時に自然言語処理の根本的な問題が計算量の増大によって解決されたように、訓練の規模を拡大することで克服できるという信念がある。

しかしパテルは、この楽観論に対して根本的な疑問を投げかける。特に、AIが実際の職場で「オン・ザ・ジョブ・ラーニング（仕事をしながら学ぶこと）」を行う能力の重要性を強調する。彼は、検証可能性（verifiability）だけでなく、「グラインダビリティ（grindability）」、すなわち決定論的で再生可能なシミュレーター上で多数の並列ロールアウトを実行できるかどうかが、AIの進歩を左右する重要な要素だと論じる。コーディングや数学のような分野ではこれが可能だが、実世界の複雑なタスク（ビジネスの構築、訴訟の勝利、選挙戦の支援など）では不可能であり、そこにはサンプル効率の劇的な改善が必要となる。本エピソードは、RLVR（Reinforcement Learning from Verifiable Rewards）の限界、コンテキスト内学習と重みへの学習の蒸留、そして「夢見る（dreaming）」という未来的なアプローチまで、AIが真に人間のように継続的に学習し成長するための道筋と課題を、具体的な技術的議論とともに提示する。

0:00ラボが賭ける「RLVR汎化」のシナリオ

現在の主要AIラボが共有する大きな研究上の賭けは、検証可能な報酬を用いた強化学習（RLVR）を、数百万もの多様なタスクと数千もの異なるRL環境で訓練すれば、その結果として得られるエージェントは、誤りや曖昧さに直面しても数週間にわたってオープンエンドなタスクを進捗させることのできる、真の汎用的問題解決能力を獲得するというものだ。このシナリオの支持者は、現在のモデルが人間と比較して訓練時に約100万分の1のサンプル効率しか持たないという批判に対しても、それは訓練という一度きりのコストであり、数十億回のセッションにわたって償却されると反論する。重要なのは、セッション中のモデルの賢さと汎用性であり、これはRL訓練の進展とともに明らかに向上していると彼らは主張する。

さらに、継続学習の必要性についても、コンテキスト内学習（in-context learning）が十分に長い時間軸にわたって機能すれば、モデルの重み（weights）に学習内容を蒸留する必要はなくなるという立場を取る。人間の従業員が職場で戦力になるまでに6ヶ月以上かかるとしても、AIであればその期間に相当する情報をコンテキストウィンドウ内に収めてしまえば良いという発想だ。トランスフォーマーのアーキテクチャ革新によりコンテキスト長は劇的に増加しており、将来的には無限に近いコンテキストウィンドウが実現する可能性もあると彼らは見込んでいる。

しかしパテルは、このRLVRの汎化がどこまで有効かは経験的な問題だと指摘する。AnthropicのCEOであるDario Amodei（ダリオ・アモデイ）が同ポッドキャストで述べた「短いコンテキスト長で訓練したモデルを長いコンテキスト長で運用すると性能が低下する」という発言を引用し、短い horizon（時間軸）のRL訓練が長い horizon のパフォーマンスに必ずしも汎化しないことを示唆する。もしそうであれば、ホワイトカラーのタスクで訓練されたエージェントが、実世界に放り込まれてサム・ウォルトンのようにゼロからビジネスを構築できる能力を持つとは考えにくい。RLVRの汎化が無限に強力ではないという証拠が、ここに存在する。

6:10検証可能性だけでは不十分：グラインダビリティの壁

パテルは、AIの進歩を理解する上で「グラインダビリティ（grindability）」という概念が極めて重要だと主張する。これは、あるタスクが検証可能であるだけでなく、決定論的で再生可能なシミュレーター上で、同一の開始点から多数の並列ロールアウトを実行できる性質を指す。コーディングはこの典型例であり、特定の機能を実装するタスクに対して、同一のソフトウェアリポジトリを持つコンテナを千個用意し、千のエージェントに並列で取り組ませることが可能だ。

これに対し、コンピュータ使用（computer use）の進歩がコーディングや数学に比べて著しく遅い理由は、このグラインダビリティの欠如にあるとパテルは分析する。例えば、Amazonのチェックアウトフローを改善するために千のエージェントを同時に走らせることは、ボット対策により事実上不可能だ。SlackやGmailなどのクローンを社内で構築すれば解決可能だが、現状では極めて労働集約的でスケーラビリティに欠ける。ただし、AI自身がコーディング能力を高めてこれらのクローンを高精度で自動生成できるようになれば、コンピュータ使用の問題も急速に解決されるだろうとパテルは予測する。

このグラインダビリティの欠如は、コンピュータ使用に限った問題ではない。ビジネスのゼロからの構築、訴訟での勝利、市場での収益性の高いトレード、候補者の選挙勝利など、実世界との相互作用を必要とするほとんどの領域では、ロールアウトに数ヶ月から数年を要し、モデルの行動をわずかに摂動させて何が有効だったかを特定するような並列実験は不可能だ。このような「リセット不可能で非定常な環境」での学習は、RL分野の既知の未解決問題であり、そこではサンプル効率が決定的な鍵を握る。AIが人間の持つすべてのスキル、あるいは人間を超えるスキルを獲得するためには、構造化されず検証も曖昧な、希少な実世界の相互作用から学習できるようにならなければならない。

8:41推論計算の無駄と重みへの学習の蒸留

パテルは、現在のAI運用における重大な非効率性を指摘する。AIラボの計算資源の約30～50％が推論（inference）に費やされているが、この推論計算はモデルの改善に全く貢献していない。これは単なる無駄以上のものであり、モデルが実際に学習できる最も価値のある情報（組織内での実際の使われ方、ユーザーのニーズ、実世界での誤りのパターンなど）は、まさにこのデプロイメント（実運用）の中で明らかになるからだ。パテルはこれを「優秀な大学院生に一度も実習をさせず、ひたすら教室でのケーススタディ（RL環境での訓練）だけを与え続けているようなものだ」と痛烈に批判する。

この問題を解決するためには、モデルがセッション中に学習した内容を、再びモデルの重みに書き戻す（蒸留する）継続学習（continual learning）のメカニズムが必要となる。しかし、単にKVキャッシュ（Key-Value cache）を拡大し続ける方法はスケーラブルではなく、人間の脳のようにパラメータと活性化の間に明確な区別がない生物学的学習とも異なる。人間の学習は、すべての観察を完全に記憶することではなく、本質的な直感と大局的な知識を重みに刻み込むことにあり、これは情報の圧縮と汎化を伴う。

しかし、重みへの更新にはサンプル効率の問題が立ちはだかる。勾配更新（gradient update）は本質的にサンプル効率が悪く、現在成功しているオンライン学習モデル（例えばCursorのタブ補完モデル）は、1日4億リクエスト以上という膨大なデータから同一の目的関数を学習している。異なるユーザーに対して異なる内容を学習させるような、真にパーソナライズされた継続学習はまだ実現していない。各ジョブや企業、問題はそれぞれ異なるという世界の複雑さに対応するためには、このサンプル効率の問題を克服するアーキテクチャ上の革新が必要となる。

12:04オン・ポリシー自己蒸留（OPSD）と「夢見る」アプローチ

パテルは、継続学習のための有望な技術として「オン・ポリシー自己蒸留（On-Policy Self-Distillation、OPSD）」を紹介する。このアイデアは、長いセッションの後にコンテキストを蓄積した「教師モデル」の予測を、ベースモデルが模倣するように訓練するというものだ。OPSDはRLVRに比べて二つの利点がある。第一に、外部ループの検証可能な報酬を必要とせず、モデルがコンテキストウィンドウ内で正しいことを学習できれば良い。第二に、単一の報酬信号を軌跡全体に投影するナイーブなRLよりも、トークン単位の確率の差という密な教師信号を提供できる。

OPSDは単純な教師ありファインチューニング（SFT）よりも優れている。SFTでセッション中の全トークンを予測させることは、仕事の上達方法としては不合理だ。仕事の上達は、毎日の出来事を完全に再生することではなく、関連する洞察と知識を統合することにある。RLはこの点で優れており、結果を正しくするために必要な情報にのみ更新を集中させる。実際、RLの訓練ステップでは非常に少数のパラメータしか変更されず、これは他の知識を上書きして忘れてしまう「破滅的忘却（catastrophic forgetting）」を防ぐ上で重要な特性である。

さらに未来的なアイデアとして、パテルは「夢見る（dreaming）」アプローチを提案する。これは、AIが実世界のシミュレーションを自ら構築し、その中で新しいスキルを練習したり、代替戦略を試したりするというものだ。DeepMindのAlphaZeroの後継であるEfficientZeroは、実ゲームの1ステップごとに頭の中で数十のシミュレーションゲームをプレイすることで、人間よりも高いサンプル効率を達成した。同様に、将来のLLMは、実世界のデータをほとんど消費せずに、自己構築した環境で無限に練習できる可能性がある。もちろん、囲碁のシミュレーションよりも世界全体のシミュレーションの方がはるかに難しいが、もし成功すれば、これは「事前訓練」「RL」「推論時計算」に次ぐ第四のスケーリング軸となる。パテルはこれを「テスト時訓練（test-time training）」または「夢見る」と呼び、ユーザーが「/dream」と打ち込むことで、モデルが膨大な計算を消費して実世界のビデオゲーム版を構築し、それに対して訓練を行う未来を描く。

15:222027年の継続学習シナリオ：デプロイメントが訓練になる

パテルは、2027年から2028年頃の継続学習の実現シナリオを提示する。まず、RLVR訓練によって、未知の問題に直面しても方向性を見定め、異なる戦略を試し、障害に直面した際に反復できるエージェントが生まれる。これが実世界の経験から学習するための最低限の基盤となる。このエージェントが実世界に送り出され、実際の仕事を行う。この時点で、効果的なコンテキスト長は拡大しており、AIは人間と丸一週間の壁時計時間にわたって共同作業できるようになっている。

一週間の終わりに、人間はAIに対して「良い仕事をした（thumbs up）」か「悪かった（thumbs down）」という仕事のレビューを与える。もし「良い」という評価が与えられれば、ベースモデルはAIがセッション中に学習したすべての内容を蒸留する。この蒸留にはOPSDや夢見るアプローチ、あるいはまだ知られていない技術が使われる。このプロセスにより、AIはRLVR訓練で明示的に訓練された領域に隣接するドメインでも能力を発揮できるようになり、さらに次のサイクルでは、オンライン学習した内容に隣接する領域へと能力を拡大していく。

このようにして、AIのスキルと知識の範囲は、元々訓練された検証可能な領域をはるかに超えて拡大する。事前訓練がRLVRを適用するのに十分スマートなベース知能を生み出したように、RLVRは実世界に広くデプロイされ、そこでオン・ザ・ジョブ・ラーニングを行うのに十分な能力を持つエージェントを生み出す。この時点で、AIの改善の主な源泉は、公開前の訓練ではなく、経済全体に広くデプロイされ、多様なタスクに従事することで蓄積される経験となる。ユーザーがAIと対話するたびに、AIは以前のセッションから学習しているだけでなく、世界中の他のすべてのユーザーとの相互作用からも学習しているため、より賢くなっている。これは、現在のAIの改善方法とは根本的に異なる、刺激的でありながらも恐ろしい未来像である。

結びに

本エピソードの核心は、AIの進歩を「訓練時の計算量」という単一の軸で捉えるのではなく、「デプロイメント後の継続学習」という新たな次元を導入する必要性を力強く論じた点にある。パテルは、RLVRの汎化に対する楽観論を批判的に検討し、グラインダビリティの壁、サンプル効率の課題、そして推論計算の無駄といった具体的な問題を浮き彫りにした。その上で、OPSDや夢見るアプローチといった技術的な解決策の可能性を示し、2027年にはAIの改善の主軸が「訓練」から「実運用での経験」へと移行するシナリオを描いた。この議論は、単なる技術予測を超えて、AIが真に人間のパートナーとして機能するために必要な条件を明確にした点で、極めて示唆に富む内容となっている。リスナーは、AGIへの道筋が単なるスケーリング則の延長線上にあるのではなく、学習のパラダイムそのものの変革を必要とすることを強く認識させられるだろう。