Inside the Model Factory — Eiso Kant、Poolside AI

Eiso Kant（Poolside AI共同創業者）は、2015年にAndrej KarpathyのRNNに関する記事に触発され、コード生成のための言語モデル構築に人生を捧げてきた。4年間で1,200万ドルを費やした最初の挑戦は失敗に終わったが、ChatGPTの登場は彼にとって完全なる「正統性の証明」となった。現在、Poolsideは「Model Factory」と称する独自のエンドツーエンドシステムを構築し、わずか70名未満の研究者と35名のエンジニアで月に1万〜2万もの実験を実行、プレトレーニングからリリースまでを5〜8週間で完了する驚異的なサイクルを実現している。最新モデル「Laguna S 2.1」は1,180億総パラメータ、80億活性パラメータという比較的小規模なモデルでありながら、10倍近い規模のモデルをベンチマークで凌駕し、業界に衝撃を与えた。

本エピソードの核心は、単なるモデル性能の議論を超え、AIの未来像そのものを問う点にある。Eisoは「5社による寡占よりも、100社のファウンデーションモデル企業が存在する世界を選ぶ」と明言し、自社がその5社の一角であったとしても同じ選択をすると語る。この信念に基づき、Poolsideはオープンウェイトのリリースだけでなく、詳細なテクニカルレポートの公開を通じて「真のオープンリサーチ」を実践している。モデルビルディングの本質は「90%がエンジニアリング」であり、データの改善と計算効率の向上に帰着するというEisoの実践的哲学は、AIエンジニアにとって極めて示唆に富む内容となっている。

0:03コード生成への執念：KarpathyからChatGPTまでの10年

Eiso KantがAIの道に足を踏み入れたのは2015年、Andrej Karpathyが発表した「The Unreasonable Effectiveness of Recurrent Neural Networks」という記事がきっかけだった。当時、彼は別のスタートアップを運営していたが、この記事を読んだその夜のうちに方向転換を決意し、RNN（再帰型ニューラルネットワーク）、後にLSTMやTransformerを用いてコードを生成するモデルの開発に乗り出した。この決断は、Transformer論文が登場する以前のことであり、業界全体がまだ大規模言語モデルの可能性に気づいていない時代だった。

彼が創業したSourcedは、コードに特化した完全オープンソースの機械学習企業だった。しかし、2015年から2019年までの4〜5年間、この分野に注いだ1,200万ドルは「キャリア最大の失敗」に終わる。当時、コード生成にニューラルネットワークを適用するというアイデアは誰にも理解されず、嘲笑の対象ですらあった。Eisoは「スケーリング則が今日ほど自明ではなかった」と振り返り、その信念を貫いたGoogleやOpenAIの研究者たちへの敬意を語る。この失敗後、彼は約2年間、言語モデルから完全に離れ、家族との時間を優先した。

転機はChatGPTの登場だった。Eisoの元には旧知の関係者から次々と連絡が入り、彼の過去の仕事用デッキや講演資料が掘り起こされた。「それは完全なる正統性の証明だった」とEisoは語る。しかし、Poolsideを創業した当初、彼らはオープンソースの議論を完全に棚上げしていた。当時の信念は二つだけだった。第一に、この技術の能力は複合的に成長し続けること。第二に、強化学習（RL）がLLMの能力向上における最大の原動力になること。後者は当時、OpenAIやGoogle、Anthropicのいずれも重視していなかった方向性であり、業界からは懐疑的な目で見られていた。

3:39オープンソースへの回帰と100社のビジョン

Poolsideが再びオープンソースの議論に向き合い始めたのは2024年初頭のことだ。EisoはSF小説の比喩を用いて、この決断の背景を説明する。彼が読んだあるSF作品では、2035年にAGIが達成され、その後の世界は3〜4社の企業がすべての知能を生み出す寡占状態に陥る。この結末はEisoにとって「ディストピアSF」に他ならなかった。「私はユートピアSFの人間だ」と彼は断言する。

この認識に至ったPoolsideは、自らがフロンティアに到達する前に決断を下す必要があると判断した。Eisoは「フロンティアに近づき、巨額の資本と期待が絡めば、方針転換は不可能になる」と語る。そして、たとえ自社がその5社の一角であったとしても、「100のファウンデーションモデル企業が存在する世界」を選ぶと宣言した。この決断には、オープンソースのファウンデーションモデルでいかにビジネスモデルを構築するかという未解決の課題や、モデルの悪用リスク、政府の規制対応など、多くの不確実性が伴う。しかしEisoは、この決断を下せるのは「今しかない」と考えた。

特筆すべきは、Poolsideが単なるオープンウェイトの公開にとどまらず、「真のオープンリサーチ」を実践している点だ。Eisoは「ウェイトは単なるバイナリに過ぎない。ウェイトを渡しても、相手が何をやったかを再現できるわけではない」と指摘する。彼らが公開するテクニカルレポートには、数万回の実験から得られた知見、最適化手法、データ処理の詳細が含まれており、他社が同じ道を辿るための実質的なロードマップを提供している。この姿勢は、中国のAIラボ（特にZhipu AI）が公開した研究から多くを学んだことへの「恩返し」でもあるとEisoは強調する。

16:04Model Factory：実験の工業化と再現可能性

Poolsideの最大の差別化要因は「Model Factory」と呼ばれる独自のエンドツーエンドシステムにある。Eisoは「モデル構築は究極的には90%がエンジニアリングだ」と断言する。3年前、業界の標準はBashスクリプトとSlurm、スパゲッティコードに依存したアドホックなプロセスだった。Poolsideはこれを見て、「これは工業化されたプロセスだ」と認識し、分散システムの専門家を研究プロセスに最初から組み込むことを決断した。

Model Factoryの核心は、データをストリーミングでトレーニングに直接取り込むアーキテクチャにある。多くのファウンデーションモデル企業は、トレーニングデータセットを事前にパッケージ化し、クラスターにコピーしてからトレーニングを開始する。しかしPoolsideは、このアプローチではデータの変更や修正のたびに再パッケージ化の時間が発生すると批判し、データを「不変データレイヤー」として扱い、コードを常にバージョン管理するシステムを構築した。これにより、2年前の実験でも完全に再現可能となり、科学的な厳密性が確保された。

このシステムの成果は数字に如実に現れている。70名未満の研究者と35名のエンジニアという小規模チームで、月に1万〜2万もの実験を実行する。Laguna XS 2.1はプレトレーニング開始からリリースまで5週間、最新のLaguna Sは8週間で完了した。さらに驚くべきは信頼性だ。Laguna Sのトレーニング中、オンコール対応が必要なインシデントはゼロだった。Eisoによれば、今年に入ってから意味のあるオンコールイベントは一度も発生していないという。新しいモデルランの最初の6時間は設定ミスなどで軽微な介入が必要になることがあるが、それを除けばシステムは完全に自律的に動作する。

36:26小さなモデルの可能性：持続性と検証の力

Laguna Sが業界に与えた最大の衝撃は、その規模に対する性能の高さにある。1,180億総パラメータ、80億活性パラメータという比較的小規模なモデルでありながら、Thinkyの1兆パラメータモデルを特定のベンチマークで上回り、Tau3 Benchでは一部でState of the Artを達成した。しかしEisoが最も強調するのは、この成果が「より多くの知能」ではなく「異なる振る舞い」から生まれている点だ。

Poolsideの共同応用研究責任者であるPeng Ming氏は、Laguna Sの成功要因を「より多くの検証、物事を当然視しない、早期の勝利宣言をしない、そして持続性」と分析した。Eisoはこの洞察に深く共鳴し、モデルのトレースを10時間以上かけて読み込んだ経験を語る。「人間の成功においても、生の知能よりも持続性や検証の方が予測的である」という指摘は、AIの能力評価に対するパラダイムシフトを示唆している。

この発見は、知識労働の未来に対するEisoの見方を根本から変えた。知識労働は世界経済の25%（約25兆ドル）を占めるが、その大部分は画期的な科学のフロンティアではなく、持続性と問題解決能力を要する日常的な作業だ。ソフトウェア開発においても、優れたエンジニアの本質は「バグに遭遇したときにバックトラックし、ドキュメントを調べ、5つの異なる方法を試す持続性」にある。Laguna Sは、比較的小さなモデルでも、適切な振る舞いを獲得すれば、はるかに大きなモデルに匹敵する能力を発揮できることを示した。

ただしEisoは、この発見がスケーリングの否定ではないことを明確に強調する。「私たちは競合他社と同じ大きさのモデルにスケールアップしなければ最終的に成功しない。小規模モデルの王者になるというのは、現実逃避に過ぎない」。彼の見解では、知識労働の最適なモデルサイズは従来考えられていたよりもはるかに手前にある可能性があるが、それは「1兆、5兆、10兆パラメータ」の領域であり、スケーリングの重要性は変わらない。

1:00:08モデルとハーネスの共設計：最小限のツールで最大の自由を

モデルの能力を引き出す上で、ハーネス（エージェントが操作するツール環境）の設計は極めて重要だ。Poolsideは独自のハーネスを持ち、強化学習の計算リソースを自社ハーネスに集中的に投入している。Eisoは「6つのツール」からなる最小限のハーネスを採用していると説明する。シェル、シェルキル、書き込み、読み取り、フェッチ、ウェブ——これがほぼすべてだ。このシンプルさには明確な理由がある。

Eisoはここで、業界のトレンドに対する痛烈な批判を展開する。「MCP（Model Context Protocol）や伝統的なツール呼び出しは愚かだ」と彼は断言する。その理由は、複雑なタスクを処理する際、モデルは50ものツールをシステムプロンプトに詰め込まれるよりも、コードを直接書いてシステムと対話する方がはるかに効率的だからだ。Laguna Sは実際に、Pythonのコードインタプリタのように、コードを記述し、if文やforループを使い、条件分岐を行いながらタスクを解決する。Eisoは「モデルは自由を求めている」と表現し、12ヶ月以内にシステムプロンプトに20〜30のツールを詰め込む方式は消滅すると予測する。

この哲学は、モデルとハーネスの関係性に対する深い理解に基づいている。Poolsideはモデル企業であり、エージェント企業ではないとEisoは明確に線引きする。しかし、今日のモデルはハーネスなしではトレーニングできないのも事実だ。彼らが行う「マルチハーネスポリッシング」は、モデルが他のハーネスでも適切に動作するように微調整するプロセスだが、これは能力そのものを向上させるためではなく、ユーザー体験を改善するためのものだ。Eisoは「ハーネスはモデルの能力と追加の指示の間のギャップを埋めるもの」と定義し、ハーネス開発者との協力を積極的に進める姿勢を示す。

1:22:29資金調達と競争環境：5億ドルの信念

Poolsideが5億ドルの資金調達を達成した背景には、AGIに対する揺るぎない信念がある。Eisoは「この資金調達ラウンドの間、投資家との会話の大半は、これらのモデルが単なる確率的オウムではないことを説明することに費やされた」と振り返る。当時、OpenAIがすべてを勝ち取るという見方が支配的であり、Anthropicでさえ5億ドルの調達に苦戦していた。Eisoは「AGIが現実のものだと信じる人の数は、超線形あるいは指数関数的に増加している」と指摘し、この信念の広がりが投資環境を根本から変えたと分析する。

Eisoの投資家に対する説得の核は、「知能は世界で最も需要のあるコモディティになる」というビジョンだ。コモディティ化が進めばマージンと価格は低下するが、世界は選択肢と多様性を求める。彼は「2社しか勝者にならない」という見方を「近視眼的」と断じ、2024年初頭には多数派だったその見方が、最近の数ヶ月で急速に変化していると指摘する。特に、AnthropicやOpenAIが競合他社による自社モデルのファウンデーションモデル開発を禁止する条項を導入したことについて、Eisoは「資本主義の範囲内では理解できるが、一企業が一方的に決定を下すことは危険な権力の集中だ」と警鐘を鳴らす。

規制に関してEisoは、民主主義的なプロセスを通じた対応を支持する。しかし、現在のモデル能力の水準では「オープンモデルを制限すべきではない」と明確に主張する。彼はタバコ広告禁止の事例を引き合いに出し、規制が結果的に既存の大手企業の寡占を強化するリスクを警告する。「2026年現在のモデル能力に基づいて、これを2〜3社しか構築できないものと決めつけることは、最もディストピア的なSF小説の第14章を読んでいるようなものだ」とEisoは表現する。

1:37:13未来への展望：RLの壁とエンジニアリング組織の進化

Poolsideが現在直面している最大の技術的課題は、強化学習（RL）のウォールクロックタイムだ。Eisoは「RLはバッチサイズ制約があるため、プレトレーニングのように単純にGPUを追加してスケールアップできない」と説明する。この問題に対する彼の解決策は、推論フェーズで既に実現されている「プリフィルとデコードの分離」をRLトレーニングに応用することだ。異なるチップに役割を分担させることで、RLの効率を劇的に向上できる可能性があると彼は指摘する。

モデル開発の方法論について、Eisoは「プレトレーニングは終わっていない」と断言する。彼の見解では、強化学習はプレトレーニングのより早期の段階に移動していくべきであり、現在の「ミッドトレーニング」はカリキュラム設計の原始的形態に過ぎない。ウェブから抽出できる知識は、単なる次トークン予測ではまだ十分に活用されていない。業界が依存する「蒸留」と「環境」という二つの「ドラッグ」は確かに効果的だが、より本質的な解決策が必要だとEisoは語る。

エンジニアリング組織の生産性に関して、Eisoは「サイクルタイム」の重要性を強調する。アイデアが顧客に届くまでのリードタイムこそが最も重要な指標であり、コード量やPRレビュー数はすべてその遅行指標に過ぎない。AI時代において最も重要な個人の資質は「エージェンシー（主体性）」だと彼は指摘する。しかし、高いエージェンシーを持つ人々を組織としてまとめるには、共通の目標と明確な境界線が必要だ。「イノベーションは制約から生まれる」という信念のもと、Poolsideは比較的少ない計算資源と資金で成果を上げてきた。Eisoは「制約が私たちを他の軸でより優れた存在にした」と振り返り、現在もプレトレーニングからポストトレーニング、アーキテクチャ、評価に至るまで全分野で人材を募集している。

結びに

本エピソードがリスナーに残す最大の印象は、Eiso Kantの「信念に基づく行動」の一貫性だろう。2015年にKarpathyの記事を読んで即座に方向転換した決断力、1,200万ドルを失っても諦めなかった執念、ChatGPTによって正統性が証明された後の謙虚さ、そして「100社のファウンデーションモデル企業が存在する世界」という理想を、自社の競争優位性よりも優先する姿勢。これらは単なる経営戦略ではなく、AIの未来に対する深い哲学的信念に根ざしている。

技術的には、Model Factoryのコンセプト——実験の工業化、データのストリーミング、完全な再現可能性——は、ファウンデーションモデル開発の新たな標準を示唆している。特に、小規模モデルでも「持続性」と「検証」という振る舞いの改善によって、はるかに大きなモデルに匹敵する能力を引き出せるという発見は、AI業界のスケーリングに関する前提に一石を投じるものだ。Eisoの「モデルはアーティファクトであり、プロセスの産物に過ぎない」という言葉は、AI開発の本質を鋭く突いている。