Andrej Karpathyが語る、コードエージェント、自動研究、そしてAIのルーピー時代

2024年12月以降、ソフトウェアエンジニアリングの現場は静かでありながら決定的な転換点を迎えた。Andrej Karpathy（アンドレイ・カーパシー、OpenAIの初期メンバーでありTeslaの元AIディレクター）は、自らコードを一行も書かずに、AIエージェントへの指示だけで16時間にわたって開発を続ける日々を送っている。彼はこの状態を「AI精神病（AI psychosis）」と呼び、能力の飛躍的な向上に興奮と不安が入り混じった心理状態にあると語る。本エピソードでは、ホストのSarah Guo（サラ・グオ、Conviction創業者）がKarpathyと対話し、コーディングエージェントの実践的活用、自律研究システム「AutoResearch」の構想、教育や雇用市場への影響、オープンソースとクローズドモデルの力学、そしてロボティクスの展望に至るまで、AIエコシステムの現在地と未来を多角的に掘り下げた。

Karpathyの主張の核心は、「人間がボトルネックになる時代は終わった」という認識にある。彼は、エージェントが自律的に動作し、人間はごく少数のトークン（指示）を投入するだけで膨大な作業が遂行される「レバレッジの最大化」こそが、現在のAI活用の本質だと説く。この視点は、単なるツールの効率化を超え、研究開発のプロセスそのものを再定義する「AutoResearch」の構想へとつながる。さらに、彼は自宅のスマートホームシステムを完全にAIエージェント「Dobby」に管理させる実験や、LLMの本質を200行のPythonコードに凝縮した「MicroGPT」プロジェクトなど、具体的な実践例を通じて、このパラダイムシフトの輪郭を鮮明に描き出した。

0:00コーディングエージェントの衝撃と「AI精神病」

Karpathyは、2024年12月を「何かが切り替わった」決定的な月として位置づける。それ以前は、自身でコードを書くこととエージェントに委任することの比率が80:20だったが、12月以降は逆転し、現在ではほぼ100%をエージェントに依存しているという。彼は「コードを書く」という行為そのものが過去のものになりつつあると指摘し、「コードという動詞はもはや適切ではない。私は16時間、エージェントに対して自分の意志を表現し続けている」と述べる。この変化の本質は、単なる自動化ではなく、開発者が「マクロアクション」と呼ばれる高次の操作単位でソフトウェアリポジトリを操作できるようになった点にある。具体的には、あるエージェントに新機能の実装を任せ、別のエージェントに研究をさせ、さらに別のエージェントに計画を立案させるといった並列処理が日常化している。

この状況に対してKarpathyは「AI精神病」という言葉を用いる。これは、何が可能かというフロンティアが日々拡大し、自分がその最先端にいなければならないという強迫観念に駆られる状態を指す。彼は、エージェントが期待通りに動作しない場合でも、それは「スキル不足（skill issue）」であって、能力そのものの限界ではないと感じているという。つまり、指示の出し方やエージェントの設定ファイル（AgentsMD）の質を改善すれば解決できるはずだという信念が、さらなる探求への原動力となっている。この感覚は、かつてGPUの稼働率を最大化することに執着したPhD学生時代の経験と類似しており、現在は「FLOPS（演算性能）」ではなく「トークン（処理単位）のスループット」を最大化することが新たな指標となっている。

6:15エージェント習熟の極致と「Claw」の登場

エージェントの活用が高度化するにつれ、Karpathyは「Claw（爪）」という概念を提唱する。これは、単なる対話型エージェントを超え、ユーザーが不在の間も自律的に動作し続ける永続的な存在である。彼は、Peter Steinberger（ピーター・スタインバーガー）が開発した「OpenClaw」を高く評価し、その革新性を5つの要素に分解して説明する。第一に、エージェントの人格設計（Soul MD）の重要性。Claudeが持つ「チームメイト感」や、良いアイデアに対して適切な称賛を与える「サイコパシーの調整」は、ユーザーのモチベーションに大きく影響する。第二に、高度なメモリシステム。デフォルトのコンテキスト圧縮ではなく、より洗練された記憶管理が実装されている。第三に、ツールへの幅広いアクセス。第四に、WhatsAppのような単一のポータルを通じて全ての自動化を統制できる点。第五に、開発者自身が楽しみながら作っているという文化的要素である。

Karpathy自身も、自宅のスマートホームシステムを管理する「Dobby the Elf Claw」を構築した。このClawは、LAN上のSonosシステムや照明、HVAC、プール、セキュリティカメラなどを自律的に発見し、APIを介して制御する。特筆すべきは、カメラの映像を分析するためにQwen（中国のAIモデル）を利用し、配達トラックの到着をWhatsAppで通知する機能である。彼は「かつて6つの異なるアプリを使っていた作業が、Dobbyとの自然言語での対話に置き換わった」と述べ、ソフトウェアのUXレイヤーそのものがAIエージェントによって「クランチ（粉砕）」される未来を予見する。この議論は、人間を顧客とする従来のソフトウェア設計から、エージェントを顧客とする「エージェンティックWeb」への移行を示唆している。

15:51AutoResearch：人間をループから排除する研究自動化

Karpathyの最も野心的なプロジェクトが「AutoResearch」である。その発想は、「人間がループの中にいることでシステムの進歩を妨げている」という認識に基づく。彼は、研究プロセスを「一度設定して実行（arrange it once and hit go）」できる形にリファクタリングすることを目指す。具体的には、目的（objective）、評価指標（metric）、制約（boundaries）を定義すれば、エージェントが自律的に実験を計画・実行・評価し、結果を改善するループを回し続けるシステムである。

Karpathyは、自身が手動でチューニングしたNanoGPTプロジェクトをAutoResearchに適用した実験を紹介する。彼は20年にわたる研究経験から、モデルのハイパーパラメータをある程度最適化したつもりでいた。しかし、AutoResearchを一晩稼働させた結果、彼が見落としていた「weight decay on value embeddings」や「Adam betas」の相互作用による改善点を発見した。この経験から、彼は「人間は過剰な自信（unearned confidence）を持ちすぎている」と批判し、フロンティアラボでも同様の自動化が進むべきだと主張する。特に、小規模モデルでの実験を自動化し、その知見を大規模モデルに外挿する「スケーリング則」の探求において、AutoResearchは極めて有効な手段となる。

さらにKarpathyは、AutoResearchの概念を拡張し、インターネット上の「信頼できないワーカーのプール」を活用する構想を語る。これは、SETI@homeやFolding@homeと同様の分散コンピューティングモデルであり、「検証は容易だが発見は困難」という性質を持つ問題に適用できる。具体的には、世界中のコンピュータがコードの改善案を提出し、中央のシステムがそれを検証・採用する仕組みである。彼はこれを「AutoResearch at home」と呼び、理論的にはフロンティアラボを凌駕する可能性すらあると指摘する。この構想は、研究開発の民主化と、計算資源（FLOPS）が通貨に代わる新たな価値尺度になる未来を示唆している。

22:45AI時代のスキルと雇用市場の分析

Karpathyは、米国労働統計局（BLS）の公開データを可視化し、AIが雇用市場に与える影響を分析した。彼の基本的なフレームワークは、デジタル情報を操作する職業と、物理的な世界を扱う職業の間に「時間差（time lag）」が生じるというものだ。デジタル領域では、ビットのコピーや書き換えが極めて容易であるため、AIによる「アンホブリング（unhobbling、制約の解除）」が光速で進む。一方、原子を操作する物理領域は、エネルギーや材料の制約から、はるかにゆっくりとしか変化しない。

この分析から、Karpathyはソフトウェアエンジニアリングの需要が短期的には増加すると予測する。その根拠は「ジェボンズのパラドックス」である。つまり、AIによってソフトウェア開発のコストが劇的に低下すれば、これまで経済的に実現できなかった無数のソフトウェア需要が顕在化する。彼は、ATMが銀行員を減少させるどころか、支店数の増加を通じて雇用を増やした事例を引き合いに出す。ただし、長期的な見通しについては「経済学者の仕事だ」と述べ、確定的な予測を避ける。

また、Karpathyはフロンティアラボの研究者自身が「自分たちの仕事を自動化している」という逆説的な状況を指摘する。OpenAIやAnthropicの研究者は、自らの雇用を不要にするシステムを構築しているに等しい。この点について、彼は「もし我々が成功すれば、我々は全員失業する。CEOや取締役会のための自動化を構築しているようなものだ」と率直に語る。この発言は、AI開発の進展が開発者自身のキャリアに与える影響について、深刻な自己言及性（self-referentiality）の問題を提起している。

28:25モデルの「種分化」とオープンソースの力学

Karpathyは、現在のAIモデルが持つ「ぎこちなさ（jaggedness）」について重要な指摘を行う。モデルはコード生成のような検証可能なタスクでは驚異的な性能を発揮する一方、ジョークを言うような検証困難なタスクでは5年前と変わらない稚拙な応答をする。この現象は、強化学習（RL）が検証可能な領域にしか適用されていないことに起因する。彼は、この「レールに乗っているか、外れているか」という二極化が、汎用知能の実現に対する楽観論に疑問を投げかけていると述べる。

この問題に対する解決策として、Karpathyはモデルの「種分化（speciation）」を提唱する。自然界に多様な脳を持つ生物が存在するように、AIも特定のタスクに特化した小型モデルが登場すべきだという主張である。例えば、数学者向けにLean（定理証明支援系）に特化したモデルなどが既に登場し始めている。しかし、現状では「モノカルチャー（単一文化）」が支配的であり、その理由として、モデルの重みを直接操作する「ファインチューニングの科学」が未熟であることを挙げる。コンテキストウィンドウによる操作は容易だが、重みを変更すると全体的な知能が損なわれるリスクがある。

オープンソースとクローズドモデルの関係について、Karpathyは「現在の状況は偶然にも健全なバランスにある」と評価する。クローズドモデルがフロンティアをリードする一方、オープンソースモデルは6〜8ヶ月遅れで追従している。この遅延は、LinuxがWindowsやmacOSと共存するように、産業界に「共通のオープンプラットフォーム」を提供する役割を果たす。彼は、中央集権的な知能の独占には「東欧の歴史的な失敗例」を引き合いに出して警鐘を鳴らし、複数のフロンティアラボとオープンソースの共存が理想的だと述べる。ただし、フロンティアラボの数が減少しつつある現状には懸念を示し、「より多くの人が部屋にいるべきだ」と強調する。

53:51ロボティクスと物理世界への拡張

Karpathyは、自動運転の第一人者としての経験から、ロボティクスの進展には慎重な見方を示す。彼は、自動運転分野で多くのスタートアップが長期的に成功しなかった事実を挙げ、物理世界の操作には「原子はビットよりも100万倍難しい」という原則が適用されると主張する。そのため、当面はデジタル領域での「アンホブリング」が主戦場となり、物理世界への拡張はその後になると予測する。

しかし、彼は「デジタルと物理のインターフェース」に大きな可能性を見出している。具体的には、センサー（世界を見る）とアクチュエーター（世界に働きかける）の領域である。例えば、材料科学のスタートアップ「Periodic」は、高価な実験装置をセンサーとしてAIに接続し、自律的な研究を行っている。また、生物学や情報市場（Polymarketのような予測市場）においても、人間がセンサーやアクチュエーターとしてAIにサービスを提供する「エージェンティックWeb」の構想を描く。彼は、SF小説『Daemon』に触れ、AIが人間を「操り人形」のように間接的に制御する未来図を提示する。

この文脈で、Karpathyは「情報市場」の未発達を指摘する。例えば、テヘランで写真を撮影するタスクに10ドルの報酬を設定し、エージェントがそれを実行するような仕組みがまだ存在しない。彼は、このような「センサーとアクチュエーターの市場」が、AIと物理世界を結ぶ重要なインフラになると予測する。ただし、この市場が機能するためには、AutoResearchのような自律的なトレーニングループが不可欠であり、LLMのトレーニングはこのパラダイムに極めて適合性が高いと述べる。

1:00:59MicroGPTとエージェンティック教育の幕開け

Karpathyは、LLMの本質を200行のPythonコードに凝縮した「MicroGPT」プロジェクトを通じて、教育の未来について深い洞察を提供する。彼は、これまで自身がビデオチュートリアルや解説記事を作成してきたが、現在では「人間に説明するのではなく、エージェントに説明する」時代に移行しつつあると語る。MicroGPTのコードは極限まで簡略化されているため、エージェントがそれを理解し、学習者に合わせて無限の忍耐で解説することが可能になる。

この変化は、教育の本質的な再定義を促す。Karpathyは、従来の「ドキュメントは人間のために書く」という前提が崩れ、「ドキュメントはエージェントのために書く」という新たなパラダイムが生まれつつあると指摘する。エージェントがコードや概念を理解すれば、それを人間に最適化された形で説明できるからだ。彼自身の役割も、「MicroGPTの200行という究極のシンプルさ」を追求するような、エージェントにはまだ到達できない「数ビットの価値」を提供することに限定されつつある。

Karpathyは、教育の未来を「スキル（skill）」の概念で捉える。スキルとは、エージェントに対して「どのように教えるべきか」を指示するメタデータである。例えば、MicroGPTの学習カリキュラムをスキルとして定義すれば、エージェントが学習者の進捗に応じて最適な説明を提供する。彼は「エージェントができないことが、あなたの仕事になる」と断言し、教育者や開発者に対して、自身の付加価値を「エージェントの限界」に見極める戦略性を求めている。

結びに

本エピソードの核心は、Karpathyが「AI精神病」という言葉で表現した、技術的転換点における人間の心理的・実存的変容にある。彼は、単なるツールの進化を超えて、人間とAIの関係性そのものが根本から書き換えられつつあることを、自身の実践を通じて生々しく伝えている。特に重要なのは、彼が「スキル不足」という概念で、失敗や限界を人間の成長可能性に結びつけた点だ。これは、AIに対する恐怖や受動性ではなく、能動的な適応と創造性を促すメッセージとして響く。

また、AutoResearchの構想は、研究開発の民主化と効率化という実践的なインパクトに加え、「人間がループから外れる」ことの意味を深く考えさせる。Karpathyは、このプロセスがフロンティアラボから個人研究者に至るまで、AI開発の力学を根本的に変える可能性を秘めていると示唆する。そして、教育、雇用、ロボティクスに至るまで、あらゆる領域で「デジタルと物理」「人間とエージェント」の境界が曖昧になる未来図は、リスナーに強烈な知的刺激と、同時に一抹の不安を残す。このエピソードは、AIの「次なる10年」を考える上で、欠かせない羅針盤となるだろう。

要点

• Andrej Karpathyは2024年12月以降、コードを一行も書かずにAIエージェントへの指示のみで開発を行っており、この状態を「AI精神病」と表現した。
• エージェントの活用は「マクロアクション」へと進化し、複数のエージェントが並列してコード生成、研究、計画立案を行うのが標準になりつつある。
• AutoResearchは、人間をループから排除し、評価指標のみを与えて自律的に研究を進めるシステムであり、Karpathy自身のNanoGPT実験で手動チューニングを上回る改善を達成した。
• インターネット上の「信頼できないワーカーのプール」を活用する分散型AutoResearch構想は、SETI@homeと同様のモデルでフロンティアラボを凌駕する可能性がある。
• AIモデルは検証可能なタスクでは驚異的だが、ジョークのような検証困難なタスクでは5年前と変わらず、この「ぎこちなさ」は汎用知能の限界を示唆する。
• モデルの「種分化」が進み、特定タスクに特化した小型モデルが登場する一方、ファインチューニングの科学が未熟なためモノカルチャーが支配的である。
• オープンソースモデルはクローズドモデルに6〜8ヶ月遅れているが、LinuxとWindowsの関係と同様に健全なバランスを提供しており、中央集権的な知能独占へのカウンターウェイトとなる。
• 物理世界のロボティクスは「原子はビットより100万倍難しい」ためデジタル領域より遅れるが、センサーとアクチュエーターのインターフェース市場には大きな機会がある。
• MicroGPTのようなプロジェクトは、教育を「人間に説明する」から「エージェントに説明する」へと転換させ、教育者の役割は「エージェントができない数ビットの価値」に限定される。