Anthropic初のテクニカルPMが語る、トークン最大化、ギザギザのエッジ、そして未来に生きること | Dianne Penn

Lenny's Podcastのエピソードでは、AnthropicのAIリサーチ＆ラボ部門のプロダクト責任者であるDianne Pennが、同社の初期の内部事情から、Claudeがコーディング分野で急速に優位性を築いた過程、そしてAI時代におけるプロダクトマネジメントの変容までを詳細に語った。2023年、プロダクトエンジニアがわずか5名という状況でAnthropic初のテクニカルPMとして入社したPennは、Claude 2から最新モデルFableに至るまで全てのモデルリリースに携わり、Claude Code、MCP、Skills、computer useといった革新的なプロダクトのインキュベーションを主導してきた。本エピソードでは、競合であるOpenAIが圧倒的に先行していた状況から、Anthropicがどのようにして「歴史上最も急成長する企業」へと変貌を遂げたのか、その転換点と内部の意思決定プロセスが明らかにされている。

Pennの語るAnthropicの成功の鍵は、ボトムアップの文化と、評価指標（evals）を中心とした新しいプロダクト開発ループにある。従来のPRD（プロダクト要求仕様書）に代わり、ユーザーフィードバックを定量化・再現可能なevalセットに変換する手法は、AIプロダクト開発の新たなスタンダードを示している。また、モデルの急激な能力向上（創発的能力）に適応するための「アダプタビリティ」の重要性、そしてAIに過度に依存せず自らの思考を保持することの価値についても深く掘り下げられた。PMという職種の未来についても、Pennは「ユーザー中心の視点を持ち、詳細に踏み込める人材」の必要性はむしろ高まると断言し、AI時代におけるプロダクト人材の新たなスキルセットを提示している。

02:31Anthropic黎明期の文化とアイデンティティの模索

Dianne Pennが2023年に入社した当時、Anthropicのプロダクトエンジニアはわずか5名であり、API事業全体をたった1人のエンジニアが担当していた。競合のOpenAIが圧倒的に先行していると見られていた状況で、社内の文化とミッションへのコミットメントは極めて強固だった。Pennは、Anthropicの成功の基盤はこの初期のカルチャーにあると強調する。社員はミッションと価値観を真に体現しており、スタートアップらしいエネルギーに満ちていた。当時は「このテクノロジーがどのようにユーザーや社会に価値を提供できるのか」という根本的な問いに対し、様々な角度から模索する日々だったという。

初期のAnthropicのアイデンティティ形成において象徴的な出来事の一つが、2024年初頭に24時間だけ公開された「Golden Gate Claude」である。これは、同社の解釈可能性（interpretability）研究の成果を一般ユーザーに体験してもらうための実験だった。研究者がモデルの特定の層にある「特徴（features）」を特定し、その一つである「ゴールデンゲートブリッジ」に関連する特徴を極端に強調すると、Claudeが全ての応答でゴールデンゲートブリッジについて語り始めるというものだ。スパゲッティのレシピを尋ねても、そのオレンジ色がゴールデンゲートブリッジのインターナショナルレッドと似ていると返してくる、非常に風変わりな体験だった。

このプロジェクトは、エンジニアリング、プロダクトデザイン、リサーチチームが一体となり、24時間以内にウェブサイト上で立ち上げられた。実際にリーチしたのは約2,000人に過ぎなかったが、この経験はチームに「自分たちは競合とは異なる、独自の方法で研究をユーザー体験に結びつけられる」という自信を与えた。Pennはこれを「隠れた転換点」と表現し、このボトムアップでスピーディなプロダクト開発の精神が、後のLabsやClaude Codeなどの革新的プロダクトの基盤になったと述べている。初期のAnthropicは、単なるチャットボットの提供から、tool useなどの機能へと進化し、自らのアイデンティティを徐々に確立していった。

08:55転換点：Opus 3とコーディングへの注力

Anthropicの軌道を大きく変えた最初の大きな転換点は、Opus 3のトレーニングとテストの期間だった。当時、会社の従業員はまだ200人未満であり、フロンティアモデルを創り出すという決断は、ユーザーへのリーチと研究の成果を示す上で極めて重要だった。Pennは、このプロジェクトを通じて、推論、研究、ファインチューニング、事前学習など、様々なチームが共通の目標に向かって結束したと振り返る。特に、クリスマス休暇中も各自が実家からリモートで作業に没頭し、モデルのトレーニング状況を確認し合った経験は、チーム内に深い信頼関係を構築した。この時に築かれた信頼は、現在のプロダクションモデル開発におけるプロダクトチームとリサーチチームの連携の基盤となっている。

もう一つの重要な転換点は、コーディング分野への戦略的な注力だった。2023年当時、AnthropicとClaudeがコーディングに優れているとは誰も考えていなかった。競合のGPT-4がコーディングに使われ始めていたものの、多くのユースケースの一つに過ぎなかった。しかしPennは、人々がコードの自動補完だけでなく、長文のコードを実際に記述させるためにモデルを使い始めていることに気づいた。そこで、Opus 3のトレーニングにおいて、コーディング能力を向上させるための比較的小さな変更を加えた。この決断が、結果的に初期の競争優位性を生み出し、多くのデベロッパーを惹きつけることになった。

さらに、Opus 4.5のリリースは、モデルそのものの進化と、それを最大限に活用するプロダクト体験（Claude Code）が揃った真の転換点となった。Pennは「フロンティアモデルを実感するためには、フロンティアプロダクトが必要だ」と語る。Opus 4.5の知能レベルが、エンドツーエンドのエージェント的なタスクを実行できる域に達したことで、Claude Codeの魔法が広くユーザーに体験されるようになった。両者は相互に強化し合い、Anthropicの急成長を加速させた。Dario Amodei（Anthropic CEO）が予言していた「コーディングは解決される」というビジョンが、現実のものとなりつつある瞬間だった。

20:02トークンマキシングと実験の文化

Garry Tan（Y Combinator）が提唱する「トークンマキシング」の概念について、Pennはよりプロダクト志向の解釈を示す。トークン消費そのものが目的なのではなく、その先にある「実験」こそが重要だと指摘する。年間10万ドル（約1,500万円）をトークンに費やすことは、2028年の未来の働き方を先取りすることに他ならない。Anthropic内部でも、最も創造的な思考を持つエンジニアやプロトタイパーは、Claudeと膨大な時間を共に過ごしている。新しいリサーチモデルがリリースされるたびに、そのモデルを実際に使い込むことで、良いアイデア、さらに素晴らしいアイデアを生み出すプロセスには、代替手段が存在しない。

Pennは、この実験は個人スポーツではなく、共同で行うものであると強調する。Anthropicの初期には、社内のSlackチャンネルでほぼ全社員がClaudeの初期バージョンをテストし、様々なユースケースを試していた。ある社員が思いついたアイデアを他の社員が別のバリエーションで試し、10回ほどのやり取りの中で魔法のような新しいユースケースが発見されることがあった。この「社内で公開で働く（working in public）」文化こそが、個人では気づけない可能性を発掘する鍵である。現在のモデルにも「プロダクトオーバーハング」や「ユーザーオーバーハング」が存在し、まだ発見されていない価値が多く眠っている。その発見プロセスこそが、AnthropicのDNAであり、現在のLabsチームの活動にも受け継がれている。

23:30Anthropic Labsのインキュベーションモデル

Pennがプロダクトを統括するAnthropic Labsは、中核のロードマップには含まれない、不連続で大きな賭け（discontinuous large bets）の可能性を探るための組織である。Claude Code、Skills、MCP、Claude Designといった革新的なプロダクトは、すべてこのLabsから生まれている。Labsの重要なアプローチは、「テーマや領域については強い確信を持つが、具体的なプロトタイプについては弱い確信を持つ」というスタンスだ。エンジニアはボトムアップで自ら実験を推進し、時にはテクノロジーが追いつくまで1〜2世代のモデルリリースを待って再挑戦する。たとえすぐに製品化に至らなくても、そのプロセスから得られる学習自体に価値があるとされている。

Labsが成功している理由として、Pennはチーム文化の重要性を挙げる。Ben Mann（AnthropicのCPO）が掲げる10倍、100倍のインパクトを追求するビジョンと、少人数のポッド（pod）体制が、スピーディな実験を可能にしている。アイデアはしばしばたった1人のエンジニアから始まる。大きなチームで曖昧な課題に取り組むと、かえってスピードが落ちるというのがPennの見解だ。また、ゼロからイチを生み出す実験を厭わない人材を採用することも重要である。多くの賭けは途中で断念されるか、将来に持ち越される。自分の心血を注いだプロジェクトがうまくいかないという経験は精神的に厳しいものだが、それに耐えられる「ファウンダー精神」を持つ人材がLabsには集まっている。

31:35研究者の役割とプロダクトマネージャーの新しい仕事

Anthropicの研究者の仕事は、単にモデルを改善するためのアルゴリズムやデータの調整だけではない。Pennは、研究者には「未来のビジョン」と「現在の改善」という二つの側面があると説明する。例えば、創業当初から研究者たちは「Claudeにコンピューターを使わせるにはどうすればいいか」という壮大なビジョンを描いていた。同時に、ユーザーの手に渡ったClaudeを今日より良くするための短期的な改善にも取り組んでいる。Pennのチーム（リサーチPM）の役割は、このループに深く統合され、特にユーザーに直接影響を与える領域（ビジョン、computer use、コーディング、tool useなど）において、ユーザーフィードバックを研究者にとって理解可能でアクション可能な形に変換することである。

例えば、ユーザーから「Claudeが幻覚を見た（hallucinated）」というフィードバックがあった場合、それをそのまま研究者に伝えても「幻覚を直してくれ」という非アクション可能な依頼にしかならない。重要なのは、そのフィードバックの背後にある「軌跡（trajectory）」を理解することだ。Claudeがツールを呼び出すべきだったのか、正しいドキュメントを参照したが誤った事実を抽出したのか、あるいは検索やアラインメントの問題なのか。この詳細な分析に基づいて、再現可能な評価指標（eval）を作成し、研究者が改善を測定できるようにする。Pennはこれを「evals are the new PRDs」と表現し、AIプロダクト開発においては、従来のPRDを書く代わりに、ユーザーニーズを体現するevalを書くことがPMの中心的な仕事になりつつあると指摘する。

44:16Eval駆動開発とPRDの進化

Pennのチームが実践するeval駆動開発の具体的な事例として、初期のClaudeモデルがJSON形式の出力を正確に生成できなかった問題が挙げられる。これは、Claudeがエージェントとして機能する上で致命的な欠陥だった。Pennはユーザーからの「Claudeが指示に従わない」という漠然としたフィードバックを掘り下げ、その80%が「正しいJSONを出力しない」という問題に集約されることを特定した。そこで、30〜40の失敗例を収集し、プロンプトと期待される正解（golden answer）のペアからなるevalセットを作成した。このevalをモデルのバージョンごとに実行することで、問題が改善されたかどうかを定量的に測定できるようになった。現在では、このevalのスコアはほぼ100%に達し、もはや問題ではなくなっている。

しかし、PennはPRDが完全に死んだわけではないとも強調する。PRDは、大規模なチームやステークホルダー（法務、安全部門など）を一つの方向にアラインさせるための「共通認識の源」として依然として有効である。特に、新しいモデルリリースの際には、PRDは重要な役割を果たす。また、computer useのように、まだユーザー固有のペインポイントが明確でない曖昧な機会については、PRDのプロダクトビジョン部分が、テクノロジーがまだ全ての人に機能しなくても、一部のユーザーグループにとって価値があるかどうかを探るために役立つ。つまり、evalとPRDは、問題の明確さやステークホルダーの規模に応じて使い分けるべきものであり、両方とも現代のAIプロダクト開発において重要なツールである。

52:46AIと共に働く喜びと人間の判断力の価値

急速に進化するAI技術と向き合う中で、Pennは「喜び（joy）」を見つけることの重要性を強調する。そのための方法として、一人で実験するのではなく、AIに熱中している他の人とペアを組むことを勧める。社内で誰かが新しいプロトタイプのアイデアを共有すると、それを見た他のメンバーが「こんなこともできるのか」と新たな発見をし、好循環が生まれる。また、多くのプロダクトやプロトタイプに手を出すのではなく、自分が本当に価値を感じられる1〜2つの領域に深く潜り込むことが、持続可能な喜びにつながる。これは、Lennyが実施した読者調査で、AIに対する幸福度が高い人々の共通点としても確認された傾向である。

AIへの過度な依存（オーバーリライアンス）を避けるためには、AIに相談する前に、まず自分自身の考えや視点を持つことが重要だとPennは語る。Claudeを「思考パートナー」として活用する際も、最初に自分の仮説を明確にした上で、Claudeにそれを磨き上げてもらう、あるいは反論してもらうというプロセスを踏む。Claudeが単に同意するだけでなく、適切なタイミングで「プッシュバック」できることが、より良いアウトカムを生む鍵である。これは、Anthropicが重視するアラインメント研究の成果でもあり、モデルが従順であることよりも、知的で有用であることの方が重要だという考え方に基づいている。Pennは、人間の判断力（judgment）は、長年の経験とニュアンスの蓄積によって培われるものであり、AIが容易に代替できない領域として、今後もプロダクトリーダーにとって極めて重要なスキルであり続けると結論づける。

結びに

本エピソードの核心は、Anthropicという企業が、圧倒的な競合に後れを取りながらも、独自の文化とプロダクト開発哲学によってどのようにして最前線に躍り出たか、その内側からの生々しい証言にある。Dianne Pennの語る「evalは新しいPRDである」というフレーズは、AI時代のプロダクトマネジメントの本質を突いており、従来の手法に固執する全てのプロダクトパーソンにとって強烈な示唆となる。また、「トークンをピクセルと同じくらい重要視する」という考え方は、AIプロダクトの開発リソースの配分に対するパラダイムシフトを促す。

何より印象的なのは、Pennが一貫して「人間の役割」への確固たる信念を持っている点だ。AIが急速に進化する中で、自らの思考を持ち、判断を下し、他者と協働する人間の価値はむしろ高まっている。彼女が語る「好奇心」「粘り強さ」「自分の内なる声を持つこと」といった資質は、AIに代替されるどころか、AIを最大限に活用するための必須条件である。このエピソードは、AIの進化に圧倒されるのではなく、その波に乗り、自らの役割を再定義するための実践的な羅針盤を提供している。