Nvidia Part III: AI時代の幕開け（2022-2023年）— 包括的ダイジェスト

2022年4月にNvidiaの物語は完結したかに見えた。しかしその後の18ヶ月間で、同社は時価総額5000億ドル以上を失う歴史的な暴落を経験し、その後、AI革命の基盤プラットフォームとして1兆ドル企業へと舞い戻るという、想像を絶するジェットコースターを乗り越えた。Acquiredのホスト、Ben GilbertとDavid Rosenthalは、このエピソードで、アトムとシリコンバレーのレベルから始まるAI革命の全貌、そしてなぜそれがNvidiaのハードウェアとソフトウェアの上で起きているのかを、技術的詳細とビジネス戦略の両面から深掘りする。彼らの会話は、半導体アーキテクチャの講義からOpenAIの創設物語、そしてNvidiaの驚異的な財務実績まで、幅広いトピックをカバーしている。

8:15AlexNetからOpenAIへ：AIのビッグバンと人材の流れ

2012年、トロント大学の3人の研究者—Alex Krizhevsky、Geoff Hinton教授、そしてIlya Sutskever—がImageNetコンペティションでAlexNetアルゴリズムを提出し、機械学習の世界に衝撃を与えた。彼らは地元のBest Buyで購入した2枚のGeForce GTX 580（合計約1000ドル相当のコンシューマーグレードのハードウェア）を使い、CUDAで畳み込みニューラルネットワークを訓練した。結果は劇的だった：画像の誤認識率が25%から15%へと一気に改善されたのである。

この画期的な成果の鍵は、GPUの並列処理能力にあった。CPUが一度に一つの命令しか実行できないのに対し、GPUは数百から数千の命令を同時に実行できる。NvidiaのGPUは、もともとグラフィックス処理のために設計されていたが、グラフィックスは本質的に並列処理に適している—画面上の各ピクセルは独立して計算できるからだ。そして、線形代数や行列計算を必要とするAIのワークロードも、同じ並列処理の恩恵を受けることが判明した。

AlexNetチームのその後は、AI業界の勢力図を大きく変えることになる。3人は自然に会社を設立し、6ヶ月以内にGoogleに買収された。彼らはGoogle Brainチームに加わり、Greg Corrado、Jeff Dean、Andrew Ngらと共に、YouTubeのアルゴリズム刷新などに取り組んだ。この時期、YouTubeは埋め込み動画サイトから本格的なソーシャルメディアプラットフォームへと変貌を遂げ、AIによるフィードレコメンデーションと自動再生機能がその成長を牽引した。同様に、Facebook（現Meta）もYann LeCunを獲得し、InstagramのフィードにAIレコメンデーションを実装。これによりInstagramは数十億ドル規模の資産から、数百億ドル規模の資産へと成長した。

しかし2015年、シリコンバレーの一部の人々は、GoogleとFacebookによるAI研究者の寡占が深刻な問題であると認識し始めた。Elon MuskとSam Altman（当時Y Combinatorの社長）は、Sand Hill RoadのRosewood Hotelで運命的なディナーを開催。彼らはGoogleとFacebookのトップAI研究者たちを招き、「この寡占を打破するために、何があれば君たちは辞めるのか？」と問いかけた。ほとんどの研究者は「何があっても辞めない」と答えたが、ただ一人、Ilya Sutskeverだけが興味を示した。「リスクはあると感じていたが、非常に興味深い試みになるだろう」と彼は語った。こうしてOpenAIが誕生したのである。

28:55Transformer革命：アテンションが全てを変えた

2017年、Google Brainチームから「Attention Is All You Need」という画期的な論文が発表された。Transformerと名付けられたこの新しいモデルアーキテクチャは、自然言語処理の世界を一変させることになる。

従来のリカレントニューラルネットワーク（RNN）やLSTM（Long Short-Term Memory）には重大な制約があった。それらは逐次的に動作するため、各単語を出力する前に前のステップの結果を知る必要があり、並列化が不可能だった。さらに、コンテキストウィンドウ（一度に考慮できる文脈の長さ）が非常に短く、文の終わりに近づくにつれて冒頭の情報を忘れてしまう問題があった。

Transformerの核心は「アテンション機構」にある。これは文字通り、モデルが入力テキストの異なる部分に「注意を向ける」ことを可能にする仕組みだ。例えば英仏翻訳の場合、「United States」を「Estados Unidos」と正しく翻訳するには、単語の順序が言語によって異なることを考慮する必要がある。アテンション機構は、出力する単語ごとに入力テキスト全体を参照し、どの単語に重みを置くべきかを動的に決定する。

ただし、このアテンション機構には計算上の課題がある。コンピュータサイエンスの用語で言えば、その計算量はO(n²)（入力が2倍になれば計算量は4倍になる）であり、非常に非効率的だ。しかしここでGPUが救世主となる。Transformerの比較演算はすべて並列に実行できるため、十分なコアを持つGPUがあれば、入力テキストが1000語でも10語でも、実質的に同じ時間で処理できるのだ。

この発見の重要性は計り知れない。従来は不可能だった大規模な系列モデルの訓練が、コスト効率よく実現可能になったのである。しかし皮肉なことに、Googleはこの技術を主に広告配信やYouTube動画レコメンデーションの最適化に活用し、OpenAIを含む他の組織は当初Transformerの採用に消極的だった。彼らはDota 2のAIプレイヤーやGTA世界を使った自動運転訓練環境など、より研究寄りのプロジェクトに注力していた。

40:27GPTのスケーリング：パラメータ数と創発的能力

OpenAIがTransformerに本格的に舵を切ったのは2018年頃である。彼らは「Generative Pre-trained Transformer（GPT）」という新しいモデルファミリーを開発し、そのスケーリングの驚くべき性質を発見した。

GPTの革新は「教師なし事前学習」にある。従来の機械学習では、モデルを訓練するためにラベル付けされた構造化データが必要だった。しかしGPTは、大量のテキストデータを「読む」だけで、言語の構造と意味を自ら推論する。これは子供が世界を観察しながら学ぶプロセスに似ている—たまに親が「違うよ、それは赤色だよ」と訂正する以外は、ほとんど自己学習で成長するのだ。

そして発見されたのが、モデルの規模と性能の間の驚くべき相関関係である。GPT-1は約1.2億パラメータ、GPT-2は15億、GPT-3は1750億、そしてGPT-4は約1.7兆パラメータ（非公表だが噂レベル）へと爆発的に増加した。重要なのは、モデルの構造自体を変えなくても、単にパラメータ数と訓練データを増やすだけで、性能が劇的に向上するという点だ。数十億パラメータ以下のモデルでは実用的でなかった能力が、数百億、数千億パラメータに達すると突如として「創発」する。研究者たちも予想していなかったこの現象は、まさに魔法のようだった。

しかし、このスケーリングには莫大なコストが伴う。GPTクラスのモデルを訓練するには、膨大な数のNvidia GPUが必要であり、その費用は非営利団体には到底手が出せないものだった。2019年、OpenAIは重要な決断を下す。営利企業として再編成し、Microsoftから10億ドルの投資を受けたのだ。Sam Altmanのリーダーシップの下、OpenAIは「人工汎用知能（AGI）が全人類に利益をもたらす」という使命を維持しつつ、その研究を資金調達するための事業モデルを構築した。

この決断の連鎖は、2022年11月30日に頂点に達する。ChatGPTのリリースである。Jensen Huangが「世界を変えたAI」と呼ぶこの製品は、史上最速で1億ユーザーを突破した。そして2023年、Microsoftはさらに100億ドルをOpenAIに投資し、GPTを全製品に統合することを発表した。

50:56Nvidiaの準備：データセンターをコンピュータにする5年間

ここで重要な問いが浮かぶ：なぜこれらすべてがNvidiaの上で起きているのか？答えは、Nvidiaが過去5年間にわたってデータセンター向けの新しいコンピューティングプラットフォームを構築してきたという「準備」にある。

Nvidiaの戦略は3つの柱からなる。第一に、2020年にイスラエルのネットワーク企業Mellanoxを70億ドルで買収したことだ。Mellanoxの主力製品はInfinibandという、イーサネットに代わるデータセンター内の高速データ転送規格だった。当時、ほとんどの企業は「イーサネットで十分」と考え、Infiniband市場から撤退していた。しかしJensen Huangは「データセンター全体が一つのコンピュータになる」と確信し、GPUクラスタ間の超高速データ転送に投資したのである。

第二に、2022年9月、NvidiaはGrace CPUプロセッサという、まったく新しいクラスのチップを発表した。NvidiaがCPUを作る？これは異端とも言える動きだった。しかしGrace CPUはラップトップ用ではなく、大規模GPUクラスタを統括するためのデータセンター専用設計である。これによりNvidiaは、GPU、CPU、NVLink（GPU間接続）、Infiniband（ラック間接続）のすべてを自社で提供できるようになった。

第三に、GPUアーキテクチャの分離である。従来、NvidiaのGPUアーキテクチャはコンシューマー向けとデータセンター向けで共通だった。しかし2022年9月から、データセンター向けのHopperアーキテクチャ（Grace Hopperに因む）と、コンシューマー向けのLovelaceアーキテクチャ（Ada Lovelaceに因む）に分割された。Hopperアーキテクチャでは、TSMCの最先端パッケージング技術「CoWoS（Chip-on-Wafer-on-Substrate）」を採用。これはメモリをGPUチップに垂直に積層することで、メモリ帯域幅を劇的に向上させる技術だ。

現在、CoWoSはTSMCの生産能力の約10〜15%を占めており、Nvidiaはその大部分を確保している。AIモデルの訓練において最も重要なのは、プロセッサの近くにどれだけの高速メモリを配置できるかである。H100 GPUは80GBのオンチップRAMを搭載し、18,500のCUDAコア、640のテンソルコア（行列演算専用）、80のストリーミングマルチプロセッサを備える。重量は70ポンド（約32kg）、約35,000の部品から構成され、組み立てにはロボットが必要だ。

1:10:59H100とDGXシステム：価格設定と驚異的なマージン

Nvidiaの製品ラインナップと価格設定は、同社の市場支配力を如実に示している。H100 GPU1基の価格は40,000ドル。これはA100（わずか2.5年前の製品）と比較して、AI訓練で9倍、全体的に30倍高速である。8基のH100をGrace CPUと共に1つのボックスにまとめたDGX H100システムは500,000ドルから。さらに、256のGrace Hopper DGXラックを接続したDGX GH200 SuperPod（「AIの壁」とJensenが呼ぶ）は、価格は「お問い合わせください」だが、数億ドル規模と推定される。

Jensen Huangは「買えば買うほど得をする」というフレーズを好んで使う。これは、自社のソリューションが高価であることを認めつつ、代替手段と比較すれば実際にはコスト効率が良いという主張だ。例えば、Fortune 500企業が自社の既存データセンターで同等のAI機能を構築しようとすれば、はるかに多くの時間とコストがかかる。Nvidiaの統合ソリューションは、プラグアンドプレイで1ヶ月以内に稼働開始できる。

この価格設定の結果、Nvidiaの粗利益率は驚異的な70%に達し、さらに翌四半期には72%と予測されている。CUDA以前の2006年、同社がコモディティ化されたグラフィックスカードメーカーだった頃の粗利益率は24%だった。この上昇は、差別化の深化とともにほぼ一直線に進んできた。

さらにNvidiaは、DGX Cloudという新しいサービスも開始した。これは、AzureやOracle Cloud、Google Cloudなどの他社クラウド上に仮想化されたDGXシステムを提供するものだ。月額37,000ドルでA100ベースのシステムを利用でき、顧客はWebブラウザからHugging Faceと統合された使いやすいインターフェースでモデルをデプロイできる。このサービスのマージンはさらに驚異的で、ハードウェアの製造コスト（約120,000ドル）を3ヶ月で回収できる計算になる。

1:27:26歴史的な四半期決算：データセンター収益の爆発的成長

2023年5月、Nvidiaは2024会計年度第1四半期の決算を発表した。収益は前期比19%増の72億ドル。これは、2022年末の暗号資産バブル崩壊と在庫評価損の影響から回復しつつあることを示していた。しかし、同社は真の爆弾を投下した。第2四半期の収益予想は110億ドル—前期比53%増、前年同期比65%増である。株価は時間外取引で25%急騰し、Nvidiaは1兆ドル企業の仲間入りを果たした。

そして2023年8月、実際の第2四半期決算はさらに驚異的だった。データセンター部門だけで103億ドルの収益を記録。これは前期から141%増、前年同期比171%増である。会社全体の収益は135億ドルで、前期比88%増、前年比100%超の成長率を示した。Ben Gilbertは「この規模でのこの種の成長は、これまで見たことがない」と述べている。

特筆すべきは、この収益が実際の製品納入に基づいている点だ。これは受注や予約ではなく、顧客に製品を届け、代金を受け取った結果である。わずか3ヶ月でデータセンター収益が約40億ドルから100億ドル以上に倍増したことになる。

Jensen Huangはこの機会を捉え、Nvidiaの総アドレス可能市場（TAM）を再定義した。彼は「世界中のデータセンターには1兆ドル相当のハード資産が存在し、毎年2500億ドルが設備投資として追加されている」と指摘。Nvidiaはこのデータセンター支出のかなりの部分を獲得できる立場にあると主張する。以前の「100兆ドル産業の1%」という粗い試算とは異なり、今回はより具体的で説得力のある市場定義である。

1:36:53CUDA：10,000人年のソフトウェアモート

Nvidiaの真の強みは、ハードウェアだけでなく、ソフトウェアエコシステムにある。2006年に開始されたCUDAイニシアチブは、GPUをグラフィックス以外の用途に使うためのソフトウェアプラットフォームとして始まった。今日、CUDAは単なるプログラミング言語ではなく、コンパイラ、ランタイム、デバッガ、プロファイラ、業界特化型ライブラリを含む包括的なプラットフォームである。

CUDAの開発者数は驚異的な成長を遂げている。2006年のリリースから最初の10万人獲得までに4年。2016年（13年目）に100万人。その後、2年で200万人、2022年に300万人、そして2023年5月には400万人の登録開発者を達成した。現在、NvidiaにはLinkedInの職務経歴に「CUDA」という単語を含む従業員が約1,600人在籍している。

David Rosenthalは、CUDAへの投資規模を「10,000人年」と推定する。これは、2006年からの累計エンジニアリング工数である。競合がこのギャップを埋めるのは極めて困難だ。AMDのROCmやオープンソースのPyTorchなどの取り組みは存在するが、Nvidiaの数千人規模のエンジニアチームが16年間にわたって築き上げてきたエコシステムに対抗するには、少なくとも10〜15年のリードタイムが必要だろう。

Nvidiaは自らを「プラットフォーム企業」と位置づける。Davidは「NvidiaはIntelではない。Ciscoでもない。彼らはMicrosoftだ」と指摘する。MicrosoftがOSと開発者エコシステムを支配したように、NvidiaはCUDAを通じて開発者との直接的な関係を構築している。さらに、Nvidiaはハードウェアも自社製造する点で、もしかするとMicrosoft以上に強力かもしれない。古くはIBMのメインフレーム時代を彷彿とさせる、完全垂直統合型のコンピューティングプラットフォームなのである。

まとめ

このエピソードが描き出すのは、偶然と準備が交差した瞬間の力である。Nvidiaは、AI革命が到来することを「知っていた」わけではない。しかし、データセンターを再発明し、CUDAエコシステムを構築し、Mellanoxを買収し、TSMCの最先端パッケージング能力を確保するという一連の投資を、何年も前から続けてきた。そして、OpenAIのTransformer革命とChatGPTの爆発的普及という「機会」が訪れたとき、Nvidiaは完璧に「準備」ができていた。

このエピソードの真の価値は、Nvidiaを単なる半導体企業ではなく、プラットフォーム企業、システム企業、そしてある意味では現代のIBMとして理解する視点を提供したことにある。Jensen Huangの「データセンターはコンピュータである」というビジョンは、もはや単なるスローガンではなく、実際の製品と収益に裏打ちされた現実となっている。

要点

• Nvidiaのデータセンター部門は2023年第2四半期に103億ドルの収益を記録し、前期比141%増、前年同期比171%増という驚異的な成長を遂げた。これは同社史上最大の四半期であり、テクノロジー業界全体でも類を見ない規模の成長である。
• Transformerアーキテクチャ（2017年）の発見により、自然言語処理の並列計算が可能になり、大規模言語モデル（LLM）の訓練が現実的なものとなった。これにより、GPT-1の1.2億パラメータからGPT-4の約1.7兆パラメータへの爆発的なスケーリングが実現した。
• Nvidiaの競争優位性は、H100 GPU（40,000ドル/基）のハードウェア性能だけでなく、CUDAソフトウェアエコシステム（16年、約10,000人年の投資）、MellanoxのInfinibandネットワーキング技術、TSMCのCoWoSパッケージング能力の独占的確保という4層のモートによって構成されている。
• OpenAIの創設（2015年）は、GoogleとFacebookによるAI研究者の寡占を打破するためにElon MuskとSam Altmanが主導した。Ilya Sutskever（AlexNetチームの一員）が唯一の離脱者となり、後にOpenAIの共同創業者兼チーフサイエンティストとなった。
• Nvidiaの粗利益率は、CUDA以前の24%から現在の70%超へと上昇。これは、コモディティハードウェアメーカーからプラットフォーム企業への変貌を如実に示している。
• DGX Cloudは、他社クラウド上でNvidiaの統合ソリューションを提供する新しいサービスモデル。月額37,000ドルで、ハードウェアコストを約3ヶ月で回収できる超高マージンビジネスである。
• Nvidiaの競合が同社に追いつくには、同等のGPU設計、NVLink級のチップ間接続、Mellanox級のラック間ネットワーキング、TSMCのCoWoS製造能力の確保、そして10,000人年相当のCUDA互換ソフトウェアの開発という、ほぼ不可能なハードルをすべてクリアする必要がある。