Googleが開発した「TPU」、中身が異端すぎる…。#214

2025年11月、エヌビディアの株価が急落し時価総額が38兆円ほど吹き飛んだ。その原因となったのが、Googleが開発した「TPU」（Tensor Processing Unit）である。このエピソードでは、堀元見と水野太貴が、一見すると最新ニュースの解説に見えるこの話題を、実は人類2000年に及ぶコンピューター史全体を俯瞰する壮大なきっかけとして捉え、TPUという「異端の計算機」がなぜ今注目され、それがコンピューターの歴史においていかなる意味を持つのかを、軽妙な掛け合いを交えながら深掘りしている。

5:07TPUの核心「記憶しない」という発想

堀元はまず、CPU、GPU、TPUの3つのキャラクターを対比させる。前回の配信で堀元が導入した例えによれば、CPUは「社長」であり判断を下す存在、GPUは「経理部のソルジャー」であり与えられた通りの単純作業を大量にこなす存在だ。そして今回の新キャラクターTPUは、GPUからさらに「保存機能」すらも抜き去った存在だと説明される。つまり、CPUが「判断・保存・演算」の3つを行うのに対し、GPUは「判断」を捨てて「保存・演算」に特化し、TPUはそこから「保存」すらも捨てて「演算」だけに特化したイメージだという。

この「保存しない」という発想の核心を、堀元は具体的な計算例で示す。300個の数字のペアがあり、それぞれを掛け算してから総和を求めるタスクを考える。GPUの場合、30人のソルジャーがそれぞれ10個ずつ掛け算を担当する。各ソルジャーは1個目の掛け算の結果（例えば56）を手元のメモに書き、2個目の結果（15）が出たらメモを見て56+15=71と計算し、メモを書き換える。これを10回繰り返すため、メモリへの読み書きが頻繁に発生する。このメモリの読み書きが、実は演算に比べて大きな電力を消費するという問題がある。

TPUはこの問題を根本から解決する。GPUのように一人に10個ずつ割り当てるのではなく、まず30人に1個ずつ掛け算を割り当てる。各ソルジャーは自分の掛け算の結果を、隣のソルジャーに「バケツリレー方式」で渡していく。最初のソルジャーが56を計算し、隣のソルジャーはそれに自分の結果15を足して71を次のソルジャーに渡す。これを繰り返せば、最後のソルジャーだけが総和を記憶すればよい。この方式では、メモリへの読み書きが300回から10回に激減する。水野が「掛け算と足し算を分割すればいい」と発言したところ、堀元は「TPU開発者と同じ発想だ」と絶賛する場面もある。

13:32現代コンピューターの常識からの逸脱

このTPUの発想は、実はコンピューターの歴史における「常識」を完全に無視していると堀元は指摘する。現代のコンピューターはすべて、チューリングマシンに端を発する「計算したら結果をどこかに保存する」という読み書きを前提としている。チューリングが想像した仮想の機械は、無限に長いテープに記号を書き込みながら計算を行うものであり、これが現代コンピューターの基礎となっている。つまり、「計算して読み書きする」ことはコンピューターの基本中の基本であり、自動車が車輪で進むのと同じくらい自明な常識だという。

ところがTPUは、計算結果を保存せずにそのまま隣の回路に電気信号を渡してしまう。これは回路レベルで「隣に渡す」ことが強制された設計であり、従来のコンピューターのように「保存したものを後で使う」という柔軟性がまったくない。堀元はこれを「現代コンピューターの常識から完全に逸脱している」と表現し、従来の常識で言えば「ゴミデバイス」だと断言する。なぜなら、こんなに柔軟性のない装置は、滅多に役に立たないからだ。

しかし、この「ゴミデバイス」が突如として脚光を浴びることになる。その理由は、ここ20年ほどの間にディープラーニングと呼ばれるAI技術が劇的に進化したからだ。ディープラーニングの計算の中核は、膨大な量の「行列計算」である。行列計算とは、ベクトルの内積と同じく、「大量の掛け算をした後に総和を出す」という操作の繰り返しに他ならない。つまり、TPUが唯一得意とする「大量の掛け算→総和」というタスクのニーズが、AIの隆盛によって爆発的に増えたのだ。TPUの正式名称「Tensor Processing Unit」の「Tensor」も、ざっくり言えば行列を意味する。

20:10汎用から専用へ、そして専用から汎用へ——コンピューター史の逆転

堀元はここで、コンピューター史全体を俯瞰する視点を提示する。現代の流れはCPUからGPUへ、そしてGPUからTPUへと「汎用から専用へ」進んでいるように見える。しかし、コンピューター全体の歴史を振り返ると、実は逆の流れがあったという。

昔の計算機はすべて専用機だった。古代ギリシャのアンティキティラ島の機械は天体の運行を予測するためだけの装置であり、そろばんは四則演算しかできない。積分計算をするためにはまた別の専用の歯車回し機が必要だった。この状況が変わったのは第二次世界大戦前後からで、1950年頃にかけてプログラマブルな汎用コンピューターの時代が到来した。人類は2000年以上かけて、徐々に専用装置から汎用装置へと歩みを進め、1950年から2006年頃までは50年以上にわたって汎用コンピューターが主役だった。

ところが今、この流れが逆転しつつある。Googleは自社のほぼすべてのAIでTPUを活用しており、地球全体の計算量のかなりの部分が専用コンピューターによって処理されるようになった。かつて駆逐されたかに見えた専用コンピューターの「パイ」が復活しているのだ。ただし、水野が指摘するように、コンピューター全体が専用に戻ったわけではなく、司令塔の部分は依然として汎用コンピューターが担い、その下で膨大な量の専用コンピューターが計算をさばく構造になっている。

25:19汎用性を求めた結果、専用に行き着く皮肉

さらに堀元は、この現象の背後にある深い皮肉を指摘する。人間は一貫して「汎用性」を求めてきた。昔の専用コンピューターは不便だったから、もっと色々なことができる汎用コンピューターが生まれた。ところが、人間は汎用コンピューターにも満足しなかった。プログラムで書ける問題は何でも解けるが、「愛とは何か」といったプログラムできない問題も解いてほしいと願うようになった。

この「プログラムできない問題」に取り組むために人類が生み出した手法がディープラーニングだ。大規模言語モデルは、自然言語で問いかけられた「愛とは何か」に答えてくれる。しかし、ディープラーニングを動かすためには、おびただしい量の行列計算が必要になる。そして行列計算を最も効率よく解くためのデバイスがTPUだ。つまり、「もっと汎用的なことをさせたい」という欲求が、結果として「行列計算だけに特化した専用デバイス」を必要とさせたという逆説が生まれている。

水野はこの流れを「会社の成長」に例える。最初は「何でもやります」という状態から始まった会社が、規模を大きくしようとすると、むしろ特化した方がスケールしやすいという現象に似ていると指摘する。堀元も同意し、「何でもやー」と言っている会社は絶対に上場できないと笑う。

31:19TPUは生物模倣なのか

水野は、TPUの「受け取った情報をそのまま隣に受け流す」という構造が、脳のニューロンに非常によく似ていると指摘する。ニューロンもまた、隣から受け取った神経伝達物質を、そのまま軸索を通して隣のニューロンに伝えるだけの存在だ。にもかかわらず、その集合体として人間の意識やクオリア（質感）が生まれている。

堀元はこの指摘に「言われるまで気づかなかった」と驚きつつ、さらに深い議論を展開する。ニューラルネットワーク自体が行列計算で表現される。そして、行列計算を最も高速に解くための回路構造を追求した結果、その回路がニューラルネットワークの構造に似てしまった。つまり、TPUは「人間の脳を模倣しようとして」ニューロンに似たのではなく、「行列計算を高速に解こうとした結果」としてニューロンに似たのだという。

ただし堀元は、ここで注意点を加える。ニューラルネットワークが登場した当初は、人間の脳のニューロンもこのような挙動をしていると考えられていたが、その後の脳科学研究によって実際の脳はもっと複雑であることがわかってきた。つまり、TPUは「我々がかつてそうだと思っていた脳」に似せて作られたデバイスだということになる。この「我々がかつて思っていた脳」という表現に水野は「切れ味がない」と苦笑するが、堀元は「飲み会で言ったら盛り上がると思うよ」と反論する。

34:56エヌビディアの株価とGoogleの未来

エピソードの終盤では、冒頭のニュースに戻り、今回の株価変動の意味が整理される。確かにエヌビディアの株価は急落し、38兆円もの時価総額が吹き飛んだ。しかし、これはエヌビディアの時価総額のわずか5.5%に過ぎず、致命的な打撃ではない。株式市場も「短期的にはエヌビディアの牙城は崩れない」と予測していることの現れだという。

一方で、長期的に見れば、TPUのような専用デバイスの台頭は、コンピューター史における大きな転換点を示している。堀元は「人類は汎用の計算機でも不可能なレベルの汎用性を求めたから、むしろ専用計算機のニーズが増えた」と総括する。そして、この「汎用を求めた結果、専用に行き着く」という逆説こそが、今回の話題の核心だと強調する。

まとめ

このエピソードは、一見すると最新のテクノロジーニュースの解説でありながら、実はコンピューター史全体を俯瞰する知的冒険となっている。TPUという「異端の計算機」を入り口に、チューリングマシンからディープラーニング、さらには人間の脳のモデル化に至るまで、2000年の歴史が一つの流れとしてつながる感覚を与えてくれる。特に、「汎用性を求めた結果、専用に行き着く」という逆説は、テクノロジーの進化における深い洞察として印象に残る。堀元と水野の軽妙な掛け合いが、難解なテーマを親しみやすくしている点も、このポッドキャストの魅力だ。

要点

• TPU（Tensor Processing Unit）は、Googleが開発したAI処理に特化した専用計算機であり、2025年11月のエヌビディア株価急落（38兆円消失）の一因となった。
• TPUの最大の特徴は「記憶しない」こと。計算結果をメモリに保存せず、隣の回路に直接渡す「バケツリレー方式」により、メモリ読み書きの電力を劇的に削減する。
• この設計は、チューリングマシン以来の「計算して読み書きする」というコンピューターの基本常識から完全に逸脱しており、従来の基準では「ゴミデバイス」と評される。
• しかし、ディープラーニングの隆盛により「大量の掛け算→総和」という行列計算のニーズが爆発的に増加し、TPUが突如として重要なデバイスに浮上した。
• コンピューター史は専用から汎用へと進んできたが、今、人間が「プログラムできない問題」を解くためにAIに汎用性を求めた結果、逆に専用計算機のニーズが復活するという逆説が起きている。
• TPUの構造はニューロンに類似しているが、これは脳を模倣した結果ではなく、行列計算を高速化した結果として偶然一致したものである。
• 短期的にはエヌビディアの優位は揺るがないが、長期的には専用デバイスによる計算量の増大がコンピューターのあり方を変えつつある。