Fei-Fei Liが語る空間知能とロボティクス

World Labsが先週、SceniXを買収した。これは、AIが未だ解いていない最大の課題の一つ、すなわち機械に物理世界の真の理解を与えるという問題に取り組む二つのチームが統合されることを意味する。本エピソードでは、a16zのパートナーであるMartin Casadoが、World Labsの共同創業者兼CEOであり、ImageNetの生みの親、そして空間知能の先駆者であるFei-Fei Liと、SceniXの共同創業者でコロンビア大学助教授のYunzhu Liを迎え、この買収の背景にある戦略的意図、シミュレーションがロボティクスの次世代を切り拓く可能性、そしてロボットの訓練が言語モデルの訓練とは根本的に異なるアプローチを必要とする理由について深く掘り下げた。議論は、現実からシミュレーションへ、そして再び現実へと至る「Real-to-Sim-to-Real」パイプライン、世界モデル、ロボティクス向け基盤モデル、評価指標、合成データの活用、そしてAIの未来が言語の理解だけでなく、物理世界の理解と相互作用にかかっているという核心的なテーマに及んだ。

Fei-Fei Liは、World Labsを「フロンティアモデルラボ」と位置づけ、そのミッションは「空間知能」を備えたAIを構築することだと語る。空間知能とは、AIが空間を生成、理解、推論し、そして相互作用する能力である。その手段として、大規模世界モデル（Large World Models）の構築に注力している。一方、Yunzhu Liが率いるSceniXは、ロボティクス開発における最大のボトルネックである訓練データと評価環境の不足を解決するために、現実環境を忠実に再現したデジタル世界を構築する「Real-to-Sim-to-Real」パイプラインを開発してきた。この買収は、World Labsが持つ3D生成モデル「Marble」の技術と、SceniXの持つロボティクス特化型のシミュレーション技術を融合させ、物理世界で行動するAIの基盤を築くための戦略的な一手である。両社の技術は極めて補完的であり、統合によってロボティクス向けの基盤モデル開発が加速することが期待される。

1:06空間知能と世界モデル：言語を超えたAIのフロンティア

Fei-Fei Liは、AIの進化における次のフロンティアは「空間知能」にあると明確に定義する。これまでのAI、特に大規模言語モデル（LLM）は、テキストやコードといった記号的な世界の理解に長けていた。しかし、人間の知能は、物体の位置や形状、奥行き、時間の経過に伴う変化など、三次元の物理世界を認識し、その中で計画を立て、行動する能力に大きく依存している。World Labsが構築しようとしているのは、まさにこの「空間」を理解し、生成し、操作できるAIである。その中核となる技術が「大規模世界モデル」であり、これは単なるビデオ生成モデルとは一線を画す。

Fei-Fei Liは、空間知能の応用範囲はロボティクスに限定されないと強調する。VFX（視覚効果）やゲーム、デザインといったクリエイティブ分野においても、仮想空間内で生成・操作を行う能力は極めて重要である。World Labsのビジョンは、人々が物理空間と仮想空間の両方で活動できる「マルチバース」な世界を実現することにある。その上で、物理空間での行動能力は、将来のAIにとって最もエキサイティングで重要な能力の一つであり、ロボティクスはその最も重要な応用分野であると位置づける。この長期的なビジョンこそが、SceniXの買収を決断した根底にある哲学である。

Yunzhu Liは、ロボットが実環境で動作するために必要な「世界」の条件として「一貫性（consistency）」を挙げる。これは、空間的、時間的、視点の違い、そして様々な相互作用の種類を超えて、世界が一貫して予測可能であることを意味する。例えば、ロボットが物体を押したときに、その物体が突然消えたり、物理法則に反した動きをしたりしてはならない。多くの既存のビデオ予測モデルはこの一貫性に欠けるが、World Labsの「Marble」が生成する3D世界は、この幾何学的な一貫性を備えている。この一貫性こそが、ロボットがシミュレーション内で意味のある学習を行うための基盤となる。

4:44Real-to-Sim-to-Real：ロボティクスのデータ不足を解消するパイプライン

Yunzhu Liは、SceniXが開発する中核技術である「Real-to-Sim-to-Real」パイプラインについて詳述する。このアプローチは、まず現実の環境（工場のラインや倉庫など）を高精度にデジタルツインとして再現する。このデジタル世界は、見た目だけでなく、物体の物理的特性（摩擦係数、剛性など）や、アクションを加えたときの動的な変化までをも忠実に模倣する。この「Sim（シミュレーション）」の世界では、現実世界では不可能なスケールで、安全かつ高速に、ロボットの訓練と評価を行うことができる。そして、シミュレーションで学習したポリシーを再び現実のロボットに適用する。このサイクルを回すことで、現実世界でのデータ収集のボトルネックを根本的に解消しようというのが、SceniXのビジョンである。

このアプローチの優位性は、特に「評価（evaluation）」と「訓練（training）」の二点で顕著に現れる。まず評価について、ロボティクスにおいて、あるモデルの性能（例えば、成功率95%と99.9%の差）を現実環境で検証するには、膨大な時間とコストがかかる。ロボットは物理的に動作するため、その速度は本質的に遅く、また危険も伴う。しかし、シミュレーション環境では、この評価を桁違いに高速化できる。SceniXのデジタル世界が現実と高い「アライメント（一致度）」を持っていれば、シミュレーション内での評価結果は現実での性能を高い確率で予測できるため、顧客は迅速なイテレーションが可能になる。

訓練の面では、シミュレーションは「制御可能性（controllability）」という決定的な利点を提供する。現実世界でのテレオペレーションによるデータ収集は遅く、カバーできるシナリオも限られる。しかしシミュレーション内では、照明、摩擦、物体の形状や種類、物理パラメータなど、あらゆる変数を系統的にランダム化し、制御することができる。これにより、ロボットが遭遇しうるあらゆる状況を網羅的にカバーしたデータを生成し、ロバストなロボットを訓練することが可能になる。これは、現実世界では事実上不可能なアプローチである。

14:59ロボティクスへの実践的アプローチ：掃除から始まる現実

Yunzhu Liは、自身の「North Star（北極星）」は「ロボットを実際に動かすこと」だと断言する。彼は非常に実践的な研究者であり、その姿勢はSceniXのビジネス戦略にも色濃く反映されている。彼らはアカデミア出身でありながら、最初のステップとして、研究室や倉庫、電子機器組立ラインといった実際の産業界のデザインパートナーと協業することを選んだ。この「現場から入る」アプローチは、Fei-Fei Liも高く評価する点であり、机上の理論ではなく、現実のニーズに根ざしたソリューションを開発するという決意の表れである。

この実践的な姿勢は、ロボットに何をさせるべきかという問いにも現れている。Yunzhu Liは、Fei-Fei Liとのポスドク時代に実施した一般市民へのアンケート調査を紹介する。人々がロボットに最も望むタスクの約3分の1は「掃除」だった。人々は、単調で汚く、危険な仕事（dull, dirty, dangerous tasks）をロボットに任せたいと考えている。このシンプルな事実が、SceniXの製品開発の方向性を決定づけている。彼らは、華々しい汎用人型ロボットを目指すのではなく、まずは具体的で価値の明確なユースケースから着実に解決していく道を選んでいる。

Fei-Fei Liは、この実践的なアプローチを「非常に新鮮だ」と評する。多くのロボティクス企業がモデルそのものの開発に注力する中で、SceniXは顧客との協業を通じて、現実の産業課題に真摯に向き合っている。この「現場感覚」こそが、World Labsの持つ強力な生成モデル技術と組み合わさることで、理論と実践の架け橋となり、真に価値あるロボティクスソリューションを生み出す原動力になると期待されている。

16:33シミュレーションの役割：反事実的推論と現実世界との橋渡し

Martin Casadoは、ロボティクスにおいてシミュレーションがどこまで正確であるべきか、という本質的な問いを投げかける。クリエイティブなユースケースでは、多少の不正確さはスタイルとして許容されることもあるが、ロボティクスでは高い精度が要求される。これに対しYunzhu Liは、シミュレーションは「完璧」である必要はないが、「問題の本質的な構造を捉えている」ことが重要だと説明する。例えば、四足歩行ロボットが雪や茂みの上を歩くシミュレーションでは、雪や茂みの一つ一つの物理特性を完全に再現する必要はない。重要なのは、様々な不確実性をランダム化してシミュレーション内で経験させることで、ロボットが現実世界での多様な状況に対応できるロバスト性を獲得することである。

Fei-Fei Liは、シミュレーションの本質的な価値として「反事実的推論（counterfactual reasoning）」の能力を挙げる。人間は、頭の中で「もしこうだったらどうなるか」というシミュレーションを常に行っている。これは、現実世界ではデータとして取得できない、あるいは取得するには危険やコストがかかりすぎるシナリオを仮想的に体験し、そこから学習するための極めて重要な認知機能である。ロボティクスにおいても同様に、現実世界のデータだけではカバーできない膨大な数の「もしも」のシナリオをシミュレーションで生成し、ロボットにあらかじめ経験させることができる。自動運転のWaymoが何十億時間ものシミュレーションを活用している事実は、このアプローチの有効性を如実に示している。

Yunzhu Liは、シミュレーションがもたらす具体的なメリットとして「信頼性（reliability）」と「効率性（efficiency）」の二つを挙げる。信頼性とは、シミュレーション内で系統的なランダム化を行うことで、ロボットが遭遇しうる状態空間を網羅的にカバーし、そのロバスト性を担保できる点にある。効率性とは、シミュレーション内では現実の時間制約から解放され、ロボットの動作を高速化して訓練できる点にある。多くの産業顧客は、人間の作業速度を超えるパフォーマンスをロボットに求めており、シミュレーションはその要求に応えるための唯一の現実的な手段である。

29:29ロボティクスの現実的な展開：構造化環境から非構造化環境へ

Yunzhu Liは、ロボットの実環境への展開は、常に「完全に構造化された環境」から「半構造化環境」を経て、「非構造化環境」へと進むという歴史的な傾向を指摘する。工場の製造ラインのような完全に制御された環境は、すでに数十年にわたって自動化が進んでいる。次の段階は、倉庫やレストラン、ホテルなど、ある程度の環境制御が可能な「半構造化環境」である。そして、最終的なグランドチャレンジは、家庭のような予測不可能な「非構造化環境」である。彼は、この段階的なアプローチこそが持続可能で現実的な戦略だと主張する。

この文脈で、Fei-Fei Liは、人間の身体（特に人型ロボット）が必ずしも産業用タスクに最適な形態ではないという重要な指摘を行う。人間の身体は、進化の過程で非構造化環境での生存に最適化されてきた。そのため、特定の産業タスク（例えば、特定の部品を高速で組み立てるなど）においては、人型であることはむしろ非効率である可能性がある。ビジネスとテクノロジーの観点からは、非構造化環境と汎用的な身体という組み合わせは、最も困難な問題である。SceniXのアプローチは、特定のタスクに特化したより特殊なロボット形態を採用し、その「半構造化環境」における問題を確実に解決することにある。

Martin Casadoは、経済的なレンズを通してこの問題を考察する。LLMが散文やコードを人間よりはるかに高速かつ低コストで生成できるのは、人間の脳がそのようなタスクに本質的に非効率だからである。しかし、人間の脳と身体は、三次元空間のナビゲーションや物体の操作といったタスクには極めて効率的である。果たしてロボットが、単純労働において人間と同等の「パワー効率」を達成できる日は来るのか。Yunzhu Liは「非常に長い時間がかかる」と予測する。ロボットはシステム全体として機能する必要があり、ハードウェア、ソフトウェア、制御アルゴリズム、そして指の摩擦係数といった細部に至るまで、多くの要素を統合しなければならない。しかし同時に、彼は自身のPhD時代から技術の進歩が予想以上に速いことを目の当たりにしてきたとも述べ、楽観的な見方も示す。

37:07統合の戦略と未来への展望

Fei-Fei Liは、World LabsとSceniXの統合について、慎重かつ戦略的に進める方針を明らかにする。両社の技術的な補完性は極めて高いが、コードベースやチームを急いで統合することはしない。SceniXは独自の確立されたテクノロジースタックと顧客基盤を持っており、当面はそれぞれの強みを活かしながら、段階的に統合を進める。具体的には、SceniXはすでにWorld Labsの「Marble」を内部顧客として活用し始めており、シミュレーション技術と基盤モデルの連携を深めていく。チームの統合は「サラダボウル」のように急いで混ぜ合わせるのではなく、時間をかけて自然な形で進められる。

地理的な戦略としては、World Labsは正式に「バイコースタル（両海岸）企業」となる。本社はサンフランシスコに置かれ、Yunzhu Liもサンフランシスコに移る予定である。一方で、ニューヨークにもオフィスを構え、東海岸の優秀な人材を惹きつける拠点とする。両方のオフィスにロボットを設置し、遠隔でのロボット操作やテストが可能なエンジニアリングスタックを構築する計画も明らかにされた。これは、顧客に対しても遠隔でサービスを提供する必要があるため、必然的な戦略でもある。

Fei-Fei Liは、2年後の成功イメージを「少数の重要な垂直ユースケースにおいて、検証済みの顧客を獲得していること」と描く。彼らのインフラが顧客の自動化ニーズに真に貢献し、その顧客がビジネスを拡大するための「灯台（lighthouse）」となること。これが短期的な目標である。そして、ロボティクス企業に対しては、「早すぎることも遅すぎることもない。ぜひWorld Labsに連絡してほしい」とメッセージを送る。彼らは、ロボットの訓練や評価に関する具体的な課題を共有し、協業するパートナーを常に求めている。

結びに

本エピソードは、AIの次の大きな波が「空間知能」にあるという明確なビジョンと、それを実現するための具体的な技術戦略を提示した点で極めて重要である。Fei-Fei LiとYunzhu Liの対話は、単なる理論的な議論に留まらず、現実の産業課題を解決するための実践的なロードマップを示している。特に印象的だったのは、シミュレーションを単なるデータ生成の手段としてではなく、人間の「反事実的推論」に相当する認知機能として捉え直した点である。これにより、シミュレーションはロボティクスにおける「考えるための道具」としての新たな価値を獲得した。

また、ロボティクスの進化を「構造化環境から非構造化環境へ」という段階的なプロセスとして捉え、人型ロボットへの過度な期待に対して警鐘を鳴らした点も示唆に富む。技術の進歩に対する「測定された楽観主義（measured optimism）」の重要性は、AI業界全体にとって重要な教訓である。World LabsとSceniXの統合は、理論と実践、生成とシミュレーション、そしてビジョンと現場感覚を融合させる試みであり、その成否は、今後のロボティクス業界の方向性を大きく左右する可能性がある。