クリエイターのためのAI構築 | Luma & Phota Labs

クリエイティブツールの歴史は、写真が絵画を変え、デジタルソフトウェアが写真を変えたように、常に技術の進化と共にあった。そして今、AIが画像、動画、そして創造的なワークフロー全体のあり方を根本から変えようとしている。本エピソードでは、a16zのYoko Liが、Lumaの応用研究責任者であるMatt Tancikと、Phota Labsの共同創業者兼CTOであるZach Xiaを迎え、AIが創造性、写真、そしてアーティストが作品を生み出すためのツールをどのように変革しているかを深く掘り下げた。議論の核心は、AIは単なる「スロップ（粗悪品）」を生み出すものではなく、人間の創造性を拡張し、これまで実現できなかったアイデアを表現するための強力なツールとなり得るかという点にある。両者は、モデルの性能向上だけでなく、ユーザーが意図を正確に伝え、制御できるインターフェースの重要性、そして「個人化（パーソナライゼーション）」が次の創造性の鍵を握ると主張する。

技術の進化が加速する中で、最も重要なのはAIモデルそのものではなく、それを操る「人間」であるというのが、両者に共通する確信だ。創造性とは、ツールを使いこなすことではなく、エージェントを「ディレクション（指示・監督）」し、自身のビジョンを実現することにある。このエピソードは、AIがアーティストの役割を奪うのではなく、むしろその創造性を発揮するための「キャンバス」と「筆」の質を根本的に向上させる可能性を示唆している。研究者からプロダクトビルダーへと転身した二人の視点から、モデルとアプリの共同設計、評価指標の難しさ、そしてユーザーが予想もしない形でツールを使いこなす創造性について、示唆に富んだ議論が展開された。

0:00創造性の定義とAIの役割：ツールからディレクションへ

議論の出発点は、AI技術におけるアーティストの役割とは何か、という根本的な問いであった。Matt Tancikは、3年前にNeRF（Neural Radiance Fields）について講演した際、AI技術はアーティストが創造的ビジョンを実行するための「ツール」であると答えたと振り返る。当時、3Dシーンのアセット作成は手作業が多く、創造性が発揮されるのはそれらをどう組み合わせ、ストーリーを構築するかという部分にあった。現在では、動画や画像を含む多様なツールが登場し、この「ツールとしてのAI」というテーゼはより強固なものになったと彼は述べる。

Zach Xiaもこの見解に同意し、アーティストこそが創造的な頭脳であり、技術はその表現を助ける手段に過ぎないと強調する。彼は、過去数年間、アーティストはワークフローやツールの習得に膨大な時間を費やしてきたが、本来の創造性はそこにはないと指摘する。ツールがより使いやすく、表現力豊かになることで、アーティストは創造性を発揮しやすくなるが、技術が創造的な心そのものを置き換えることは決してないと断言する。

では、創造性とは何か。Zach Xiaは、「創造性とはストーリーを構築すること」だと定義する。ツールはストーリーを構築するための手段であり、ツール自体がストーリーになるわけではない。誰かがそれを「ディレクション」しなければならない。この「ディレクションする心」こそが極めて重要であり、誰もが同じツールを使っても、生み出される作品は全く異なる。その差異こそが創造性の本質であると彼は論じる。Matt Tancikも、AIツールの本質は、アーティストが持つ創造的ビジョンをより良く実行するための手段であり、その役割は今後も変わらないと補足する。

1:10写真の進化：キャプチャーからポストプロダクションへ

AIは写真の分野にどのような変化をもたらしたのか。Matt Tancikは自身も写真家として活動する立場から、伝統的に写真の創造性は「キャプチャー（撮影）」の側面にあったと語る。決定的瞬間を待ち、構図を決め、シャッターを切る。その瞬間こそが写真家の創造性が発揮される場であり、撮影後にできることは限られていた。しかし、生成AIの登場により、この状況は一変した。AIはその瞬間に「オーセンティック（本物）」でありながら、同時に創造的な要素を加えることができるようになった。その結果、多くの写真家が「ポストキャプチャー（撮影後）」のプロセスをこれまで以上に楽しむようになったと彼は指摘する。

Zach Xiaは、この変化はユーザーの意識にも影響を与えていると述べる。AI時代の初期には、写真家から「撮影したものが全てだ」「編集はしたくない」という強い反発があった。しかし現在では、「邪魔な物体を画像から削除するくらいなら許容できる」というように、徐々にその境界線が変化している。技術はユーザーの意識よりも少し先を行くことで、新たな創造性の領域を切り開くことができる。この「チキン・アンド・エッグ」な関係を理解し、バランスを取ることがプロダクト開発において重要だと彼は強調する。

さらにZach Xiaは、ユーザーの創造性に関する驚くべき発見を共有した。多くの人は、アーティストのように明確な最終目標を頭の中に描いているわけではない。創作のプロセスそのものが反復と試行錯誤であり、ツールはその「イテレーション（反復）」をいかにスムーズに行えるかが重要である。これは、ユーザーの頭の中にある「グラウンドトゥルース（正解）」が存在しないため、ベンチマーク評価を極めて困難にする要因でもある。また、Phota Labsが提供するID保存技術について、ユーザーは静止画だけでなく、生成した画像をフレームとして動画モデルに渡すことで、IDを保持した動画を生成するという、開発者が想定していなかった創造的な使い方を発見した事例も紹介された。

11:46エージェントとインターフェース：抽象化レイヤーの選択

AIツールの進化に伴い、ユーザーとツールのインタラクションはどのように変化するのか。Matt Tancikは、従来のPhotoshopやBlenderのようなクリエイティブツールは非常に複雑で、習得にキャリアを要すると指摘する。AIエージェントの登場は、このツールをユーザーに「チューニング」する可能性を開く。背景の削除のような単純なタスクだけを望むユーザーもいれば、極めて詳細なコントロールを求めるユーザーもいる。エージェントは、ユーザーに適した抽象化のレベルを選択できる存在となる。

Zach Xiaは、この「ディレクション」という概念をさらに推し進める。創造性とは、ツールを習得することではなく、ツールを使いこなす「エージェント」をディレクションすることである。写真編集をしたくないが、創造的なアイデアは持っているユーザーにとって、自身の創造性を理解し、低負荷で表現してくれる「受動的（パッシブ）」なエージェントは理想的だ。このエージェントは、ユーザーの好みを記憶し、一度伝えたことを再度伝える必要がない「メモリー」を持つべきだと彼は主張する。

では、エージェントと人間のための次なるインターフェースはどのようなものか。Matt Tancikは、全てのユーザーが同じものを望むという前提は誤りだと指摘する。映画監督のように細部にまでこだわるタイプもいれば、俳優の演技だけを気にするタイプもいる。ツールも同様で、エージェントは異なる「ディレクター」に対応できる柔軟性を持つ必要がある。Zach Xiaは、抽象化のレイヤーは常に変化しており、モデルが多くの従来ツールを代替しつつも、同時にユーザーはより精密なコントロールをモデルに求め戻すという、双方向のプロセスが続くだろうと予測する。重要なのは、モデルと人間の両方が理解し、操作できる「表現（representation）」を見つけることだとMatt Tancikは付け加える。

17:27評価の難しさ：メトリクスと主観性の狭間で

AIによる生成物の「良さ」をどのように評価するか。これは研究者とプロダクトビルダーの双方を悩ませる難題である。Matt Tancikは、研究者として「良さ」を測定可能なメトリクスに変換することに常に焦点を当ててきたと語る。しかし、メトリクスが全てを語ることは決してない。そのため、開発プロセスには人間をループに組み込み、クリエイターの「テイスト（味覚・審美眼）」をアドバイスとして取り入れる必要がある。しかし、それも完全な解決策ではなく、究極的にはユーザー個人のテイストを学習する「パーソナライゼーション」が鍵となる。

Zach Xiaは、評価を「出荷前」と「出荷後」に分けて考える。出荷前の評価、特にパーソナライゼーションにおいては、各テスターやユーザーに「結果に満足しているか」を直接尋ねることが最も重要だ。アイデンティティのような極めて主観的な要素は、本人かその近しい人にしか評価できない。出荷後の評価はさらに重要で、特に主観的な領域では、ユーザーが結果に満足しているかどうかを、非侵襲的な方法で収集する仕組みが不可欠である。

この評価の難しさを象徴するエピソードとして、Yoko Liはある人物の写真生成結果を巡る議論を紹介した。その人物は、生成された画像が自分に「100%似ている」と認めつつも、「太って見える」と不満を漏らしたという。これは、「真実を追求すること」と「幸福」が必ずしも一致しないという問題を浮き彫りにする。Zach Xiaは、最終的にはユーザーがコントロールする存在であり、自分をどう見せたいかを選択する権利があると述べ、この問題に対するパーソナライゼーションの重要性を改めて強調した。Matt Tancikも、ツールの使用状況からユーザーがどこでフラストレーションを感じているかをシグナルとして収集し、改善に繋げるプロセスの重要性を指摘する。

25:57コントローラビリティとモデル・アプリ共同設計

AIツールが真にクリエイティブな道具となるためには、「コントローラビリティ（制御可能性）」が不可欠である。Matt Tancikは、フェーズ1のAIが「宝くじ」のようにプロンプトを引き直すだけだったのに対し、フェーズ2ではモデルレベルまたはシステムレベルでの制御が必要だと語る。プロフェッショナルなユーザーからの最大の不満は、テキストだけでは不十分だという点にある。そこでLumaは、時間軸と空間軸において精密な制御を可能にする「ビデオ・トゥ・ビデオ」技術に注力している。ユーザーが領域を指定してスケッチできるような、より直感的な制御方法の追加が重要だ。

Zach Xiaは、制御可能性のもう一つの側面として、モデルがユーザーに対して「何が必要か」を尋ねる双方向性を挙げる。現在のAIはユーザーからモデルへの一方通行であることが多いが、クリエイティブなプロフェッショナルは、クライアントに質問を投げかけ、その好みを引き出す。AIも同様に、ユーザーに質問し、その返答から意図を汲み取る能力を持つべきである。これはまだ十分に研究されていない方向性だと彼は指摘する。

モデルとアプリの共同設計（Model-App Co-design）は、このコントローラビリティを高める上で大きな利点をもたらす。Matt Tancikは、アプリ上でユーザーのワークフローを観察することで、ユーザーが実際に何を気にしているのか、どのステップを何度もやり直すのかを学習できると述べる。この情報はモデル設計に直接フィードバックできる。逆に、プロダクトはユーザーに対してモデルの最適な使い方を教育する役割も果たす。Zach Xiaも、ユーザーがモデルと対話する中で、どのような表現が最も効果的かを学んでいくプロセスが重要だと同意する。

31:15表現（Representation）の選択とプロセスとしての創造性

創造的なツールを設計する上で、データの「表現（representation）」をどう選ぶかは、コントロールの質を左右する重要な決定である。Matt Tancikは、NeRFやGaussian Splattingといった3D表現の例を挙げ、表現の選択は最終的に「何を後で変更したいか」というコントロールの問いに帰着すると説明する。ポスターのテキストを後で変更する必要があるなら、ピクセルレベルの表現ではなく、テキストを独立して操作できる表現が適している。単一の正解はなく、求められる制御のレベルに応じて最適な表現は異なる。

Zach Xiaは、この表現はモデルのためだけでなく、人間のためでもあると強調する。人間が理解し、操作できる表現であることが重要だ。現在の議論はモデルにとって最適な表現に集中しがちだが、その表現を人間がどう解釈し、制御するかという視点が欠けていると警鐘を鳴らす。

さらに、創造性における「プロセス」と「最終結果」の関係について議論が及んだ。Matt Tancikは、AIエージェントがアートを生成する場合でも、プロセスは人間の創作と似たものになり得ると述べる。VFXのブレイクダウンに見られるように、最終的なピクセルに至るまでの多層的なステップやプロセス自体が、クリエイターにとっては面白いものである。AIツールを使った未来のプロセスは見た目は異なるだろうが、エージェントと人間が協調して作品をまとめ上げるという本質は変わらない。Zach Xiaは、写真というメディアの未来について、フィルム写真がデジタルカメラの登場後も残り続けているように、プロセスそのものを楽しむ人々は常に存在すると指摘する。AIは、高価なカメラや現像技術を持たない人々に創造性を開放する「潜在的需要」に応えるものであり、写真という記録媒体の民主化に貢献するというのが彼の見解である。

43:07優れたアーティストとAI：格差の拡大と「スロップ」からの脱却

AIツールの普及は、アーティスト間の格差をどう変えるのか。Matt Tancikは、すでにAIツールを使いこなすアーティストを見ると、単にプロンプトを入力して結果を得る人と、作品全体のストーリーを考えている人との差は歴然だと語る。彼は、ツールの能力からは想像もつかないような作品を生み出すアーティストに常に驚かされる。優れたアーティストを他者と隔てるものは、与えられたツールを使って「いかにユニークなものを作り出すか」という点にある。

Zach Xiaは、AIツールは「下限（lower bar）」を確実に引き上げ、誰でもそれなりの作品を作れるようにする一方で、トップアーティストと平均的なアーティストの「ギャップはさらに拡大する」と予測する。なぜなら、優れたアーティストは自分の表現したいことを深く理解しており、強力なAIツールを使うことで、これまで不可能だった領域に到達できるからだ。彼らは新しいAIツールを習得する能力も高い。

議論の最後に、Yoko Liは「AIはスロップ（粗悪品）である」という一般的な認識について意見を求めた。Matt Tancikは、同じツールでも、ユーザーが「コーヒーカップの写真」とだけ入力した初回生成は平凡だが、ユーザーが自身のマークやスタイルを加えることで、全く異なる価値を持つ作品に変わる。それはユーザー次第であり、AIの出力はあくまで素材であると語る。Zach Xiaは、個人の「スタイル」を定義すること自体が極めて困難な問題であり、データから学習する以外に良い方法はないと述べる。スタイルは時間とともに変化し、プロジェクトごとに異なるため、静的な定義ではなく、動的に学習・適応するパーソナライゼーションが不可欠であると結論付けた。

結びに

本エピソードは、AIが創造性を代替するのではなく、拡張するための「パートナー」として機能する未来像を描き出した。最も印象的なのは、両者が口を揃えて「人間のディレクション」の重要性を強調した点である。AIがどんなに高度になっても、最終的な作品の価値を決めるのは、それを「どう使うか」という人間の意図と創造性にある。また、研究者とプロダクトビルダーの両方の視点を持つ二人のゲストだからこそ語れる、評価指標の限界や、ユーザーの予想外の使い方から学ぶことの重要性は、AIプロダクト開発に携わる全ての者にとって貴重な示唆に富んでいる。このエピソードは、AIツールの進化が、アーティストの役割を奪うのではなく、むしろその創造性を発揮するための「新しいキャンバス」と「新しい筆」を提供するものであるという、楽観的かつ現実的なビジョンを提示している。