AIプロトタイプの90%は本番環境に到達しない（TemporalのSamar Abbas氏を迎えて） | AI Basics

AIベーシックスの回へようこそ。この番組では、起業家から同じ基本的な質問を何度も受けます。法務や財務、プロダクトマーケットフィットや顧客獲得などさまざまですが、最近はほとんどがAIに関する基本的なことです。今やどのスタートアップもAI製品を作るだけでなく、AIを使って製品を作っています。AIを社内で使わなければ競争力を持てない時代です。今日のゲストはTemporalのCEO、サマル・アッバスです。AWS、マイクロソフト、ウーバーで働いた20年のエンジニアリング経験の持ち主です。エージェントにハーネスがなぜ必要なのか、企業がエージェント時代に安全に足を踏み入れる方法、そしてGoogle Cloud上でTemporalを作る理由を聞きます。ようこそ、サマル。

ジェイソン、呼んでくれてありがとう。

長くエンジニアをやってきたわけですが、ウォームアップとして、10年前の製品やサービスの作り方と、ここ10か月、あるいは10週間の作り方はどう変わりましたか。その2つの期間の間でも変わったように感じます。

この質問はよく受けます。AIの台頭で明らかに新しいプラットフォームシフトが起きており、すべてが変わって見えます。モデルはどんどん賢くなっています。アプリケーションの考え方は大きく変わり、特にコーディングエージェントの登場で、突然誰もがソフトウェア開発者になりました。コンピュータサイエンスの背景がなくても、アイデアがあれば誰でもアプリを作れます。一方で、見えている問題は非常に似通っています。「素晴らしいアイデアを思いつき、コーディングエージェントでアプリを作った」という話をよく聞きますが、そうしたアイデアの9割は概念実証の後に消え、日の目を見ません。なぜでしょうか。

概念実証の段階で止まります。人々は興奮しますが、突然、不安になります。安定せず、脆く、再現できない。この一連の問題は何でしょうか。私の組織でも、誰かが何かを見せてくれて「本番に耐えるか」と聞くと、答えは決まって「わからない、そうは思えない、でも maybe」です。これが本番レベルのソフトウェアと概念実証の違いで、大きなギャップがありますよね。

大きなギャップがあります。このプラットフォームシフトで見えているのは、AIアプリ、特にエージェントが本番に到達するにつれて、実行時間がどんどん長くなるということです。規模が大きくなるほど非同期になり、長く動き、実世界で多くのアクションを起こし、より多くの価値を生みます。どの組織にとってもそれがパターンであることは明らかです。しかしそこに踏み込むと、信頼性、拡張性、耐久性という、クラウドのプラットフォームシフトのときとよく似たインフラレベルの課題に直面します。エージェントがラップトップから実際の分散環境へと卒業し始めるため、問題はまったく新しいAIの問題というより、分散システム的な性質を帯びてきます。

問題の一つは実行の耐久性です。どのAI製品でも、動いている、動いている、動いていると思ったら止まり、最初からやり直さなければならない経験があります。大きなジョブならなおさらです。動画や画像、音声の生成でも、調査レポートや大規模なウェブリサーチでも起こります。耐久性の問題が常につきまとい、しかもどこで止まったかを知らないように見えます。完璧なソフトウェアではないので、大規模言語モデルが最善の予測をしている場合もあります。なぜそうなるのか、そして実行時の耐久性をどう解決するのでしょうか。

AIシステムが概念実証から実際の本番システムを支えるようになるにつれ、これは事実上の必須要件になりつつあります。返金を処理するエージェントを想像してください。返金を処理した直後に障害が起き、マシンが再起動し、プロセスがクラッシュし、顧客に通知する前に死んでしまいます。多くの概念実証がここで詰まります。選択肢は再処理するか、もう一度返金するかです。

二重返金ですね。

そう、発行してしまえば高くつく可能性があります。こうした障害の処理こそ、AIが実世界で行動を始めるにつれ本番システムが直面する課題です。ここでTemporalのようなプラットフォームが重要になります。私たちが提供するのは耐久実行と呼ばれるもので、コードの実行中に障害が起きても、開発者が一行もコードを書かずにすべての状態を記憶します。返金を処理して障害やクラッシュが起きても、自分で状態を管理する必要はありません。プラットフォームが背後で永続的に保存し、あらゆる障害があってもアプリケーションが前進し続けることを保証します。これがAIシステムを支える基盤になりつつあります。

納得です。AIを本番へ移し、組織内の小さなプロジェクトから実際に動くものへと移行している流れを物語っています。話を聞きながら、空港のカウンターでフライトの変更をする場面を思い浮かべました。新人の若いスタッフが荷物や座席を必死に調べ、そこに経験豊富な人が来て「見せてあげる」と手順を追って直していく。人間の世界には研修生もメンターもいて、「何をしたか説明して」と確認して直します。先ほどウェブサイトを見ていて、美しいエージェントAIの例やサブスクリプションの例で全てがつながりました。左上にワークフロー、コードがあり、Temporalのイベントタイムラインが再生されて動作を眺められます。左下のコンソールは何をしているのですか。

簡単に説明します。私たちはコードの耐久実行を保証するプラットフォームです。左上のウィンドウは実際のアプリケーションを示しています。開発者が書いたコードかもしれませんし、コーディングエージェントが書いたコードかもしれません。Temporalのスキルを使えば、「インターネットで調べ物をして回答をまとめるアプリを作りたい」と表現するだけで、左上のようなコードを出力できます。右のウィンドウは実際にそのアプリを実行したときのランタイムで、クエリを実行し、リアルタイムで進捗を示します。ツールを実行し、LLMを呼び出して応答を受け取り、前進している様子がわかります。下のウィンドウはアプリケーションが生成している実際の出力です。

これが核心ですね。舞台裏で何が起きているかを見せてくれた人は初めてです。多くの人はただ質問するだけ、例えば休暇の終わりに「休暇でどこへ行くべきか」と聞くだけです。ショッピングアプリでも調査アプリでも同じです。今はAIを使う消費者や企業からその中身を抽象化しています。シンプルにするのは良いことですが、こうして再生されているのを見ると安心します。すべての消費者製品にこのヘッドアップディスプレイがあれば、どこで止まったかをより確信を持って把握できるのにと思います。

良い指摘です。Temporalから得られる大きな力の一つは、まず耐久性と信頼性を保証するトランザクションエンジンであり、同時にAIエージェントアプリケーションへの完全な可視性を与えることです。最近のエージェントとは何かというと、LLMを選び、プロンプトを与え、ツールのセットを渡すものです。LLMは何をすべきか、どう前進するかを自分で決められるほど賢いのです。Temporalは耐久性の保証を与えるだけでなく、エージェントがタスクを実行して正しい結果を得るために実際に何をしているかへの完全な可視性を提供します。

そうなると、その人が入って一部を調整できるはずです。投資先の企業で、10秒の短い動画や映画のポスターを作るときに、どう作られているかを見せ、どこを変更できるかを示す興味深い製品を見ています。それが究極の可能性だと思います。どこで壊れているか、どこで幻覚を起こしているか、期待に届いていないかが見えるからこそ、プロセスの特定のステップを変更できるようになるのです。

調整を超えてさらに進みます。可視性を与え、何が正しく行われ、何を調整すべきかを見せ、ビジネスロジックを望む結果に近づける方法を与えます。しかし、書かれているエージェントの大多数を想像してください。コードモードというものがあり、エージェントが複雑な問題をその場でより多くのコードを書いて解きます。プロセスの途中でコードを生成し、それを実行します。大企業が大規模な業務プロセスをコードモードのエージェントに移行し始めると、セキュリティの観点から非常に不安な世界です。LLMが実行時に生成したコードを業務環境で動かすのですから。Temporalにはワークフローとアクティビティという2つの構成要素があります。ワークフローはコマンドの生成を担います。コードモードが次に実行すべきコードを生成できるようにしつつ、すべてのコマンドを傍受し、実際のサンドボックスやランタイムで実行される前に必要なガードレールを提供できます。

なるほど。ハーネスとモデルの役割について話してください。最近よく「モデルは素晴らしいが、ハーネスを正しくする必要がある」と言われます。ハーネスを正しくするとはどういうことか、平易な言葉で説明してください。モデルの可能性を実行する次の段階の力はハーネスにあるということです。想像はできるが実際にはわからない、というリスナーに向けて、実践的にどういう意味かを教えてください。

私の説明では、今はエージェントのMS-DOS時代から本当のクラウド環境へ移行している最中だと思っています。今日の大多数の人は、ラップトップに何かをインストールし、コーディングエージェントを動かして複雑な問題を解き、日々の仕事に価値を加えています。しかしLLMから得られる価値として、人々はループを組み始め、ループエンジニアリングやグラフエンジニアリングがよく話題になります。つまり、より独立して長く動くエージェントを作るということで、エージェントはラップトップから分散環境へ移ります。ここでハーネスが実行を駆動する中核になります。ハーネスは脳です。数十のエージェントと話し、調整し、数分、数時間、時には数日かかる複数のツール呼び出しを行う複雑なタスクをエージェントに与えるなら、脳を切り離す必要があります。エージェントが間違った道に進んでもプロセス全体を壊さないようにするためです。ハーネスとは、エージェントのループの外に切り離され、こうした分散アーキテクチャを駆動する脳なのです。

デスクトップで遊んでいたエージェントを、そろそろループで動かしたいと判断するタイミングはどう知るのでしょうか。十分に自信が持て、自分のリサーチャーとして機能し、例えば営業部門の次のリードを見つけ、CRMに入れ、カスタムメッセージの下書きを作り、Zoom通話につなげる、といった具合です。ラップトップから、CRMに基づいて売上につながる優れたリードを見つけるという目標を与えるループへ移すタイミングはどう判断するのか。企業で、自分を効率化するための遊びから、企業のプロセスにするには何が必要なのでしょうか。

企業は、業務プロセスを実行するために必要なすべてのガードレールが揃うまで、こうしたエージェント技術のアーキテクチャを採用できないと思います。企業がエージェントをラップトップで動かすことを許すことは決してありません。だから企業にとっては事実上の必須要件です。ソフトウェア開発者にとっては、小規模な組織ではChatGPTにプロンプトを与えて賢い答えを得ることから始まり、今はツールのセットを与えてLLMに呼び出させるエージェントループを組む段階です。この時点でラップトップでエージェントを動かすことはもはや選択肢ではありません。だからサンドボックスやメモリなど、安全でセキュアにエージェントを動かすためのアーキテクチャがすでに現れています。セキュリティだけでもラップトップの外で動かすことを要求します。もう一つの兆候は、ある時点で問題に取り組む個人からチームへと卒業することです。チームが複雑なビジネス問題を解くためにエージェントの軍団と協働するようになれば、分散環境でエージェントを動かすことが唯一の現実的な道になります。

そこではエンジニアが関与しなければなりません。ビジネスユニットに入り込み、適切なツールを使って、脆くならないようにきちんと構築する必要があります。多くの組織が今経験していることだと思います。ラップトップで楽しくやるだけから、これが組織全体にどう影響するかというパラダイムシフトです。価値は素晴らしく、機会は無限ですが、皆さんは思慮深くある必要があります。Temporal IOをぜひチェックしてください。サマル、番組に来て重要な視点を共有してくれてありがとうございました。

ジェイソン、ありがとう。とても楽しい会話でした。

Temporalについてもっと知りたい方は、お話しした通りTemporal IOを訪れてください。AIベーシックスの全エピソードはthisweekinstartups.com/basicsで視聴できます。素晴らしい製品を作り、このWeek in Startupsのような独立系メディアを支援してくれているGoogle Cloudの皆さんに感謝します。