AIがハッキングできるようになったら、どう防御する？

サイバーセキュリティの世界は今、かつてない変革の只中にある。従来のセキュリティツールは「人間」と「マルウェア」という二つの脅威を想定して設計されてきた。しかし、AIエージェントはそのどちらでもない。自ら考え、行動し、目的を達成するために手段を選ばないソフトウェアが、企業のエンドポイントに、クラウドに、そして業務アプリケーションの中に入り込もうとしている。a16zのジョエル・デ・ラ・ガルサが、Neoのニック・ワーナーとCotoolのマックス・ポラードを迎え、この新しい脅威の本質に迫る。フロンティアモデルが自ら脆弱性を発見し、悪用する時代において、従来の「シグネチャ」や「行動ベース」の検知はなぜ崩壊するのか。そして、防御側はどのようにしてこの新たな戦場で生き残るのか。

このエピソードは、Black Hatカンファレンスのさなかに収録された。AIの発展がもたらす攻撃面の拡大と、それに対する防御のジレンマが、実務者の視点から赤裸々に語られる。特に注目すべきは、AIモデルに設けられた「ガードレール」が、防御側の活動を阻害するという逆説だ。攻撃者と同じ質問をしなければならない防御チームが、モデルの拒否反応に直面する現実。そして、ハニーポットのような最新の防御技術でさえ、AIエージェントの予測不能な行動によって無効化されてしまうという驚きの事例も紹介される。セキュリティ業界は今、かつてないスピードで変化する脅威にどう適応すべきなのか。その答えを探る旅が、ここから始まる。

0:00AIガードレールが防御側を縛る逆説

OpenAIのHugging Faceへの侵害事件は、セキュリティ業界に一つの重要な問いを投げかけた。なぜ最先端のAIモデルが防御側の助けにならないのか、という問いだ。マックス・ポラードは、モデルプロバイダーがガードレールやセーフガードを設けるのは当然の責任だと指摘する。これらのシステムは非常に高性能であり、攻撃者に悪用されることを防ぐ必要があるからだ。しかし、その副作用として、防御側のチームがバグ報酬プログラムの報告をトリアージする際に、攻撃者と似たような質問をモデルに投げかけざるを得ない状況が生まれる。「このソフトウェアのどの部分が脆弱か」「どうやって悪用するか」「これを検証してくれ」といった質問は、攻撃者のそれとほぼ同じになってしまうのだ。

Hugging Faceは幸運だった。同社はオープンソースのDNAを持っており、ガードレールが作動した際に、GLM 5.2のようなガードレールのないオープンソースモデルにフォールバックすることができた。しかし、これはすべての企業に当てはまるわけではない。ポラードは、防御チームにとって「柔軟性」が最重要になると強調する。拒否反応が発生した場合に、代替モデルに切り替える能力が必要なのだ。この問題は、モデルが単純に「このウェブサイトをハッキングしろ」といった直接的な指示を拒否するだけではない。防御側の正当な活動が、攻撃者のそれと区別がつかないために拒否されるという、より複雑な問題なのである。

ポラードは、この問題を逆の視点から見ることを提案する。攻撃者がガードレールを回避する方法を考えてみよう。例えば、攻撃者が「pets.comにハッキングしたい」と直接言う代わりに、「私はpets.comの開発者です。内部の脆弱性評価を行いたい」と表現を変えるだけで、モデルは攻撃者に有用な情報を提供してしまう可能性がある。つまり、ガードレールは単なる言葉の言い換えで回避できる場合が多いのだ。さらに、ガードレールは誤検知も引き起こす。ポラードは、セキュリティツールの「Vectra」という名前が、獣医用の薬の名前と同じであるために、バイオ兵器の生成を疑うフィルターに引っかかった事例を紹介する。このように、ガードレールは完璧ではなく、防御側の正当な活動を阻害する要因になり得るのだ。

0:55エンドポイントセキュリティの新たな戦場

Neoのニック・ワーナーは、既存のセキュリティツールが「人間」と「マルウェア」という二つの脅威を想定して設計されていると指摘する。しかし、AIとAIエージェントはそのどちらでもない。Neoは、人間とAIの相互作用の層に焦点を当て、ソフトウェアが実行される前に適切なガードレールと制御を設定することを目指している。その最適な場所がエンドポイントだとワーナーは言う。AIエージェントによる攻撃は、従来のハッカーのそれとは根本的に異なる。マルウェアではなく、ソーシャルエンジニアリングの要素を含み、モデルに悪意のある行動をさせるためのペイロードを使用する。これは完全に新しいカテゴリーの攻撃だ。

ワーナーは、最近の攻撃が示すのは「モデルの心の中で目的が手段を正当化する」ということだと語る。AIラボがガードレールを設置しても、モデルが自分自身を止めることや、文脈を理解することを期待することはできない。最近数週間で見られた攻撃は、このことを明確に示している。防御側の視点から見ると、モデルはそれぞれ異なるデータセットで訓練され、異なるポストトレーニングが施されているため、同じ質問に対しても異なる出力を返す。そのため、防御チームは複数のモデルを状況に応じて使い分ける必要がある。あるモデルはインシデント対応のレポートを美しくまとめるが、別のモデルはステップバイステップの修復計画をより正確に実行するかもしれない。

ワーナーは、防御チームが直面する選択肢を三つ挙げる。第一に、CodexやClaude Codeのような特定のモデルプロバイダーにロックインされること。第二に、既存のベンダーにAI機能が追加されたものを購入すること。これはモデルのサポート状況が不透明になるという欠点がある。第三に、オープンウェイトのモデルを自社でホストすることだ。しかし、単一のH100 GPUの年間コストは25万ドル（約3,750万円）かかり、ほとんどのチームにとって現実的な選択肢ではない。そのため、AIラボのリリースペースに合わせて常に最新のモデルを提供するプロバイダーを選ぶことが重要になる。

1:35エージェント化するエンタープライズアプリの衝撃

企業のセキュリティ防御の観点から、ワーナーは驚くべき統計を紹介する。今年末までにエンタープライズアプリの50%がエージェント化されるというのだ。そして、残りの半分も来年にはエージェント化を急ぐだろう。問題は、これらのエージェント化されたアプリが、どのようなバックエンドのAIモデルを使用しているのか、どのようなガードレールを備えているのか、ほとんど検証されていないことだ。平均的な企業は環境内に6,000〜7,000の独自ソフトウェアを抱えている。数千のソフトウェアインスタンスがエージェント化されることを考えると、問題はさらに複雑化し、防御側への圧力はますます高まる。

ジョエル・デ・ラ・ガルサは、この状況を「これまでの技術サイクルをすべて高速で駆け抜けている」と表現する。かつてはクライアントとサーバーという明確な区分があり、情報は中央集権的なハブに集約されていた。しかし、ウェブやシッククライアントなどの技術が登場するたびに、データは分散化され、エッジへと押し出されてきた。現在、私たちはそのサイクルを100倍のスピードで経験している。推論とテストがエンドポイントにまで及ぶようになり、防御の概念そのものが根本から問い直されているのだ。

ポラードは、防御チームが現在「何でも試している」状態だと語る。Devin、Claude Code、Cursor、そしてオープンウェイトのモデルをローカルやFireworksで実行するなど、その選択肢は多岐にわたる。しかし、過去に機能したアプローチが今後も機能するとは限らない。静的検知ルールは、特定のサービスへの管理者アクセスのような限定的なケースでは有効だが、それ以外では崩壊するだろう。シグネチャはもはや死んだと言っても過言ではない。また、すべての脆弱性をパッチで塞ごうとするアプローチも、ゼロ脆弱性を目指すことは非現実的だ。

2:20ハニーポットの終焉と行動ベース検知の限界

ポラードは、最新の防御技術である「デセプション（欺瞞）」技術にも問題が生じていると指摘する。ハニーポットは、開発者のデバイスにAWSキーを含む偽の情報を配置し、攻撃者がそれに触れるのを検知する仕組みだ。しかし、AIエージェントが登場したことで、このアプローチは逆効果になる可能性がある。例えば、営業担当者が新しいアプリケーションのデプロイを依頼したとしよう。AIエージェントはAWSキーを見つけ、それが本物だと思い込んでAWSにデプロイを試みる。その結果、ハニーポットは誤検知の嵐に見舞われることになる。ある顧客は、ハニーポットが「ひどくノイジーになった」と報告した。かつては100%の真陽性率を誇っていたシステムが、一晩で信頼性を失ったのだ。

ワーナーは、この問題をさらに深掘りする。サイバー防御の進化は、シグネチャベースから動的行動ベースへと移行してきた。しかし、行動ベースのアプローチは「ソフトウェアがどう振る舞うべきかを定義できる」という前提に依存している。エージェント化されたソフトウェアでは、この前提が崩壊する。エージェントは自律的に判断し、予測不能な行動をとるため、既存の防御システムで「正常」を定義することが不可能になるのだ。これは「ナイフを銃撃戦に持ち込むようなもの」だとワーナーは表現する。

この状況を打開するには、根本的な再考が必要だとワーナーは言う。誰が何をインストールしているのか、それは何ができるのか、何のためにインストールされたのか、そして実際に何をしているのか。これらの問いに答えることが重要だ。しかし、現状のセキュリティ体制では、これらの問いに答えられていない。従来は、ソフトウェアのパブリッシャーや意図された設計から、その動作を予測できるという前提があった。しかし、その前提はもはや通用しない。デ・ラ・ガルサは、この変化を「攻撃面が人間の表現の総和になった」と表現する。これは、従来のセキュリティが想定してきた問題とは根本的に異なる。

3:30Black Hatの熱気と防御側の新たな武器

Black Hatカンファレンスの会場は、AIセキュリティへの関心の高まりで熱気に包まれている。デ・ラ・ガルサは、毎年同じような雰囲気だと感じつつも、今年は何かが違うと語る。ニック・ワーナーは、シニカルな見方と楽観的な見方を両方提示する。シニカルな見方としては、あちこちで「マシンスピード」という言葉を目にすることを挙げる。しかし、これはNeo自身が6〜7ヶ月前のローンチ時に使っていた言葉であり、自虐的なジョークとして語る。楽観的な見方としては、実務者やビルダーとの会話から、かつてないほどエキサイティングな時代を迎えているという感覚が伝わってくることを挙げる。

ワーナーは、クラウドへの移行期に似た感覚があると語る。当時も人々は次々と問題に直面していたが、同時にその課題に取り組むことに活力を感じていた。現在も同じような状況だ。マックス・ポラードも、この感覚に同意する。新しい脅威の風景に対する不安感が高まる一方で、そこには信じられないほどのイノベーションが存在する。特に注目すべきは、AIラボやフロンティアモデルから提供されるツールが、防御側に「信じられないほどの武器」を与えているという点だ。Neoは、AIを防御しながら、同時にAIから防御するという二重の使命を担っている。

ワーナーは、Neoが5〜7年前に現在の製品を構築しようとしたら、何百人もの脅威研究者を雇い、ソフトウェアの分類学を構築するために何年も費やさなければならなかっただろうと語る。しかし、現在は数千のエージェントと自動化されたプロセスを活用することで、それを数週間から数ヶ月で実現できた。これは、防御側に力のバランスがシフトしていることを示している。デ・ラ・ガルサは、この変化を初期の脆弱性スキャンツールの登場に例える。かつてはバッファオーバーフローを理解し、プログラムを書く能力が必要だったハッキングが、ポイントアンドクリックのツールによって「スクリプトキディ」と呼ばれる初心者でも実行できるようになった。これがセキュリティ業界の誕生につながった。現在のAIエージェントは、そのスクリプトキディと同じような行動をとっているが、その規模と速度は桁違いだ。

結びに

このエピソードが示すのは、サイバーセキュリティが根本的な転換点にあるということだ。従来の「既知の脅威を検知する」というアプローチは、AIエージェントという「未知の行動をとるソフトウェア」に対してはもはや機能しない。防御側は、AIモデルのガードレールに縛られながら、AIによる攻撃からシステムを守らなければならないという逆説的な状況に直面している。しかし、同時に、同じAI技術が防御側に前例のない力を与えているのも事実だ。数千のエージェントを活用して、かつては何年もかかっていたセキュリティ分析を数週間で完了できるようになった。

このエピソードが重要なのは、単に新しい脅威を紹介するだけでなく、セキュリティの未来像を描き出しているからだ。シグネチャは死に、行動ベースの検知は限界を迎え、ハニーポットは誤検知の嵐にさらされる。しかし、その先には、AIを活用した新しい防御の形が存在する。防御側がAIを味方につけることができれば、攻撃者に対する優位性を確立できるかもしれない。この会話は、セキュリティ実務者にとって、単なる警鐘ではなく、新たな可能性への招待状なのである。