医療AIにレフェリーが必要な理由 | ProtegeのEngy Ziedan

医療AIの世界では、モデルが数万問の試験問題に正解しながら、実際の臨床現場で求められる仕事では失敗することがあり得る。このエピソードでは、a16zのバイオ・ヘルス部門パートナーであるDaisy Wolf（デイジー・ウルフ）と投資家のEva Steinman（エヴァ・スタインマン）が、Protege（プロテジェ）の共同創業者兼チーフ・サイエンティフィック・オフィサーであるEngy Ziedan（エンジー・ジーダン）を迎え、医療AIが抱える「測定」の問題を深く掘り下げている。Ziedanはインディアナ大学の助教授でもあり、医療経済学者としてのバックグラウンドを持つ。彼女の研究はニューヨーク・タイムズで取り上げられ、CDCにも引用された経歴を持つ。Protegeは医療AIの独立した評価機関として、ベンチマークで高得点を取ることが必ずしも病院で使えるモデルを意味しない理由を明らかにし、実際の臨床ワークフローでモデルがどう機能するかを測定する新しい枠組みを提唱している。

会話の核心は、医療AIの評価が「静的試験」から「継続的モニタリング」へと移行する必要性にある。Ziedanは、現在の評価システムが抱える根本的な問題として、ベンチマークの汚染、プロンプトやテスト方法によるランキングの変動、そしてモデルが進化する速度に伝統的な医療品質評価システムが追いつけないことを挙げる。さらに、保険会社と病院がそれぞれの利益のためにAIエージェントを使い始めたことで、患者がその狭間で無力になるという新たなリスクも浮き彫りにされた。Protegeが目指すのは、モデル開発者から独立した「審判」として、実際の臨床データに基づいてモデルを継続的に評価し、その結果を医療システムや患者に透明性をもって伝えることだ。このエピソードは、AIが医療に革命をもたらす可能性を認めつつも、その安全性を確保するための制度的枠組みがまだ整っていない現状を鋭く描き出している。

0:00医療AI評価の根本問題—ベンチマークと現実の乖離

Ziedanは、医療AIの評価が直面する問題を「二層構造」で説明する。第一層は、モデルが医学部の試験問題や医師免許試験で高いスコアを取ることだ。実際、現在の最先端モデルは平均的な医学生を上回る成績を収めており、レジデント（研修医）レベルに達しているものもある。しかし、これはモデルが本当に「推論」していることを意味するわけではなく、アライメント（価値整合）が向上しているかどうかの指標にもならない。第二層は、より現実的な臨床タスクでの評価だ。Ziedanは、モデルがライセンス試験で92%のスコアを取っても、実際の臨床タスクでは45%しか達成できないことがあると指摘する。この乖離こそが、医療AI評価の核心的な問題である。

この問題を理解するために、Ziedanは医師の訓練プロセスとの比較を用いる。米国の医師は、ほぼ10年に及ぶ専門訓練を受け、5,000問をはるかに超える試験に合格してから診療にあたる。一方、AIモデルは5,000問程度のQ&A試験に合格しただけで「解き放たれる」状態だ。彼女はこれを「100万人の医師がいる米国に、さらに100万人の医師を雇うようなもの」と表現する。ただし、その追加の100万人の医師は、わずか5,000問の試験に合格しただけの存在だというのだ。この比喩は、医療AIの評価がなぜこれほど難しいのかを鮮やかに示している。

さらに、Ziedanは医療AIの評価が「静的」であることの問題を強調する。現在のベンチマークは、ある時点の技術で評価され、論文として発表されるまでに時間がかかる。彼女は「2024年の技術で評価され、2026年に発表される論文」という例を挙げ、これでは急速に進化するAIには対応できないと主張する。特に、モデルがデータドリフト（データ分布の変化）に直面したり、個々の医師向けにパーソナライズされたモデルが登場したり、テストタイムトレーニング（推論時に学習する技術）によってモデルが常に進化し続ける時代には、静的な評価は意味をなさない。

7:10評価の経済学—なぜ独立した評価が必要か

Ziedanは、医療AI評価の重要性を経済理論の観点から説明する。経済学者は「ヘドニック法」と呼ばれるアプローチを用いて、人々の支払い意思額から価値を推定する。例えば、学区の質が住宅価格を決定するのは、より良い教育への支払い意思が価格に反映されるからだ。しかし、Uberの価値を「評価書を見せてくれ」と言って問う人はいない。人々はただ支払って乗車し、やがて「Uberる」という動詞が生まれるほどに普及した。これは、価値が市場で自然に形成された例だ。

しかし、AI市場は状況が異なる。Ziedanは「この技術は限界費用がゼロではない」と指摘する。人々はトークンで支払い、オンボーディング（導入）の時間を費やし、さらに「何かがうまくいかない確率」という形でリスクも負担している。したがって、AIが知識労働や高リスクのシナリオ、日常業務に統合されるためには、堅牢な評価が必要だという。彼女は「従業員を雇う前に適性を審査するように、AIを雇う前にも適性を審査する必要がある」と述べる。

医療分野では、この非対称性がさらに深刻になる。Ziedanは「中古車市場」の比喩を用いて、医療提供者（売り手）が患者（買い手）よりもはるかに多くの情報を持っている状況を説明する。彼女はスウェーデンの研究を引用し、医学部の入学試験の成績によってランダムに「家族に医師がいる」状態が割り当てられた人々は、家族全体の寿命が延びることを示した。これは、医療における情報の非対称性が実際の健康アウトカムに影響を与える証拠だ。このような状況にAIエージェントが加わると、問題はさらに複雑になる。

9:56壊滅的失敗と微妙なバイアス—アライメントの難しさ

Ziedanは、AIの安全性とアライメントについて議論する際、二つの異なるレベルの問題があると説明する。第一は「壊滅的失敗」であり、これは何かが重大に間違った場合にそれを防げるかという問題だ。彼女はこの問題は比較的容易だと考える。なぜなら、壊滅的失敗は「死亡率」のように明確に定義できるからだ。第二は「広範なミスアライメント（不整合）」と「微妙なバイアス」であり、これがはるかに難しい問題だ。定義自体が困難であり、検出もさらに難しい。

具体的な例として、Ziedanは保険会社と病院がAIを利用するシナリオを挙げる。保険会社は支払いを最小化して収益を最大化しようとし、病院は回収する収益を最大化しようとする。両者がエージェンティックツール（自律的に行動するAI）を使い始めると、患者はその中間に置かれ、何の主体性も持てない。そこには「このモデルは本当に良いパフォーマンスをしている」と判断する規制者も存在しない。彼女は「薬を処方される前に、モデルがまず患者が病院に借金をしていないか確認するのは公平か」と問いかける。また、病院が「院外への紹介をしないように」と指示することをモデルが実行するのは許容されるのか、という問題も提起する。

一方で、AIには人間のバイアスを排除する可能性もある。Ziedanは「アンビエンス技術」の例を挙げる。これは診察室での会話を記録し、SOAPノート（診療記録の標準形式）を作成する技術だ。彼女はProtegeが保有する数百億件の医療ノートの中に、「彼女はだらしない格好をしている」「彼女の夫は良い質問をしている」といった記述があり、実際には「彼女は信頼できない」という意味が込められていることがあると指摘する。その結果、痛みの原因が精神疾患と誤診されるケースもある。しかし、会話を正確に記録するAIツールを使えば、こうしたバイアスは排除され、第三者の医師が「この痛みは精神的なものだけではない、臨床検査をすべきだ」と判断できるようになる。このように、AIは人間のバイアスを強化するリスクと同時に、それを排除する可能性も持っている。

14:40ベンチマークの汚染とモデル評価の不安定性

Ziedanは、医療AIの評価における「ベンチマーク汚染」の問題を詳細に説明する。Natureに掲載された論文では、一般的なAI（OpenAIのモデルなど）が医療特化型のAIよりも優れているという結論が出された。一方、Arxivに掲載された競合論文は、ほぼ同じ結論に達した。しかし、ZiedanはProtegeが自社の顧客向けに行うベンチマーク評価では、結果がプロンプトの方法や使用するハーネス（評価フレームワーク）に大きく依存することを指摘する。時には、多肢選択問題の回答順序によってモデルのランキングが変わってしまうことさえあるという。

この現象は、ベンチマーク自体が汚染されている証拠だとZiedanは考える。つまり、モデルが「正しい答えの順番」を記憶している可能性があるのだ。これは学生が試験の回答パターンを暗記するのと同じだ。彼女は「モデルがランダムより悪いパフォーマンスを示す場合、それは深刻なミスアライメントの検出である可能性がある」と述べ、汚染されたデータが評価の信頼性を損なうことを強調する。

Protegeはこの問題に対処するため、「膜を密封する」ようなアプローチを取っている。つまり、トレーニングに使用されたデータセットや患者は、ベンチマークや評価に使用することを禁止するモラトリアム（一時停止）を実施しているのだ。Ziedanは、オンコパソロジー（腫瘍病理学）の例を挙げ、モデルが一度も見たことのない患者のスライド画像を評価に使用するために、病院の病理引き出しから「ネットニュー」のスライドを探し出したと説明する。これは非常に困難な作業だが、モデルの真の能力を測定するためには不可欠だという。

18:41継続的モニタリングの必要性—静的な品質評価の限界

Ziedanは、現在の医療品質評価システムがAIには適用できないと主張する。米国政府は2007年頃から「価値に基づく購買」プログラムを実施しており、政府が医師や病院に支払うケア費用の80%が品質に連動している。しかし、この品質評価は非常に静的なものだ。例えば、医師がウイルス性の症状に対して抗生物質を処方した回数や、介護施設で高齢者が転倒して骨折した件数などが評価指標となる。これらの報告は6ヶ月から1年遅れで行われるのが一般的だ。

しかし、AI技術はあまりにも急速に変化しており、このような遅延評価は意味をなさない。Ziedanは「勇気があれば、正しい方法は常に監視することだ」と述べる。具体的には、医師のローカルAIエージェントが利益を最大化する方向に判断を誘導し始めた場合に警告を発するシステムや、看護師が患者について否定的な会話をしたことでモデルが過度に「熱心」になり、安全でない推奨をするようになった場合にそれを検出する仕組みが必要だという。彼女は「この患者を早退するために早期退院させるのは偏った判断だ」と監視システムが指摘するシナリオを挙げる。

また、Ziedanは医療AIの評価が「人間の行動」を考慮していないことも問題だと指摘する。AIは医師や看護師を「置き換える」のではなく、「助手席に乗せる」ような存在だ。人間は技術に対して様々な行動を取る。頑なにAIの推奨を拒否する医師もいれば、過度に楽観的になる医師もいる。こうした「人間とコンピュータの相互作用」は大学で教えられる研究分野だが、現在のベンチマークや評価は、実際の現場でAIがどのように振る舞うかを測定できていない。Protegeがライブデータにアクセスできる立場にあることは、この問題に対処する上で大きな強みだと彼女は言う。

23:31Protegeの役割—独立した審判としての評価

Protegeは、医療AIの評価において「審判」の役割を果たすことを目指している。Ziedanは、医療AIの分野を「サブノード」と呼ばれる領域に分類する。例えば、アンビエンス（診察記録の自動化）、臨床試験推奨、看護ワークフロー、スケジューリング、オンコパソロジー（H&Eスライドを見て最適な免疫療法を推奨する）などだ。現在、各サブノードには複数の垂直AIビルダーが存在するが、それぞれが「自分が最高だ」と主張するだけで、実際の比較評価は行われていない。

Protegeは、これらのモデルを統一された評価フレームワークで比較し、レポートを作成するサービスを提供している。Ziedanは「船が夜にすれ違うようなものだ」と現状を表現する。各モデルは自分が最高だと言うが、実際にどちらが優れているかを知る方法がない。Protegeはモデルをホストし、統一評価を実施し、相互比較のレポートを提供する。これにより、各モデルの強みと改善点が明らかになる。

この評価プロセスには、多くの微妙な判断が伴う。プロンプトをどう設定するか、フロンティアモデルに専用のハーネスを構築すべきか、それとも内蔵のものを使用すべきか、モデルが拒否応答をした場合に平均値を代入するか、それとも次善のモデルに委譲するか。これらの選択が評価結果のランキングを変える可能性がある。Protegeは、これらの評価結果を最終的にテクノロジーの消費者（製薬会社や病院など）と共有することを目的としている。

なぜProtegeがこの役割に適しているのか。Ziedanは「比較優位」の概念を用いて説明する。Protegeは医療データの分野で市場最高の能力を持ち、さらに評価業務は同社の他の業務と比較しても最も低い限界費用で提供できる。また、評価に使用するテストセットを社内に保持し、モデルの欠陥が明らかになった場合に、その欠陥を改善するための具体的なデータを提供できる。さらに、ネットワーク効果の観点から、信頼の欠如はネットワーク全体を即座に破壊するため、公平性を維持する強いインセンティブが働くという。

結びに

このエピソードが最も印象的に描き出したのは、医療AIの評価が単なる技術的問題ではなく、制度的・経済的問題であるという視点だ。Ziedanの議論は、AIモデルが医学試験で高得点を取ることと、実際の病院で患者の命を預かることの間にある深い溝を明確に示している。彼女が提起した「医師の家族がいるだけで寿命が延びる」というスウェーデンの研究や、「5,000問の試験に合格しただけの100万人の医師を雇うようなもの」という比喩は、医療AIの評価がなぜこれほど重要なのかを強く印象づける。

また、Protegeが目指す「独立した審判」という役割は、AI産業全体にとって示唆に富む。モデル開発者が自分たちの評価を自分たちで行うことの限界は明らかであり、政府の対応も遅々として進まない。Ziedanは「政府は税金のオンライン申告さえ実現できていない」と指摘し、民間セクターが率先して評価システムを構築する必要性を訴える。このエピソードは、医療AIの安全性を確保するためには、技術開発と並行して、独立した評価機関の設立と継続的なモニタリングの仕組みが不可欠であることを強く示唆している。