医療AI幻覚の発生段階を特定するベンチマーク登場

医療用人工知能の実用化を阻む最大の課題の一つが「幻覚」と呼ばれる誤情報生成問題である。アリババDAMO Academyを中心とする研究チームは、この問題をより精密に診断するためのベンチマーク「ClinHallu」を開発し、論文を公開した。7,031件の検証済みインスタンスを収録し、AIの推論プロセスをどの段階で誤りが発生したかという観点で分析できる点が最大の特徴である。

従来の医療AIハルシネーション評価ツールは、最終的な出力の正誤を判定するにとどまり、誤りがどの思考段階で生じたかを追跡する機能を持たなかった。ClinHalluはこの空白を埋めるため、AIの推論過程を「視覚認識」「医学知識の想起」「推論統合」の三段階に分解する構造化された推論トレースを各インスタンスに付与した。さらに特定段階を正解情報に差し替えた場合に最終回答がどう変化するかを測定する「段階置換介入」手法を導入し、ボトルネックの特定を可能にした。

この設計が持つビジネス上の意義は大きい。医療機器メーカーや電子カルテベンダーがAI診断支援システムを開発・販売する際、規制当局への申請に必要な性能評価の粒度が従来と比べて格段に細かくなる。具体的には、放射線画像の読影を支援するシステムでは誤りが視覚認識段階に由来するのか、それとも解剖学的知識の欠如に起因するのかを区別して示すことが可能となり、製品改良の優先順位付けに直結する。

製薬企業のメディカルアフェアーズ部門にとっても示唆は深い。AIを活用した臨床試験支援や文献調査において、知識想起段階の幻覚率をKPIとして設定することで、ベンダー選定や契約更新の評価指標を定量化できる。保険会社の医療審査部門も、AIによる診療記録解析の精度を段階別に把握することで、不適切な査定リスクをより正確にモデル化できるようになる。

病院経営の視点では、AI導入に伴う医師の最終確認負担を段階ごとのエラー率に基づいて再設計できる。視覚認識の精度が高く知識統合に誤りが多いシステムであれば、放射線科医よりも専門知識を持つ内科医によるレビューを優先する運用設計が合理的となる。これはリソース配分の最適化と医療安全の両立につながる。

研究チームはまた、段階別の推論トレースを教師データとしてファインチューニングを行うことで、各段階の幻覚が低減することを示した。これはAIシステムの継続的改善サイクルを構築しようとする医療テクノロジー企業にとって、開発投資対効果を向上させる具体的な方法論を提供するものである。

ClinHalluはGitHub上で公開されており、医療AI開発企業や研究機関が無償で活用できる。日本国内でも薬事規制の文脈でAI医療機器の性能評価基準が整備されつつあるなか、こうした段階別診断ツールが業界標準の議論に影響を与える可能性は十分にある。医療AIの社会実装を加速するには、誤りの「有無」だけでなく「源泉」を問う評価体系への移行が不可欠であり、ClinHalluはその出発点となり得る。