LLMのメタ分析能力、信頼性に限界が判明

米麻省工科大学などの研究グループは、自然言語処理分野の国際論文プラットフォームarXivに、大規模言語モデル（LLM）エージェントの科学的推論能力を体系的に評価した研究を発表した。Nature Portfolioの学術誌から収集した442件の専門家監修メタ分析を基に構築したデータセット「MetaSyn」を用いて12種類のパイプライン構成をベンチマーク評価したところ、いずれのシステムも根拠文献の52.7%以上を正確に特定できないことが判明した。

メタ分析とは、複数の先行研究を統計的に統合して高次の知見を導く手法であり、医薬品の承認審査や診療ガイドラインの策定において不可欠な証拠合成プロセスである。研究チームは、PubMedの約14万件の論文を収録した検索コーパスと、PIとECO（研究対象・比較条件・アウトカム）の選定基準に基づく検証済みの適格文献リストを各メタ分析に対応付け、文献検索から選別、統合に至る全工程を評価できる環境を整備した。

結果として、文献検索段階では上位200件の検索結果に正解文献の90.9%が含まれるにもかかわらず、最終的な選別段階で大幅なリコール低下が生じることが確認された。現行のLLMは、主題は類似しているものの選定基準を満たさない「ハード・ネガティブ」文献と適格文献を確実に区別できず、選別工程が致命的なボトルネックとなっている。

この知見がとりわけ深刻な影響を及ぼすのは製薬業界である。新薬の臨床試験計画や薬事申請において、メタ分析による系統的文献レビューは規制当局への提出資料の根幹を成す。国内大手製薬企業では、このプロセスに専門チームが数カ月を費やすケースも珍しくない。もしLLMが代替できると判断して自動化を進めた場合、審査段階での指摘や承認遅延といったリスクが顕在化しかねない。開発パイプラインのタイムラインやR&D投資対効果といったKPIに直結する問題である。

医療機器メーカーや医療保険会社の医療経済分析部門も同様の課題を抱える。治療法の費用対効果を評価するヘルステクノロジーアセスメント（HTA）では、メタ分析の品質が保険償還の可否を左右する。AIツールによる文献選別の誤りが見落とされた場合、意思決定の根拠となる証拠基盤が歪む恐れがある。

一方で、研究が明らかにした段階別指標の概念は、企業のAI活用戦略に実践的な視点を提供する。文献検索段階の自動化はすでに高い精度を示しており、この工程への限定的な適用は生産性向上に貢献し得る。逆に、選別・統合段階では専門家による監査工程を維持するハイブリッドモデルが現実的な解となる。AI導入の投資対効果を最大化するには、工程ごとの精度特性を把握した上でシステム設計を行うことが肝要である。

今後の展望として、MetaSynは製薬企業の情報部門やコントラクト・リサーチ・オーガニゼーション（CRO）がAIベンダーの選定・評価を行う際の標準的なベンチマークとして機能する可能性がある。現時点でLLMをメタ分析の主要工程に全面導入することはリスクが高いが、各段階の性能限界を定量的に把握することで、人とAIの最適な役割分担を設計するための基礎が整いつつある。