LLMの脆弱性検出、精度は偶然水準止まり

カナダ・ウェスタンオンタリオ大学の研究チームは、LLM（大規模言語モデル）をシステムソフトウェアの脆弱性検出に活用する際の限界を体系的に診断した論文を発表した。Linuxカーネルから手動で収集した834サンプル・74種のCWE（共通脆弱性タイプ）を用いたベンチマーク「CWE-Trace」を構築し、8種のベースモデルと15種のLoRAファインチューニング済みモデルを評価した結果、最高精度でも52.1%と、二値分類における偶然水準（50%）をわずか2.1ポイント上回るにとどまった。正確なCWE分類のTop-1精度は1.3%未満であり、実用的な精度水準には程遠い。

研究が提示する最大の論点は「理解なき較正（Calibration Without Comprehension）」という概念である。ファインチューニングはモデルの出力分布を訓練データに合わせて調整するが、根本的な意思決定方針を変えない。つまりモデルは「答え方」を学習するだけで、「脆弱性とは何か」を理解しているわけではない。研究チームが開発した診断指標「方向性失敗指数（DFI）」は、モデルが脆弱コードを安全と誤判定する系統的な傾向を定量化しており、その値はモデルによって-85.5から+94.8ポイントと大きく分散した。この偏りはファインチューニング後も持続し、補正が困難であることが示された。

また、データ汚染（ベンチマークデータが学習データに混入する問題）が優位性をもたらすとの従来の懸念についても、本研究は否定的な結論を提示している。汚染サンプルの84%には実際には記憶可能なシグナルが存在せず、約31%はCWEの誤分類を含むことが判明した。ベンチマーク上の高スコアが実際の能力を反映しない可能性を示唆する結果である。

この知見が直接的に影響するのは、金融・通信・製造業の情報セキュリティ部門である。近年、SAST（静的アプリケーションセキュリティテスト）ツールへのAI組み込みが進み、コードレビュー工数の削減やMTTD（平均検出時間）の短縮をKPIに掲げる導入事例が増加している。しかし本研究が示すように、LLMが精度の低い検出を高信頼度で出力する「較正の歪み」が存在する場合、誤検知率や見逃し率といったKPIが実態を正確に反映しないリスクがある。特にカーネルレベルやファームウェアを扱う組み込み系・自動車・産業制御システム分野では、見逃しの影響が甚大であり、LLMへの過度な依存は安全管理上の盲点を生む恐れがある。

DevSecOps推進部門においては、AIコードスキャナーの評価プロセスの見直しが求められる。ベンダーが提示するベンチマーク精度を額面通りに受け取るのではなく、自社の技術スタックに固有のテストセットでDFI相当の方向性バイアスを独自測定する体制が必要である。また、LLMを一次検出器として使用する場合でも、専門家によるセカンドレビューを排除しない運用設計が現実的な対応となる。

研究者は現在のLLMが「パターン照合」の段階にとどまり、真の安全性推論には至っていないと結論づけた上で、検出能力と理解能力が独立したものであることを実証している。最も二値検出精度が低かったDeepSeek-R1が粗いCWE分類では最大の改善幅を示したことがその証左である。今後の研究では、トークン予測を前提とする現行アーキテクチャを超えた手法の探索が課題となる。企業のセキュリティ投資戦略においても、LLMを万能ツールとみなす過信を見直し、用途と限界を明示した活用指針の策定が急務といえる。