LLMの投資判断力を定量評価する新指標登場

研究の概要

スタンフォード大学などの研究チームは、大規模言語モデル（LLM）が専門的な投資哲学の手続き的推論をどの程度正確に実行できるかを評価する多層型動的ベンチマーク「InvestPhilBench」を発表した。

同ベンチマークは、投資原則の識別（L1）から新規フレームワークの外挿（L8）まで8段階の認知階層で構成される。v0.6リリースには、一次資料で検証済みの投資原則カード118枚、意思決定フレームワークカード25枚、QA問題243問が含まれる。

評価には独自の自動採点パイプライン「BASP」を導入し、5種類のアルゴリズム指標（OGRS・KCCS・SAP@k・IVP・CKCA）と、6種類の失敗モードを検出する「FMDP」、手順単位の精度指標「GRA」を組み合わせた。

4モデルによる検証では、BASPスコアがフロンティアモデル（Claude）でL4において0.932と飽和する一方、手続き精度を測るGRAはL4で約0.77、L7では0.57〜0.62にとどまる重大な乖離が確認された。すなわち、複合スコアが流暢な文章生成を高く評価することで、実際の意思決定ロジックの欠陥を隠蔽するという構造的問題が明らかになった。自動採点と人手評価の相関はピアソンr＝0.72（MAE＝0.10）であった。

ビジネスへの示唆

この研究が金融業界に与えるインパクトは広範にわたる。

資産運用会社・証券会社にとって最大の課題は、LLMを投資リサーチや銘柄スクリーニングに導入する際の品質保証である。BASPスコアが高くともGRAが低いモデルは、表面上は説得力のある投資レポートを生成しながら、バフェットやグレアムといった著名投資家の実際の判断ロジックとは乖離した結論を出力するリスクがある。

影響を受ける部門・KPIを整理すると以下の通りである。

• リサーチ部門：アナリストの作業効率（レポート作成時間短縮率）・推奨精度の維持
• リスク管理部門：AI出力の手続き的正確性スコア（GRA相当指標）を内部審査基準に組み込む
• システム開発部門：LLM選定における評価指標の刷新（BASP単独から複合評価体制へ）
• コンプライアンス部門：投資助言の根拠追跡可能性（SAP@kに相当するアトリビューション精度）の法的リスク管理

とりわけ、フィンテック企業やロボアドバイザー事業者は、自社AIの評価基準をBASPのような複合指標に切り替えることで、規制当局への説明責任を高める手段を得る。欧州のAI法（EU AI Act）が金融AIに透明性を要求する流れとも合致する動きである。

今後の展望

研究チームはv1.0で、複数モデルのリーダーボードと三条件の完全実験結果を公開する予定であり、業界標準ベンチマークとしての確立を目指している。

GRAが示す手続き的推論の限界は、現時点でLLMを「最終意思決定者」として運用することの危険性を示唆する。金融機関が取るべき現実的な対応は、LLMを一次調査の効率化ツールとして位置づけつつ、GRA相当の手続き検証レイヤーをシステム設計に組み込むことである。

InvestPhilBenchが示す「スコアの飽和と能力の欠陥の並存」という逆説は、AI評価方法論全体への問いでもある。複合スコアに依存した導入判断が、結果的にリスク管理の盲点を生む可能性を、金融機関の経営層は認識する必要がある。