多段検索の誤答を予測し保留する手法を提案

研究の概要

Andre Bacellar氏は、複数の文書を段階的にたどって答えを導く「多段検索」で、失敗が質問全体に均一に散らばるのではなく、構造的に予測可能な部分集団に集中することを示した。この知見を、確信を持った誤答を抑える回答保留の仕組み「RegimeAbstain」として実装した。

同手法は、質問と近似最近傍探索（ANN）の検索スコアの関係から得られる最大9個の構造的特徴量をロジスティック関数に入力し、検索信頼度スコア（RCS）を算出する。追加のLLM呼び出しは不要である。スコアが低い質問には回答を保留する。研究は、確信を持って誤答する割合を「確信的誤答率（CWAR）」と定義した。

評価にはMuSiQue、2WikiMultiHopQA、HoVerの3種のベンチマークと、LLM判定型および密ベクトル検索のみの2種の構成を用いた。CWARが**14.5%から62.1%に及ぶ5つの失敗領域のすべてで、RCSは8種の既存の信頼度指標に対し、回答範囲と精度の関係を示すAUC-ACで最良または同率最良となった。MuSiQue（LLM判定型）では、回答範囲50%の条件でCWARが39.5%から20.6%へ下がり、相対削減率は47.8%**である。較正誤差ECEは0.035であった。MuSiQueで学習したモデルを2WikiMultiHopQAへ適用した際のAUC低下は0.5ポイントにとどまった。

理論面では二つの結果が示された。第一に、確信的誤答の削減が可能となる条件は、検索特徴量が成否に関する相互情報量を持つことであり、LLM判定を含む構成では満たされるが、密ベクトルのみの構成では大幅に弱い。第二に、すべての失敗領域で最良となる単一特徴量は存在せず、MuSiQueでは質問文の長さ、HoVerでは第1ホップの検索結果への集中度が支配的であった。

ビジネスへの示唆

企業のRAG（検索拡張生成）運用では、回答精度の向上に加え、答えるべきでない質問を見極める設計が品質管理の焦点になり得る。誤答そのものより、誤答が確信を伴って提示されることが業務上の損害を大きくするためである。RCSは追加のLLM呼び出しを要しないため、推論コストや応答遅延を大きく増やさずに導入できる可能性がある。

CWARは、単なる誤答率と異なり、確信を伴う誤答だけを測る。品質管理部門は、この指標を従来の正答率と並べて追跡することで、利用者が誤情報を信じて業務判断に用いるリスクを定量化できる。

影響が見込まれる部門と指標は次のとおりである。

• カスタマーサポート：誤案内率、有人対応への引き継ぎ率、再問い合わせ率
• 法務・コンプライアンス：規程や契約条文の検索における誤参照件数、確認工数
• 金融の調査・監査部門：根拠付き回答の誤り率、レビュー担当者の処理件数
• 医療・製薬の文献調査：誤った根拠提示の件数、調査に要する時間

ただし、論文が検証したのは公開ベンチマークであり、これらの業務での効果は別途の検証を要する。また、保留は無償ではない。回答範囲を50%に絞れば残る半数は人手や別手段に回るため、自動化率と誤答率のトレードオフを、業務ごとの誤答コストに照らして閾値に反映する必要がある。

密ベクトル検索のみの構成では特徴量の情報量が弱く、効果が限定的になり得る点にも注意を要する。LLM判定を併用する構成のほうが保留の精度を引き出しやすいことは、システム設計上の判断材料となる。

今後の展望

企業固有の文書や質問分布での有効性は未確認である。支配的な特徴量が領域によって異なるため、導入企業は自社の問い合わせログで閾値と特徴量の重みを較正し直す必要がある。一方、MuSiQueから2WikiMultiHopQAへの転移でAUC低下が0.5ポイントにとどまったことは、初期モデルを流用して調整コストを抑えられる余地を示す。

回答の正確さに加え、失敗を事前に予測して管理する能力が、生成AIの業務実装における評価軸となる可能性がある。ベンダー選定では、保留機能の有無と較正精度を確認項目に加えることが望ましい。サポート現場では、保留した質問を有人窓口へ回す運用フローの整備が、導入効果を左右する。