自然な文脈で意思決定AIの判断が反転する

研究の概要

Zixiang Xu氏は、非構造化の文章を有限個の選択肢に対する確率分布へ変換する専用の意思決定モデル「Jev」を対象に、入力文脈に対する頑健性を検証した。この種のモデルの出力は、問い合わせの振り分け、ツールの選択、処理の起動に直接使われる。実務の入力は単独で届くことが少なく、背景説明や周辺情報を伴うため、その部分が判断に与える影響が焦点となった。

検証では、最初に正解した各項目について誤りの選択肢を一つ固定し、モデルが返す選択肢ごとの確率を手掛かりに、流暢な文脈の追記を繰り返し改良した。原文、設問、選択肢、正解は変更していない。正解は同じまま、周辺に添える文だけを変えた設定である。

結果として、受理された64回の対象評価の範囲内で、最初に正解していた508件のうち**312件（61.4%）で、Jevの判断を固定した誤答へ誘導できた。うち229件では、Jevが誤答に0.7以上の確率を割り当てた。さらに7つのデータセットで他の3つの意思決定システムを調べたところ、最初に正解していた判断の64.9%〜73.2%**で、狙い通りの反転が生じた。

ビジネスへの示唆

影響が大きいのは、AIの出力が人手を介さず後続処理を起動する業務である。カスタマーサポートでは、問い合わせ文に付随する経緯説明が振り分け先を変えれば、誤送付率や初回解決率、平均対応時間の悪化を招く。金融・保険の審査や不正検知では、申込書や申告書の備考欄の記述が分類を左右すれば、誤承認率、誤否認率、査定のやり直し件数に響く。医療機関のトリアージ支援や、人事部門の応募書類の仕分けでも、自由記述が判断に混入する構造は同じである。

特に重要なのは、誤答が高確信度で現れる点である。多くの現場では、確率が高い案件は自動処理し、低い案件のみ人が確認する運用が採られる。この方式は、誤りが低い確信度に現れるという前提に立つ。今回の結果はその前提が崩れ得ることを示しており、確率出力を信頼度の指標とする設計の見直しを迫る。AIエージェントがツールを選択して実行する場面では、誤選択が実際の操作に直結するため、リスクは一層大きい。

なお、論文が示すのは、誤答の選択肢を固定して確率を手掛かりに追記文を探索した場合の結果である。一般の顧客が偶然に同種の文を書く頻度を示すものではない。ただし、外部から自由記述を受け付ける窓口では、意図的な操作の可能性も想定せざるを得ない。企業が取り得る対応は次のとおりである。

• 導入前の検証に、背景文の付加や言い換えで判断が変わらないかを測る試験を加える
• 自動処理の閾値を確率のみで決めず、損失の大きい判断には人の確認を残す
• 誤選択率や自動処理後の差し戻し率を継続的に監視する

今後の展望

同様の脆弱性は、検証された4種のシステムで共通して確認されており、特定の製品に限った問題とは言い難い。今後は、追記文を検知・除去する入力前処理、文脈の変動に強い学習手法、確率の較正といった対策が、実務側の関心事となろう。調達部門やリスク管理部門が、ベンダーに対して頑健性評価の結果開示を求める動きが広がる可能性もある。意思決定AIの導入では、平均的な精度に加え、文脈変動への耐性を含む品質保証が、選定の重要な基準になりつつある。