AIエージェント防御に「欺き」戦略、攻撃成功率を100分の1に

AIエージェントの企業導入が加速するなか、不正命令を注入してシステムを乗っ取る「プロンプトインジェクション」攻撃の高度化が深刻な課題となっている。テキサス大学のReza SoosahabiとVivek Namsaniは、従来の「検知して遮断する」防御手法の限界を数理モデルで分析し、攻撃者の判断回路そのものを無力化する新戦略の有効性を示した論文を発表した。

研究の核心は、攻撃者が言語モデルを用いた自動化ツールで大量のプロンプト変種を生成・評価するという現実への対応にある。従来の拒絶応答は、攻撃側の自動評価器に「失敗」というフィードバックを与え、次の変種生成の参考情報として利用される。クエリ予算が増えるほど攻撃成功率が1に近づくという構造的欠陥が、確率モデルにより明らかにされた。

これに対し研究チームが提案するのが「検知して誤誘導する」戦略である。悪意ある入力と判断された場合に、単純拒絶ではなく無害だが戦略的に誤解を招く応答を返すことで、攻撃側の自動評価器に偽陽性エラーを誘発する。攻撃者が「成功した」と誤認した候補プロンプトの実際の有効性を大幅に低下させる仕組みだ。

具体的な実装として開発された「CMPE（Contextual Misdirection via Progressive Engagement）」は、軽量な対話型誤誘導手法である。主要なジェイルブレイクベンチマークにおいて推定攻撃成功率の上限を最大100分の1に低減し、PAIRおよびGPTFuzzを用いたエンドツーエンドの攻撃実験では確認済みの攻撃成功をほぼ完全に排除した。

ビジネスへの影響は複数の業種・部門にわたる。金融機関では、顧客対応や社内稟議を担うAIエージェントが悪意ある外部入力によって誤送金指示や情報漏洩を誘発されるリスクがある。本手法はそのような攻撃の成功率を確率的に有界に抑えることで、AIシステムの可用性を損なわずにセキュリティKPIを改善する手段となる。具体的には、インシデント発生率や平均侵害検知時間（MTTD）の改善指標として活用できる。

ヘルスケア分野では、電子カルテ参照や薬剤情報照会を行うエージェントが標的となり得る。医療機関のCISO部門にとって、患者データ保護規制への準拠コストを抑えながら防御レベルを引き上げる実践的手段として評価されよう。

製造業やサプライチェーン管理においても、複数のAIエージェントが協調して調達・在庫最適化を担う場面が増えており、エージェント間通信への悪意ある介入リスクへの対策として本戦略は直接適用可能である。サプライチェーンの稼働率や誤発注率といったKPIへの影響を最小化する観点から、導入検討の価値がある。

IT・セキュリティ部門の実務的観点からは、CMPEが既存のシステムアーキテクチャに対してレイヤーとして追加できる軽量設計であることも導入障壁を下げる。ただし、誤誘導応答の設計には各業務領域の文脈理解が必要であり、法務部門との連携によるコンプライアンス確認も不可欠となる。応答内容が虚偽情報の提供と解釈されないよう、運用ポリシーの整備が求められる。

今後の展望として、AIエージェントの自律性が高まるにつれ攻撃の自動化も一層精緻化が進むとみられる。研究チームは本手法が攻撃者の探索コストを恒常的に引き上げる非対称な防御優位をもたらすと分析しており、企業のAIガバナンス戦略における防御多層化の一手として位置づけられる可能性がある。