AI×マーケティング

AIレコメンドが偽商品を推薦、汚染1ページで27%の確率

検索拡張型の生成AIが偽レビューなどの汚染コンテンツを取り込み、偽の商品を推薦してしまうリスクが実験で確認された。EC・マーケティング・消費者保護の各分野で深刻な業務影響が懸念される。

AIレコメンドが偽商品を推薦、汚染1ページで27%の確率
広告

香港科技大学の研究者らが公開した論文が、生成AIを活用した商品推薦システムの脆弱性を定量的に示した。検索結果と連動して回答を生成するRAG(検索拡張生成)型の大規模言語モデルが、悪意ある偽レビューや宣伝ページを取り込んだ場合、どの程度の頻度で偽商品をユーザーに推薦してしまうかを測定するベンチマーク「FORGE」を構築し、実験結果を公開した。

FORGEは15カテゴリ225製品を対象に、実際のウェブページ上の商品情報を偽の商品情報に置き換えるという手法でウェブ汚染を模擬する。この環境下でGPT系列やClaudeなどを含む商用・オープンウェイト合計12モデルを評価した結果、すべてのモデルが脆弱性を示した。汚染されたページが検索上位3件中1件だけであっても、モデルが偽商品を推薦する確率は最大27%に達し、上位3件すべてを汚染ページで置き換えた場合は最大73.8%に跳ね上がった。

さらに注目すべき知見として、思考過程を明示する「推論モード」が脆弱性を軽減しないことが判明した。むしろ推論機能はモデルが偽商品を正当化するための「社会的証明」を架空で生成することを促進し、確信を持って誤った推薦を行う傾向が確認された。防御策として試みたスケプティシズムプロンプト(懐疑的な指示を与える手法)も効果が限定的であり、正規商品の推薦を抑制するリスクをむしろ高めた。

ビジネス上の影響は複数の産業に及ぶ。まずEC事業者においては、AIチャットボットや推薦エンジンの推薦精度KPIが、競合他社による意図的な汚染攻撃によって損なわれるリスクが生じる。コンバージョン率や顧客生涯価値(LTV)への直接的な影響のほか、消費者保護法上の説明責任も問われうる。特に家電・健康食品・金融商品など、誤情報の影響が大きいカテゴリでのリスクは高い。

マーケティング部門においては、自社ブランドが競合他社の汚染ページによって検索AIの推薦結果から締め出される「AIランク操作」という新たな脅威への対応が急務となる。SEO対策と同様に、生成AIの推薦結果を継続的にモニタリングする仕組みの整備が求められる指標として、AIレコメンド被掲載率やブランド言及精度の追跡が考えられる。

法務・コンプライアンス部門にとっても、このリスクは看過できない。消費者庁が強化を進める景品表示法上のステルスマーケティング規制との関係で、AIが不正コンテンツを介して虚偽推薦を行った場合の事業者責任の所在が問われる可能性がある。システムの設計・運用上の注意義務を明確化する内部規定の整備が必要になると見られる。

小売業界では、商品データの正確性を担保するためのデータガバナンス強化が検討課題となる。自社商品ページの内容が生成AIに正確に取り込まれているか定期的に検証する「AIクローリング監査」の導入が、品質管理部門の新たな業務として浮上しつつある。

研究チームはFORGEをオープンソースとして公開しており、企業が自社の推薦システムに対して同様の脆弱性評価を実施できる環境を整えている。業界標準としてのベンチマーク活用が進めば、AIシステムの調達・評価プロセスにおいてセキュリティ評価項目として組み込まれることも想定される。生成AIの社会実装が加速するなか、情報汚染への耐性は信頼性指標として今後一層重要性を増すことになる。

出典: One Polluted Page Is Enough: Evaluating Web Content Pollution in Generative Recommenders, Minghao Luo, Liang Chen, arXiv:2606.13610v1

本記事はAIにより執筆され、Affectosphere Group が監修しています。

広告