音声AIが感情を無視、企業リスクに

研究の概要

スタンフォード大学のMartijn Bartelds氏らは、OpenAIの「GPT Realtime 2」、Googleの「Gemini 3.1 Flash Live」、アリババの「Qwen3.5 Omni Plus」および「Qwen3.5 Omni Flash」という主要4システムを対象に、音声の内容と口調が乖離する場面での判断精度を検証した。

実験では三つの重大シナリオが設定された。泣きながら「問題ない」と述べる発信者への対応、恐怖の声色で承認された海外送金指示への対処、そして明らかに皮肉な口調で同意する発信者の登録処理である。結果として、4システム全てが発話内容のみを根拠に行動し、声の感情情報を無視した。

とりわけ注目すべき点は、これが知覚能力の問題ではないことだ。直接尋ねた場合、4システム中3システムは苦悩・恐怖・皮肉を正確に識別できた。すなわちシステムは感情を「感じている」にもかかわらず、意思決定には反映しない。研究チームはこの乖離を「感情知性ギャップ（emotional intelligence gap）」と命名した。さらに、音声プロンプトで口調への注意を明示的に促しても、改善は部分的かつ一貫性を欠いた。

ビジネスへの示唆

この知見が直撃するのは、音声AIを顧客接点や意思決定プロセスに組み込みつつある業界である。

金融機関のコールセンターでは、振り込め詐欺や不正送金の検知において被害者の声の恐怖・混乱が重要な手がかりとなる。現行の音声AIをそのまま自動承認フローに組み込めば、不正検知率（Fraud Detection Rate）の低下を招きかねない。コンプライアンス部門は導入前に当該リスクを定量評価する必要がある。

医療・メンタルヘルス分野ではリスクはさらに深刻だ。「大丈夫」と口では言いながら泣いている患者への自動対応は、自傷リスクのエスカレーションを見落とす可能性がある。患者満足度スコア（NPS）や再入院率といったKPIの悪化のみならず、医療安全上の訴訟リスクにも直結する。

影響が及ぶ部門と指標を整理すると以下のとおりである。

• カスタマーサービス部門：初回解決率（FCR）、顧客感情スコア
• リスク管理部門：不正検知率、オペレーショナルリスク指標
• 医療・相談窓口：エスカレーション適切率、インシデント件数
• 採用・HR部門：面接の公平性指標、コンプライアンス遵守率

採用面接や社内相談窓口への音声AI活用を検討するHR部門においても、皮肉や委縮した同意を額面通りに受け取るリスクは、意思決定の公平性と法的リスクの観点から見過ごせない。

今後の展望

研究チームは現時点での実用上の結論として、「口調や感情が重要な情報を担う場面では、現行の音声AIを慎重に使用すべき」と勧告している。企業が取りうる当面の対策は、音声AIを最終判断者ではなく補助ツールとして位置づけ、感情的リスクが高い場面では人間のエージェントへの自動エスカレーションフローを設けることだ。

中長期的には、感情知性ギャップを解消するためのマルチモーダルな訓練データの充実と、口調・韻律情報を意思決定層に直接統合するアーキテクチャの改良が求められる。音声AIベンダー各社がこの評価指標をベンチマークに採用するかどうかが、企業の採用判断における重要な選定基準になるとみられる。