AIエージェントRL崩壊、監督信号で克服

研究の概要

中国科学院の研究チームは、大規模言語モデル（LLM）をツール活用型AIエージェントとして強化学習（RL）で訓練する際に生じる「カタストロフィック・コラプス（壊滅的崩壊）」の原因を解明し、その対処法を体系的に示した論文を発表した。

崩壊の原因は、特定の制御トークンにおける確率の異常スパイクにあることが判明した。この現象はAPIの呼び出し構文や関数引数の区切り文字など、ツール実行に必須な書式トークンに集中して発生し、モデルが正しい回答能力を持ちながらも出力フォーマットが破綻するという事態を引き起こす。言い換えれば、モデルの「知識」は保たれているが、「表現する手段」が壊れるという特異な故障モードである。

研究チームは、オフポリシー監督・ヒントベース誘導・誤例提示監督など複数の監督信号を体系的に検証した。その結果、SFT（教師あり微調整）とRLを交互に適用する「インターリーブ訓練」が安定性を大幅に向上させることが示された。ただし、フォーマットや内容が訓練分布から外れた場合（OOD評価）では性能が低下する傾向があり、汎化能力との兼ね合いが新たな課題として浮上している。

ビジネスへの示唆

この知見が直接影響する領域は、社内業務プロセスにAIエージェントを組み込もうとする企業全般である。特に影響が大きいと考えられる部門とKPIを以下に示す。

• IT・システム部門：AIエージェントのAPI連携自動化における稼働率（アップタイム）と例外処理件数。崩壊現象が本番環境で発生すると、システム障害として計上されるリスクがある。
• カスタマーサポート部門：多段階ツール操作が必要なチケット処理の自動解決率（FCR）。崩壊すると人手対応へのエスカレーション率が急増する。
• 金融・リスク管理部門：データ取得・計算・レポート生成を連続実行するAIワークフローの処理正確性。誤った書式出力が下流システムへ波及する連鎖障害リスクがある。
• 製造・サプライチェーン部門：在庫照会や発注APIを呼び出すエージェントの処理完了率とレイテンシ。

実務上の示唆は三点ある。第一に、RLのみでエージェントを訓練するアーキテクチャは安定性リスクを内包しており、SFTとの組み合わせを設計段階から織り込むべきである。第二に、制御トークンの確率分布を監視するロギング基盤を導入することで、崩壊の予兆を早期検知できる可能性がある。第三に、OOD性能の劣化という新たなトレードオフが存在するため、本番環境の入力分布を事前にカバーするよう訓練データと評価セットを設計する必要がある。

今後の展望

研究コードはGitHubで公開されており、企業の開発チームが自社環境で検証できる状態にある。今後は、OOD環境での汎化性能を維持しつつ安定性を確保する訓練手法の確立が課題となる。AIエージェントの社内導入を推進する企業にとっては、PoC段階から本番移行への最大の技術的障壁のひとつが、RL訓練の不安定性であった。本研究が示した診断フレームワークと対処法は、その障壁を具体的な工学問題として扱える水準に引き下げるものであり、エンタープライズAI導入の加速に寄与すると見られる。