AIエージェント訓練、介入好機をAIが診断

研究の概要

セールスフォース・リサーチなどの研究チームは、複数ターンにわたって外部ツールを呼び出しながらタスクを遂行するAIエージェントの訓練手法「Critical-State RL」を提案した。カスタマーサポート対応や業務システム連携など、AIが複数の手順を踏んで初めて成果が確定するタスクでは、成功か失敗かの報酬（リワード）が最終結果に依存するため、どの時点の発話や判断に問題があったのかが不明瞭になりやすい。同手法は、候補となる発話ごとに「その後の展開に左右されるランダムな変動」と「その発話自体が結果を左右する変動」を統計的に切り分け、訓練価値の高い地点（Critical State）のみを選んで強化学習を行う。

研究チームはGoogle傘下ではなく業界標準ベンチマークであるBFCL v4（Berkeley Function Calling Leaderboard）で検証を実施した。必要なツールがまだ使えない状態から使えるようになった直後の応答を選んで訓練したところ、ツール未提供タスクで約14ポイントの性能向上を確認した一方、診断せずに別の地点を訓練した場合は成果が横ばいか、むしろ悪化した。同様の効果は、引数不足の対応や、同じ関数呼び出しの重複実行回避、対話履歴の記憶管理といった別タスクでも再現された。

ビジネスへの示唆

本研究が示す最大の実務的意味は、AIエージェントの追加学習において「どこを訓練するか」が「どれだけ訓練するか」より重要になり得るという点である。企業が自社データでAIエージェントを微調整（ファインチューニング）する際、闇雲に対話ログ全体を学習させても計算コストに見合う改善が出ない、あるいは既存の性能を損なうリスクがあることを示唆する。

影響が大きいのは、複数システムを横断する業務にAIエージェントを組み込む業界である。

• カスタマーサポート・コールセンター：問い合わせ対応から社内システム照会、返金処理までを一気通貫で担うAIエージェントの一次解決率（FCR）向上
• ITサービス・ヘルプデスク運用部門：チケット対応の自動化における誤操作率・エスカレーション率の低減
• ECおよび物流企業：在庫確認、注文変更、配送手配など複数APIを連鎖的に呼び出す業務でのタスク完遂率改善
• 社内DX推進・AI開発部門：モデル再学習のコストとGPU利用時間の最適化、学習データの取捨選択効率

特に、同じ関数呼び出しを重複実行してしまう「無駄なAPIコール」を抑制できた点は、従量課金のAPI利用料やクラウド計算資源のコスト管理という財務指標にも直結する。エージェントが同じ処理を何度も繰り返せば、応答遅延や外部サービスの利用料増加につながるため、業務効率化を掲げる情報システム部門にとって見過ごせない成果といえる。

今後の展望

研究チームは複数モデル・複数タスクへの適用可能性を確認しており、汎用的な訓練前処理として実務導入が視野に入る段階にある。もっとも、現状の検証はベンチマーク上の関数呼び出しタスクが中心であり、実際の企業システムに接続した際の安定性や、業種ごとの業務フローへの適応には追加検証が必要となる。今後は、訓練対象の診断プロセス自体を自動化し、AIエージェント導入企業が低コストで自社ログに適用できるツール群の整備が焦点になるとみられる。