LLMエージェントの記憶進化、業務精度を向上

シンガポール国立大学、Salesforce Research、MITなどの共同研究チームは、大規模言語モデル（LLM）エージェントが動的に変化する環境に対応する能力を評価するベンチマーク「EvoArena」と、記憶の進化を管理する手法「EvoMem」を発表した。論文はarXivに公開されている。

現在のLLMエージェントの評価は、環境が変化しない静的な条件下で行われることが大半である。しかし実際の業務現場では、システムの仕様変更、ソフトウェアのアップデート、社内規定や顧客の要求の変化など、エージェントが適応すべき条件が絶えず更新される。EvoArenaはこの現実を踏まえ、ターミナル操作、ソフトウェア利用、社会的選好という三つの領域にわたる段階的な変化のシナリオを設定し、エージェントの適応能力を測定する。

実験の結果、現行の主要なLLMエージェントはEvoArena上で平均正解率39.6%にとどまり、変化する環境への対応が著しく脆弱であることが明らかになった。一方、EvoMemを導入したエージェントはEvoArena上で平均1.5ポイントの改善を示したほか、汎用ベンチマーク「GAIA」で6.1ポイント、長文対話評価「LoCoMo」で4.8ポイントの向上を記録した。EvoMemは記憶の変化履歴を構造化された「パッチ」として記録し、エージェントが過去の状態と現在の状態の差分を参照しながら推論できるようにする仕組みである。

この研究が持つ業務上の意義は複数の産業領域にわたる。第一に、ITサービス・システムインテグレーション業界における影響が大きい。企業の基幹システム運用を担うAIエージェントは、OSやミドルウェアのバージョンアップに伴う操作手順の変化を継続的に吸収する必要がある。EvoMemが示す記憶の差分管理の概念は、運用自動化ツールの設計指針として直接活用できる。運用部門のKPIである障害対応時間（MTTR）の短縮や、自動化率の向上に寄与する可能性がある。

第二に、金融・保険業界のコンプライアンス部門への応用が考えられる。規制当局による通達や社内規定は頻繁に改定されるが、AIエージェントがその変化を適切に記憶・追跡できなければ、古い規定に基づいた誤った判断を下すリスクがある。EvoMemのアプローチを取り入れることで、規制変更への追従精度を示すコンプライアンス適合率を定量的に管理できる体制が整う。

第三に、カスタマーサービス部門における顧客対応AIへの展開が期待される。製品仕様の改訂や価格改定、キャンペーン内容の更新などを即座に反映し、顧客への回答精度を維持することが求められる。一次解決率（FCR）の向上や、誤情報に起因するエスカレーション件数の削減が具体的な指標として挙げられる。

研究チームはEvoMemが連続する関連タスクの達成率（チェーン精度）を3.7ポイント改善することも確認しており、複数ステップにわたる業務フローを自動化する際の信頼性向上に直結する成果である。

課題も残る。EvoArena上での平均精度はEvoMem導入後も40%台にとどまり、絶対的な性能水準は実用展開に向けてさらなる向上が必要である。また、記憶の更新履歴が蓄積されるにつれて推論コストが増大する可能性があり、大規模な業務システムへの組み込みには計算効率の最適化が求められる。

企業のAI戦略担当部門にとって、本研究の示唆は明確である。AIエージェントの評価基準を静的なベンチマーク性能だけで判断することは不十分であり、導入後の環境変化への追従能力を事前に検証する体制が不可欠となっている。EvoArenaのようなフレームワークを調達・評価プロセスに組み込むことが、信頼性の高いエージェント運用への第一歩となる。