小型AIが大型モデルを超えGUI操作を自律習得

研究の概要

中国科学院自動化研究所の研究チームは、GUI（グラフィカル・ユーザー・インターフェース）操作を自律的に計画・実行するAIエージェントの新たな学習手法「PEEU（Planning Experience Exploration and Utilization）」を発表した。

Webブラウザやデスクトップアプリケーション上での反復的な操作業務を自動化するマルチモーダルAIエージェントの分野では、これまでGPT-4oやClaude等の大規模商用モデルが主流であった。しかし、APIコストや社内データの外部送信に伴うプライバシーリスクが、企業導入の大きな障壁となってきた。

PEEUは、エージェントが実際のGUI環境を自律的に探索して操作経験を蓄積し、その経験から「後知恵（ hindsight）」的に高品質なトレーニングデータを合成するアプローチを採用する。さらに、タスク分解の汎化能力を体系的に評価する「TDHAF」フレームワークを提案し、低・中・高の3段階の粒度でAIの計画能力を定量分析した。実験では、パラメータ数7Bの小型モデルが30.6%の精度を達成し、パラメータ数32BのQwen2.5-VL-32Bを上回った。分析の結果、低レベルの操作スキル習得だけでは高度な計画能力は生まれず、高レベルのタスク訓練が未知シナリオへの汎化に不可欠であることも明らかになった。

ビジネスへの示唆

この技術が実用化された場合、影響が特に大きいのは以下の部門・業種である。

• バックオフィス部門（経理・人事・購買）：請求書処理、勤怠申請、発注システムへの入力など、複数システムをまたぐ定型業務の完全自動化が現実的なコスト水準で実現できる。
• 金融・保険業界のオペレーション部門：顧客データの照合・転記、コンプライアンス書類の入力など、高い正確性が求められるGUI操作の自動化により、処理件数（スループット）と誤入力率（エラーレート）の両KPIを同時に改善できる。
• IT部門・社内DX推進室：自社サーバー内でモデルを運用できるため、個人情報や営業秘密を外部APIに送信せずに済む。GDPRや改正個人情報保護法への対応コストを抑えながらAI自動化を推進できる。

従来のRPA（ロボティック・プロセス・オートメーション）ツールは画面レイアウトの変更に弱く、システム更新のたびにシナリオの修正が必要であった。PEEUベースのエージェントは環境変化への適応能力が高く、RPAの保守コスト削減という副次的な効果も期待される。導入コストの観点でも、商用APIへの依存から脱却することで、月次のAPI利用料をゼロに近づけられる点は、中堅企業にとって特に訴求力が高い。

今後の展望

現時点では実験環境でのベンチマーク評価に留まっており、実際の企業システムへの統合には追加的な検証が必要である。特に、レガシーシステムや独自UIへの対応能力、セキュリティ監査の通過、そして日本語環境での動作安定性は今後の課題として残る。

一方、7Bという小型モデルで32Bを超える性能を示したことは、オンプレミス展開の可能性を大きく広げる。国内ではSaaS型AIへの慎重な姿勢を持つ金融機関や官公庁が多く、自社環境内で完結するAIエージェントへの需要は潜在的に大きい。SIerやITベンダー各社にとっては、PEEUのアーキテクチャを組み込んだ業務自動化ソリューションの開発が、新たな競争領域となる可能性がある。研究成果はarXivで公開されており、オープンソースコミュニティでの応用展開も加速するとみられる。