小型AIがPC操作を自律化、企業RPA刷新へ

研究の概要

シンガポール国立大学などの研究チームは、PC画面上のUI要素を自律的に認識・操作する小型AIエージェント向けの新訓練フレームワーク「WinDOM」および「Self-Family Distillation（SFD）」を発表した。

従来、GUI自動化エージェントの訓練には、人間のアノテーターによる大規模なラベル付きデータが不可欠であり、コストと時間の面で大企業以外の参入を困難にしていた。今回の手法では、オープンソースのWindows 11ウェブ再実装環境をヘッドレスブラウザで自動操作し、DOM（文書オブジェクトモデル）から直接バウンディングボックス座標を取得する。これにより、54,425件の訓練レコードをOCRも人手も介さずに生成することに成功した。

モデル訓練においては、SFDという手法を採用する。大規模な外部教師モデルを必要とせず、学習中のモデル自身の指数移動平均（EMA）を教師として活用する「同サイズモード」と、同系列の上位モデルを教師とする「クロスサイズモード」の2種類を提供する。Qwen3.5-2Bモデルを学生モデルとして用いた実験では、早期停止したSFD初期化から強化学習（GRPO）を継続することで、未学習ベースラインと比較してOOD（未知環境）平均スコアが**+5.4ポイント**向上した。

ビジネスへの示唆

この研究が企業に与える影響は、主にRPA（ロボティック・プロセス・オートメーション）領域に集中する。既存のRPAツールはUIの変更に脆弱であり、ルールベースのスクリプトが画面レイアウトの更新で破綻するたびに保守コストが発生する。GUIグラウンディング技術を組み込んだエージェントは、画面を「見て理解する」ため、こうした脆弱性を根本的に軽減できる。

影響を受ける部門・業種は以下の通りである。

• 経理・財務部門: 請求書処理、経費精算、会計システム間のデータ転記など、反復的なデスクトップ操作の完全自動化が現実的になる。処理件数あたりのコスト（CPT）や手動入力エラー率をKPIとして改善効果を測定できる。
• 金融・保険業: 審査担当者がレガシーシステムと新システム間でデータを手動コピーする「スウィベルチェア作業」を排除し、審査リードタイムの短縮に直結する。
• ヘルスケア・医療事務: 電子カルテ（EMR）操作や診療報酬請求コーディングへの応用が期待される。
• IT部門・SaaS企業: 自社製品のリグレッションテストをAIエージェントで自動化し、QAエンジニアの工数削減とリリースサイクルの短縮が見込める。

特に重要なのは、モデルサイズが約20億パラメータであるという点だ。クラウドAPIへの依存なしにエッジデバイスや社内サーバーで動作させることができるため、機密性の高い業務データを外部に送出せずに済む。金融や医療といった規制業種にとって、データ主権の確保はコンプライアンス上の必須要件であり、この特性は導入判断を大きく後押しする。

また、訓練データ生成の自動化は独自業務フローへのカスタマイズコストを劇的に下げる。社内独自のレガシーシステムに特化したGUIエージェントを、外部のアノテーション会社に依頼せずに内製できる可能性が生まれる。

今後の展望

現時点での検証はWindows 11環境が中心であり、macOSやLinuxデスクトップ環境、モバイルOSへの対応は今後の課題となる。また、ScreenSpot-ProやOSWorld-Gといったベンチマークでの改善が実業務への転用にどの程度直結するかは、各企業が独自に検証する必要がある。

RPAベンダー各社はこの技術を既存製品に統合する競争に入りつつあり、企業のIT調達部門は次期RPA更改時の評価基準にGUIグラウンディング性能を加える動きが広がると予測される。エッジ推論対応の小型マルチモーダルモデルの性能向上が続く限り、デスクトップ自動化市場の技術的前提は今後2〜3年で大きく塗り替えられる可能性が高い。