長期作業AI、進捗報酬で訓練し大手に迫る

研究の概要

Wenbo Hu氏らの研究チームは、数時間から数日にわたって自律的に作業する「長期タスク型エージェント」を、オープンなモデルで実現するための訓練データと訓練手法を発表した。従来、この種の課題は訓練用の題材を用意して正誤を検証するのが難しく、成否が最後まで分からない「疎な報酬」のため学習が進みにくかった。

研究の柱は二つである。一つは訓練用データセット​Tev-Gym​で、7分野・1,170件の検証済みタスク環境を収録する。進捗を段階的に測れる報酬を備えた長期エージェント向けデータとしては初という。もう一つは進捗を訓練信号に変える​進捗ポテンシャル報酬整形（PPRS）​である。これで訓練した270億パラメータのTev-27Bは、計算・数理科学系のベンチマークALE-CMで、GPT-6 AstraやClaude Opus 5にPass@5（5回試行のうち1回でも成功すれば正解とする指標）で並んだ。ALE関連データのみで訓練したにもかかわらず、Terminal-Benchの3.0・4.0の一部でGLM 5.2とGemini 3.7 Flashを上回り、中程度の長さの課題ではClaude Opus 4.8級の性能に達した。

しくみをやさしく

Tev-Gymの作り方は「潜在世界優先」と呼ばれる。まず、課題の分野、作業手順、各手順の後にあるべき状態を、正しく漏れのない「隠れた仕様書」として先に作る。そこから、エージェントに見せる環境を段階的に描き出す。仕様書が正解を保証するため検証が容易で、環境の複雑さも調整できる。さらに「仕様上のどの段階まで到達したか」がそのまま進捗の物差しになる。

PPRSは、この進捗を毎ステップの報酬に変える。通常の強化学習では、数百手の作業を終えて初めて成否が分かる。これは、最終試験の結果だけで勉強法を改善するのに近い。PPRSでは、一手ごとに進捗が前進したかを加点し、後退したら減点する。目的地への近さを示す「ポテンシャル」の差分を報酬とするため、最終的な正解の定義を歪めずに学習を効率化できる。論文は、これにより訓練効率が上がり、従来は学習できなかった課題も訓練可能になったとする。

ビジネスへの示唆

恩恵が大きいのは、手順が長く途中経過を確認できる反復業務である。たとえば情報システム部門の障害調査やバッチ処理の修復、経理部門の月次決算での照合と仕訳修正、データ分析部門の集計パイプライン保守が当たる。いずれも、担当者が数時間かけて試行錯誤する作業である。

読者に問われるのは、自部署で「手順が10以上に及び、途中経過を確認できる定型寄りの業務」は何か、いま誰がどれだけ手をかけているか、である。影響を受けやすい指標は次のとおりである。

• 情報システム部門：障害対応の所要時間、一次解決率
• 経理・財務部門：月次決算の締め日数、手戻り件数
• データ分析部門：レポート作成の待ち時間、保守工数

もう一つの示唆は、自社の手順書や業務フローを「進捗を測れる形」で整備しておく価値である。この論文の発想は、各手順の後にあるべき状態を定義することが、AI訓練にも評価にも効くという点にある。小型のオープンモデルが大手の商用モデルに近づけば、機密性の高い業務を自社環境内で動かす選択肢も現実味を帯びる。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

1. ​棚卸し​：部署ごとに、長時間かかる業務と、途中で止まりやすい業務を洗い出す。各業務の「途中の正しい状態」を言語化する。目指す到達点は、自動化の候補が進捗の基準つきで一覧になっている状態である。
2. ​差し込み先の設計​：新しいツールを増やさず、既存の運用管理ツール、チケット管理、社内文書検索（RAG）に載せる。エージェントの作業ログを進捗の確認点と突き合わせる設計とする。到達点は、現行の業務の流れを変えず、人が最終承認を持つ形で組み込まれていることである。
3. ​小さく試す（PoC）​：一部署・数週間に絞り、障害調査などの一業務で試す。担当者の「手間が減った」という実感と、途中で止まった地点の記録で確かめる。到達点は、効く業務と効かない業務の線引きが現場の言葉で説明できることである。
4. ​運用と横展開​：確認点の定義と承認基準を標準化し、他部署へ広げる。必要に応じて、自社の手順から訓練用の環境を作る道も検討する。到達点は、業務手順を資産として管理し、AIに任せる範囲を継続的に広げられる体制である。

目指す姿は、人が判断に集中し、長い定型作業をエージェントが進捗を示しながら進める職場である。初期投資は、小さく・安く始められるイメージで設計できる。

今後の展望

論文は、自動化された発見や再帰的な自己改善（RSI）の基盤になる技術として位置づけている。一方で、評価の中心は計算・数理系の課題であり、営業や調達のような曖昧な業務への適用は未検証である。各社は、自社業務の手順を進捗が測れる形に整えられるかが、活用の分かれ目になる。