FERPO、批評器の微分なしでロボット制御を強化

研究の概要

Sebastian Sanokowski氏らの研究チームは、連続制御向けのオンライン強化学習アルゴリズム「FERPO(Forward Entropy-Regularized Policy Optimization)」を発表した。ロボットの関節制御のように行動が連続値となる課題で、方策の学習を安定させ、効率を高めることを狙う。

現在の有力な手法の多くは、学習済みの批評器(クリティック)を行動で微分した勾配を使って方策を改善する。ただし批評器は収益の予測精度を基準に訓練されるため、価値の予測が正確でも行動に関する微分が正確とは限らない。その結果、方策更新が不安定になる恐れがあった。

FERPOはこの前提を改める。エントロピーとKLダイバージェンスで正則化した方策改善の目的関数から、最適な目標行動分布を導出する。そのうえで、現行の方策が収集した行動を用いた自己正規化重点サンプリングによって、順方向KLの目的関数を最小化し、方策をこの目標分布へ近づける。批評器は価値の評価にのみ用い、行動での微分は行わない。

KL正則化は目標分布が現行方策から離れすぎるのを抑え、重点サンプリングの重みが極端な値になるのを防ぐ。また、逆方向KLは目標分布の一部のモードに偏りやすいが、順方向KLは複数の高価値なモードを覆う傾向があり、探索の促進につながるとされる。

実験はMuJoCo PlaygroundとManiSkillで実施され、競争力のある性能と標本効率の向上が確認された。計算面でも、既存手法REPPO(Relative Entropy Pathwise Policy Optimization)より方策の更新が高速であることが示された。

ビジネスへの示唆

最も直接的な影響を受けるのは、ロボット導入を進める製造業と物流業である。組立、ピッキング、搬送といった作業の制御方策をシミュレーション上で学習させる際、標本効率が高まれば、必要な試行回数と計算時間が減る。研究開発部門にとっては、方策の開発サイクル短縮と学習用計算資源のコスト削減が見込める。

注目すべきは、複数の高価値モードを保持する性質である。部品の把持では、複数の有効な掴み方が存在することが多い。一つの解に収束せず多様な解を保つ方策は、部品形状の変化や配置のずれに対する頑健性を高める余地がある。生産技術部門が重視する指標には次のものがある。

• 新規作業の方策学習に要する時間と計算コスト
• 把持・搬送の成功率と、段取り替え時の再学習工数
• 学習の失敗や不安定化による手戻りの頻度

また、批評器の微分に依存しない設計は、価値推定の誤差が方策更新に及ぼす悪影響を抑える。学習が途中で崩れる事態が減れば、AI人材の調整工数を削減でき、ロボット自動化の費用対効果の改善に寄与する。

さらに、方策の更新が速いことは、クラウド上で大量の並列シミュレーションを回す事業者にとって、計算費用の低減要因となる。ロボティクスの受託開発や、シミュレーション基盤を提供する企業にとっても、サービスの単価と処理能力の面で意味を持つ。

今後の展望

本研究の評価は、シミュレーション環境に限られている。実機のロボットでは、センサー雑音や接触の不確実性、安全制約といった要因が加わるため、同様の標本効率が得られるかは別途検証が必要である。また、オンポリシー手法であるため、過去のデータを再利用するオフポリシー手法と比べたデータ効率の差は、実運用では重要な論点となる。

一方で、方策改善の手順から行動勾配を除くという発想は、ほかの連続制御アルゴリズムにも応用しうる。企業が自動化投資を判断する際には、学習の安定性と計算コストを併せて見極める必要があり、こうした手法の実機での検証結果が今後の焦点となる。