世界モデルDreamTrueが失敗映像を学び欠陥率を低減

研究の概要

研究チームは、ロボットの行動に応じて未来の映像を予測する「ワールドモデル」​DreamTrue​を発表した。複数のカメラ視点と異なるロボット機体に対応する点が特徴である。AgiBotのデータで、人間が評価した相互作用の欠陥率を48.12%から6.25%へ下げた。行動への追従性能でも最高水準を記録し、AgiBot World Challenge 2026のワールドモデル部門では第1位となった。

従来の学習には二つの壁があった。一つはカメラとロボット間の較正(キャリブレーション)の不正確さで、指示した動きと映像上の動きがずれる。もう一つは、既存データが成功例に偏り、失敗の経験が乏しいことである。そのためモデルは、何をしても成功する映像を描きがちであった。

しくみをやさしく

第一の工夫は、ロボットの動作軌道を画像上の条件として描き込む方法である。関節角度の数値のまま与えず、カメラ映像に重なる線や位置として表現する。さらにオフラインで幾何学的な較正を行い、この条件を実際の映像と正確に位置合わせする。機体が違っても同じ「画像の言葉」で動作を伝えられるため、機体をまたいだ学習が可能になる。

第二の工夫は​反事実的ポストトレーニング​である。記録済みの動作軌道をあえて書き換え、「もしこう動かしていたら」という未来映像を生成させる。つかみ損ねる、押しすぎるなど接触の仕方が異なる場面が増え、成功例への偏りを和らげる。

第三の工夫は報酬モデルである。書き換えた動作には正解の未来映像が存在しない。そこで人手で、ロボット・物体・相互作用の欠陥を注釈した動画データを作り、映像の物理的な妥当性を採点する「身体性動画報酬モデル」を学習させた。この点数を使って強化学習で調整することで、物が貫通する、勝手に動くといった不自然な結果を減らす。

ビジネスへの示唆

最も身近なのは、製造業や物流の現場における「ロボット動作の確認」業務である。新しいピッキング動作や組立手順を実機で試す際、設備を止めて試行し、失敗による部品や設備の損傷リスクを担当者が負っている。ワールドモデルが信頼できれば、動作を実機に流す前に映像で事前検証できる可能性がある。

自部署に引き寄せるなら、問うべきは次の点である。いま誰が、どれだけの時間をロボットや自動化設備の試運転と調整に費やしているか。失敗の記録は残っているか。

影響が見込まれる部署とKPIは次のとおりである。

• 生産技術部門：ライン立ち上げ期間、試運転時の設備停止時間
• 品質保証部門：不良・破損の発生率、手戻り件数
• 物流・倉庫部門：ピッキング成功率、誤搬送の件数
• ロボット開発部門：実機試験の回数、試験に伴う故障の頻度

ただし本論文の評価はAgiBotのデータが中心であり、個々の工場での再現性は別途確認を要する。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

1. 棚卸し：ロボット動作の試行錯誤が多い工程と、失敗が起きる場面を洗い出す。失敗の種類(つかみ損ね、落下、干渉)を現場の声から整理する。目指す到達点は、どの失敗が高くつくかを関係者の共通認識にすることである。
2. 差し込み先の設計：新しい専用基盤を増やさず、既存の動作計画やシミュレーション検証の前段に「映像での事前確認」を加える。現場の既存カメラ映像と動作ログを活用する。目指す到達点は、現行の手順を大きく変えずに確認の一段を足すことである。
3. 小さく試す(PoC)：一つのラインまたは一種類の作業で数週間試す。モデルが予測した失敗が実機での失敗と合うかを、担当者の実感で確かめる。目指す到達点は、「この予測なら任せられる」という判断材料を現場で得ることである。
4. 運用と横展開：現場の失敗事例を欠陥の分類として蓄積し、採点基準を整える。その後、他の工程や拠点へ広げる。目指す到達点は、評価基準が組織の資産として更新され続ける状態である。

全体として目指すのは、実機で失敗してから学ぶ体制から、映像上で先に失敗して学ぶ体制への移行である。

今後の展望

動作を反事実的に書き換えて失敗を補う発想は、安全が重視される自動運転や介護ロボットなどにも波及しうる。一方、生成映像が現実の物理と完全に一致する保証はなく、人手による欠陥注釈のコストも残る。最終判断は実機検証と組み合わせる運用が現実的である。