動画AI編集技術「Vera」、素材保全と創造編集を両立

カリフォルニア工科大学のHongkai Zheng氏らの研究チームは、動画コンテンツを構成する各要素を保護しながら創造的な編集を加えることができる拡散モデル「Vera」を発表した。論文は査読前のプレプリントとして公開されている。

従来の動画生成AIが抱える根本的な課題は、編集時に全ピクセルを再生成するアーキテクチャにある。この方式では、修正を加えるべき対象以外の人物の顔、ブランドロゴ、背景のランドマークといった要素まで意図せず変化してしまうことが多く、商業利用における品質管理を困難にしていた。

Veraはこの問題を設計段階から分離するアプローチで解決する。具体的には、元動画の映像をそのまま保持しつつ、編集内容を「編集レイヤー」と「アルファマット」として独立して生成し、最終的に合成する構造を採用する。建築でいえば既存の建物を取り壊すことなく外装を貼り替える工法に近い発想だ。技術的には、テキストから動画を生成するDiT（Diffusion Transformer）を拡張した「Mixture-of-Transformers（MoT）」アーキテクチャを採用し、各レイヤーを担当する独立したTransformerが相互に情報を共有しながら整合性を保つ仕組みになっている。定量評価と人間による選好調査の双方で、コンテンツ保全性において主要なオープンソースモデルを上回ったとされ、学習には約48万6千フレームの層状データセットが用いられた。

ビジネス観点での影響が最も大きいのは広告・マーケティング領域である。グローバル展開を行うブランドでは、同一の映像素材を複数の市場向けに言語・文化・季節感に合わせて編集する工程が恒常的に発生する。現状ではポストプロダクション会社への外注や社内編集チームが担っているが、Vera的な技術の実用化により、ブランドのタレント映像や製品ショットを一切改変せずに背景やテキストオーバーレイのみを差し替えるローカライズ作業が自動化・短縮できる。コンテンツ制作部門のKPIである「バリエーション制作件数あたりのコスト」および「市場投入までのリードタイム」に直接作用する。

映像・エンターテインメント産業においても応用余地は大きい。視覚効果（VFX）工程では、俳優の演技映像にデジタルエフェクトを後から合成するロトスコーピング作業が多大な人的工数を要する。Veraのアルファマット自動生成機能はこの工程を部分代替し、VFXスタジオの生産性指標であるショットあたりの処理時間短縮に貢献しうる。また、ライブコマースや動画SNSを軸とするeコマース企業にとっては、商品の掲載動画を季節やキャンペーンに応じて迅速に更新する運用コスト削減への道筋ともなる。

医療・教育分野では、患者向け説明動画や研修コンテンツの更新需要が継続的に発生しているが、監修済みの人物映像や手順デモンストレーションを再撮影することなく、テロップや背景情報のみ最新版に更新できる点に実務的な価値がある。コンプライアンス部門が管理するコンテンツ改訂コストの低減につながる。

現時点ではプレプリント段階であり、商用製品としての提供には至っていない。また、生成AIが映像コンテンツに手を加えることへの著作権・肖像権上の論点は各国で整備が進む途上にあり、実際の業務導入には法務部門の関与が不可欠だ。加えて、MoTアーキテクチャの推論コストや、多様な商業映像への汎化性能については引き続き検証が求められる。映像編集AIの競合開発は欧米・中国の大手テック企業も参入しており、技術的優位性の持続可能性についても見極めが必要である。各社の映像制作・マーケティング技術担当者にとっては、商用実装の動向を注視すべき技術の一つとなった。