OmniFabric、単一画像から衣服3D素材を生成

研究の概要

Ding-Jiun Huang氏、Fernando De la Torre氏らの研究チームは、単一の衣服画像から制作現場で使える3D衣服資産を自動生成する手法「OmniFabric」を発表した。3D形状の復元は生成モデルの進展で精度が高まった一方、テクスチャの生成は依然として技術的な壁であった。既存手法は撮影時の照明や影をテクスチャに焼き込んでしまうか、衣服全体で柄や構造の一貫性を保てないかのいずれかであり、得られた資産は物理シミュレーションや再照明に使えなかった。

OmniFabricは、3D空間ではなく2Dの縫製パターン（UV空間）上でテクスチャを合成する点に特徴がある。処理は二段階で構成される。第一に、参照画像から推定した3Dメッシュと、視覚言語モデル（VLM）の生成的な事前知識を用い、展開した縫製パターン全体に、粗いが欠損のないテクスチャの初期値を作る。第二に、自動化された合成データエンジンで学習し、3Dの位置特徴を条件とする専用の拡散トランスフォーマーで、この初期値を正準UV領域上で精緻化する。これにより歪みや焼き込まれたアーティファクトが除去され、元の衣服デザインを保った正規化済みのテクスチャマップが得られる。著者らは、広範な実験で最先端のベースラインを大きく上回り、写実的な3D衣服を得られたと報告している。

ビジネスへの示唆

最も直接的な影響を受けるのはアパレル業界である。現在、3D衣服を用いたデジタルサンプルの作成には、パターンナーや3Dアーティストによる手作業のテクスチャ整備が欠かせない。撮影済みの商品画像や競合商品の参考画像から照明を含まないテクスチャ付きの3D衣服を自動生成できれば、この工程の工数を圧縮できる可能性がある。

影響が見込まれる部門と指標は次のとおりである。

• 商品企画・デザイン部門：サンプル試作の回数と、企画から意思決定までのリードタイム
• EC・マーケティング部門：撮影コスト、商品1点あたりの画像制作費、バーチャル試着導入によるコンバージョン率や返品率
• 生産管理部門：試作に伴う素材の廃棄量とサンプル製作費

ゲーム、映像、メタバースなどのデジタルコンテンツ産業でも用途は広い。衣装アセットの制作は工数がかさむ領域であり、再照明に対応したテクスチャであれば、異なるシーンの照明環境へそのまま配置できる。アセット1点あたりの制作単価や内製比率の改善につながり得る。物理シミュレーションが可能な資産は、布の動きを伴うアニメーションやバーチャルファッションショーへの転用にも適する。

もっとも、これらの効果は技術の特性から導かれる見通しである。論文が示す評価は既存手法との品質比較であり、実際の業務でどれだけ工数やコストが減るかは、各社の検証を待つ必要がある。

今後の展望

実用化に向けた論点は複数ある。第一に、単一画像からでは見えない背面や内側の柄をどう補完するかである。本手法はVLMの生成的な事前知識で全体を埋めるため、補完部分が意図したデザインと一致するかの確認が要る。第二に、素材の伸縮性や厚みといった物性は、テクスチャ品質とは別に定義する必要がある。第三に、入力となる3Dメッシュと縫製パターンの推定精度が、最終品質を左右する可能性がある。

導入を検討する企業には、既存のデジタルサンプル工程の一部に組み込み、担当者による修正工数を計測する段階的な検証が現実的である。テクスチャ生成が自動化されれば、形状復元と組み合わせた単一画像からの衣服資産化が一連の工程として成立する。ファッションのデジタル化を進める企業にとって、制作コストの構造を見直す契機となり得る成果である。