Garment Model Extraction from Clothed Mannequin Scan

はじめに

高品質なデジタルヒューマンを作成するうえで、衣服はコンテンツの写実性を向上させる重要な要素の1つです。しかしながら、高精細な衣服のモデリングにはCGアーティストの多大な労力や経験が必要とされるため、衣服のモデリングの自動化が重要な課題となっています。そこで本研究では、マネキンにモデリング対象の衣服を着衣させた状態でフォトグラメトリー技術等を用いて復元した3Dモデルから高精細なテクスチャ（模様）付き衣服モデルを自動抽出することを実現しました。

着衣した人物のスキャンデータから衣服を抽出する研究[1][2][3]はありますが、既存研究では基本的に着衣していない状態の人体の3Dモデル（SMPL Model[4]等）を利用しているため、体系に沿ったタイトな衣服については頑健に抽出することが可能ですが、スカートやワンピースなどの人体表面から大きく離れるような構造を有する衣服への対応が難しいという問題点があります。このような問題に対して、本研究では、衣服のタイトさを自動判別することで、タイトな衣服もスカートやワンピースなどの衣服も頑健に抽出できる手法を提案しています。

図1 提案手法の概要。まず、色情報に基づいた境界線の抽出によって衣服領域を抽出する。その後、衣服のタイトさについて自動判別しスカートなどのルースな衣服については形状情報に基づく追加処理を行う。

提案手法

本研究では、実世界の衣服を体にぴったりとフィットするような衣服（タイトな衣服）と、体から大きく離れた部分が存在する衣服（ルースな衣服）の2種類に分類し取り扱います。図１に示すように、提案手法では、2段階の処理でタイトな衣服とルースな衣服の両方の自動抽出を実現しています。第1段階では、マネキンの色情報やマネキンの四肢の方向などの事前情報を用いた抽出を行います。タイトな衣服については、事前情報を用いた処理により抽出することが可能です。より詳細な処理の内容については、論文を参照して頂ければと思います。第1段階の処理が終了した後、抽出された衣服の袖や裾付近における着衣したマネキンの断面と裸マネキンの断面との推定面積の比率によりルースな衣服を自動判別します。ルースな衣服として判定されたものについては、追加の処理として形状情報に基づく衣服境界の抽出を行います。

図2 衣服と体との間の「隙間」の例

ルースな衣服では、図２に示すように、衣服と体との間に大きな隙間が存在する場合があります。このような領域はスキャンの際に遮蔽領域となっていることが多く観測値が無い場合があります。RealityCapture [5]などの多くの3次元復元ソフトウェアでは、このような観測値が無い領域に対して自動的に穴埋め処理が施され3次元のメッシュが生成されます。このような領域に対応するテクスチャは周囲の観測されている色情報から補間されることになります。

そのため、単純に色情報のみを利用して衣服を抽出した場合、図３（左）に示すように、抽出された衣服の開口部周辺に不要なメッシュが残ってしまいます。本研究では、衣服の開口部をトレースする曲線を衣服の本来の境界と考え、輪郭線という概念に着目しました。図４に示すように、輪郭線はある視点から物体を観測する際に、視線と物体の輪郭が接する点の集合になります。物体上の可視部分と不可視部分との境界線とみなすこともできます。図３（右）に示すように、色情報を用いて抽出された衣服の開口部中心付近に一つのアンカーポイント（赤い点）を設置した場合、そこから観測される輪郭線を衣服の境界とみなすことができます。

本研究ではメッシュ上のエッジの列で境界線を近似しているため、輪郭線が通過するエッジ上からメッシュの頂点をサンプリングし制御点とした上で、「曲率」を考慮した重みを設計して、制御点間の重み付き最短経路からなるループを衣服とマネキンとの最終的な境界線としています。

図3 左）色情報のみを利用した抽出結果に余分なメッシュが残る場合がある。　右）赤いアンカーポイントから観測される「輪郭線」を衣服の「境界」とみなすことができます。

図4 ある視点から観測できる物体上の輪郭線（紫の曲線）。左）正面からのビュー。右）側面からのビュー。

実験結果

図5に、既存手法[3]と提案手法による衣服の抽出結果例を示しています。既存手法では、衣服の特徴的な構造（ワンピースのストラップ）が失われる場合や、衣服と体との隙間部分に不必要なメッシュが残る場合が確認できます。一方で、提案手法では、全ての衣服で高精度な抽出を実現できています。

図5 既存手法と提案手法による抽出結果の比較例

まとめ

既存手法ではルースな衣服の抽出が困難であるという問題がありました。これに対して、単一の処理パイプラインでタイト・ルース双方の衣服を高精度で抽出できるようになった点が本研究のポイントとなっています。また、抽出した衣服は図6に示すように、既存のシミュレーションソフトウェアで利用可能です。

図6 Marvelous Designer[6]を用いたシミュレーションの結果例

[1] Pons-Moll G., Pujades S., Hu S., Black M. J.: ClothCap: seamless 4D clothing capture and retargeting. ACM Transactions on Graphics 36, 2017, 73:1– 73:15.

[2] Bhatnagar B. L., Tiwari G., Theobalt C., Pons-Moll G.: Multi-garment net: Learning to dress 3D people from images. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 5419– 5429.

[3] Bang S., Korosteleva M., Lee S.-H.: Estimating garment patterns from static scan data. Computer Graphics Forum 40, 2021, DOI:10.1111/cgf.14272.

[4] Loper M., Mahmood N., Romero J., Pons-Moll G., Black M. J.: SMPL: A skinned multi-person linear model. ACM Transactions on Graphics (Proc. SIGGRAPH Asia) 34, 6 (Oct. 2015), 248:1– 248:16.

[5] Capture Reality Community: RealityCapture. https://www.capturingreality.com/realitycapture (2023).

[6] CLO Virtual Fashion, Inc.: MarvelousDesigner. https://www.marvelousdesigner.com/ (2023).

Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition
Xingchao Yang, Takafumi Taketomi, Yoshihiro Kanamori

はじめに

映画や広告などの制作現場において、バーチャルアバターなどの三次元顔モデルに対する化粧のニーズが高まっています。しかし、三次元の顔に直接化粧を施すことは手間がかかり、二次元顔画像から化粧パターンを抽出・転写する既存手法は照明による陰影や遮蔽の影響を受けやすいという問題があります。我々の研究では一枚の化粧付き顔画像から、三次元顔復元、逆レンダリング、化粧転写の技術を活用することによって、化粧パターンを三次元顔モデルのUVマップとして抽出することを実現しています（図1）。提案手法で抽出した化粧パターンは、三次元顔モデルだけでなく、二次元の顔画像処理にも応用可能です。

図1 提案手法による化粧付き顔画像の分解と化粧パターンの抽出例。上段は入力画像とレンダリング画像の重畳表示 (左から素肌のみ、素肌＋化粧、素肌と拡散シェーディングの乗算、さらに光沢成分を加算)、下段は分解で得られた各マテリアルの UV テクスチャ表現。

アプローチ

図2に示すように、提案手法は、1) 顔画像への 三次元顔変形モデル（3DMM）当てはめによる粗いマテリアルの推定、2) 逆レンダリングによるマテリアルの高精細化、3) 化粧転写技術を活用した素肌成分と化粧成分の分離、の3つのステップで構成されています。ステップ１では、三次元顔復元手法 [1] を拡張し、鏡面反射の取り扱いを可能としています。次にステップ2では、ステップ1で得られた粗いマテリアルを初期値とし、逆レンダリングに基づく最適化によって詳細なテクスチャ情報を復元します。最後にステップ3では、高精細な拡散アルベドを入力として、素肌成分と化粧成分を分離します。

図2 提案手法の処理の流れ。まず、三次元顔復元ネットワーク F RN を用いて、粗いマテリアルを推定します。次に、UV展開したテクスチャTuには欠損が生じているため、UV テクスチャ補完ネットワーク DSD-GAN [2] を適用し顔全体のテクスチャを得ます。その後、最適化処理によって高精細マテリアルを得ます。最後に、化粧抽出ネットワーク E を用いて、高精細な拡散アルベドから素肌、化粧、アルファマットを抽出します。

実験結果と応用例

照明効果を考慮した化粧転写

提案手法は抽出された化粧パターンを用いて、アルファブレンディング基づき新しい化粧のテクスチャを合成します。この合成テクスチャをレンダリングし、元画像に重畳表示することによって、化粧転写を実現できます。図3に，元画像と参照画像とで照明条件が異なる場合の化粧転写の結果を示しています。従来手法と比較し、提案手法では照明効果の影響を受けずに、化粧の転写を実現できています。

図3 照明条件が異なる場合での化粧転写結果。元画像の照明効果を維持しながら、参照画像の化粧を転写しています。左から順に、(a) BeautyGAN [3]、(b) PSGAN [4]、(c) CPM [5]、(d) SCGAN [6]、 (e) EleGANt [7]、 (f) 提案手法の結果。

照明効果を考慮した化粧の補間と除去

既存の化粧転写手法では、化粧補間を行う際に参考画像が必要となります。図4に示すように、提案手法は参照画像を必要としない化粧の補間と除去を実現できます。また、提案手法により、照明効果を維持しながら化粧を自然に補間できます。上段は、照明効果を含む顔画像に対する化粧の補間・除去結果を示しています。照明効果を変化させずに化粧の濃淡を調整できています。中段は、化粧の補間時のアルファマットの変化の様子を示しています。また、照明効果と化粧を分離したことにより、下段に示している通り、化粧を調整しながらの再照明が可能となります。

図4 照明を考慮した化粧の補間と除去。左から右へ行くにつれて徐々に化粧が除去されていく。

化粧付き顔画像からの三次元顔復元

提案手法を用いて化粧付き顔画像データセットから収集したテクスチャに対して、PCA に基づく化粧パターンの統計モデルを構築しました。化粧の PCA モデルを用いて化粧付き顔画像の三次元復元を行った結果を図5に示しています。化粧モデルを使用しない結果と比較し、口紅やアイシャドウ部分を忠実に再現できていることが確認できます。

図5 化粧の PCA モデルを用いて 3DMM の拡散アルベドモデルを拡張し、三次元復元に適用した結果。復元した三次元顔モデルの忠実度が大幅に向上しました。

おわりに

本研究では、一枚の化粧画像から三次元表現（UVテクスチャマップ）に基づく化粧を抽出する手法を提案しました。また、論文中では、照明効果を考慮した化粧の転写、補間、除去といった新しい応用を実現しています。さらに、化粧パターンが UV テクスチャという統一された表現で抽出されることを利用し、大規模な化粧テクスチャデータセットと PCA に基づく化粧モデルを構築しました。この化粧モデルを活用することによって、化粧付き顔画像より忠実度の高い三次元復元を実現できました。顔、化粧の三次元復元にご興味のある方は、お気軽にお問い合わせください。本研究で構築したデータセットやコードは、プロジェクトページで近日中に公開予定です。

[1] Deng et al., “Accurate 3D Face Reconstruction With Weakly-Supervised Learning: From Single Image to Image Set”, In CVPRW, 2019.
[2] Kim et al., “Learning High-Fidelity Face Texture Completion without Complete Face Texture”, In ICCV, 2021.
[3] Li et al., “BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”, In ACM MM, 2018.
[4] Jiang et al., “PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer”, In CVPR, 2020.
[5] Nguyen et al., “Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer”, In CVPR, 2021.
[6] Deng et al., “Spatially-Invariant Style-Codes Controlled Makeup Transfer”, In CVPR, 2021.
[7] Yang et al., “EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer”, In ECCV, 2022.