AI Lab Graphicsチームの楊です。この記事では、コンピュータグラフィックス分野における国際会議Eurographicsに採択された１枚の顔写真から化粧のパターンを抽出する研究について紹介します。 

Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition
Xingchao Yang, Takafumi Taketomi, Yoshihiro Kanamori

はじめに

映画や広告などの制作現場において、バーチャルアバターなどの三次元顔モデルに対する化粧のニーズが高まっています。しかし、三次元の顔に直接化粧を施すことは手間がかかり、二次元顔画像から化粧パターンを抽出・転写する既存手法は照明による陰影や遮蔽の影響を受けやすいという問題があります。我々の研究では一枚の化粧付き顔画像から、三次元顔復元、逆レンダリング、化粧転写の技術を活用することによって、化粧パターンを三次元顔モデルのUVマップとして抽出することを実現しています（図1）。提案手法で抽出した化粧パターンは、三次元顔モデルだけでなく、二次元の顔画像処理にも応用可能です。

図1 提案手法による化粧付き顔画像の分解と化粧パターンの抽出例。上段は入力画像とレンダリング画像の重畳表示 (左から素肌のみ、素肌＋化粧、素肌と拡散シェーディングの乗算、さらに光沢成分を加算)、下段は分解で得られた各マテリアルの UV テクスチャ表現。

アプローチ

図2に示すように、提案手法は、1) 顔画像への 三次元顔変形モデル（3DMM）当てはめによる粗いマテリアルの推定、2) 逆レンダリングによるマテリアルの高精細化、3) 化粧転写技術を活用した素肌成分と化粧成分の分離、の3つのステップで構成されています。ステップ１では、三次元顔復元手法 [1] を拡張し、鏡面反射の取り扱いを可能としています。次にステップ2では、ステップ1で得られた粗いマテリアルを初期値とし、逆レンダリングに基づく最適化によって詳細なテクスチャ情報を復元します。最後にステップ3では、高精細な拡散アルベドを入力として、素肌成分と化粧成分を分離します。

図2 提案手法の処理の流れ。まず、三次元顔復元ネットワーク F RN を用いて、粗いマテリアルを推定します。次に、UV展開したテクスチャTuには欠損が生じているため、UV テクスチャ補完ネットワーク DSD-GAN [2] を適用し顔全体のテクスチャを得ます。その後、最適化処理によって高精細マテリアルを得ます。最後に、化粧抽出ネットワーク E を用いて、高精細な拡散アルベドから素肌、化粧、アルファマットを抽出します。

実験結果と応用例

照明効果を考慮した化粧転写

提案手法は抽出された化粧パターンを用いて、アルファブレンディング基づき新しい化粧のテクスチャを合成します。この合成テクスチャをレンダリングし、元画像に重畳表示することによって、化粧転写を実現できます。図3に，元画像と参照画像とで照明条件が異なる場合の化粧転写の結果を示しています。従来手法と比較し、提案手法では照明効果の影響を受けずに、化粧の転写を実現できています。

図3 照明条件が異なる場合での化粧転写結果。元画像の照明効果を維持しながら、参照画像の化粧を転写しています。左から順に、(a) BeautyGAN [3]、(b) PSGAN [4]、(c) CPM [5]、(d) SCGAN [6]、 (e) EleGANt [7]、 (f) 提案手法の結果。

照明効果を考慮した化粧の補間と除去

既存の化粧転写手法では、化粧補間を行う際に参考画像が必要となります。図4に示すように、提案手法は参照画像を必要としない化粧の補間と除去を実現できます。また、提案手法により、照明効果を維持しながら化粧を自然に補間できます。上段は、照明効果を含む顔画像に対する化粧の補間・除去結果を示しています。照明効果を変化させずに化粧の濃淡を調整できています。中段は、化粧の補間時のアルファマットの変化の様子を示しています。また、照明効果と化粧を分離したことにより、下段に示している通り、化粧を調整しながらの再照明が可能となります。

図4 照明を考慮した化粧の補間と除去。左から右へ行くにつれて徐々に化粧が除去されていく。

化粧付き顔画像からの三次元顔復元

提案手法を用いて化粧付き顔画像データセットから収集したテクスチャに対して、PCA に基づく化粧パターンの統計モデルを構築しました。化粧の PCA モデルを用いて化粧付き顔画像の三次元復元を行った結果を図5に示しています。化粧モデルを使用しない結果と比較し、口紅やアイシャドウ部分を忠実に再現できていることが確認できます。

図5 化粧の PCA モデルを用いて 3DMM の拡散アルベドモデルを拡張し、三次元復元に適用した結果。復元した三次元顔モデルの忠実度が大幅に向上しました。

おわりに

本研究では、一枚の化粧画像から三次元表現（UVテクスチャマップ）に基づく化粧を抽出する手法を提案しました。また、論文中では、照明効果を考慮した化粧の転写、補間、除去といった新しい応用を実現しています。さらに、化粧パターンが UV テクスチャという統一された表現で抽出されることを利用し、大規模な化粧テクスチャデータセットと PCA に基づく化粧モデルを構築しました。この化粧モデルを活用することによって、化粧付き顔画像より忠実度の高い三次元復元を実現できました。顔、化粧の三次元復元にご興味のある方は、お気軽にお問い合わせください。本研究で構築したデータセットやコードは、プロジェクトページで近日中に公開予定です。

[1] Deng et al., “Accurate 3D Face Reconstruction With Weakly-Supervised Learning: From Single Image to Image Set”, In CVPRW, 2019.
[2] Kim et al., “Learning High-Fidelity Face Texture Completion without Complete Face Texture”, In ICCV, 2021.
[3] Li et al., “BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”, In ACM MM, 2018.
[4] Jiang et al., “PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer”, In CVPR, 2020.
[5] Nguyen et al., “Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer”, In CVPR, 2021.
[6] Deng et al., “Spatially-Invariant Style-Codes Controlled Makeup Transfer”, In CVPR, 2021.
[7] Yang et al., “EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer”, In ECCV, 2022.