BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction
Xingchao Yang, Takafumi Taketomi

図1 左から入力画像，化粧および照明効果を除去した画像，3D顔モデルの復元とレンダリング結果．

研究のアイデア

顔画像中の化粧を除去するための一つの方法として，化粧転写技術を用いることができます．一般に，化粧転写技術では，参照用の顔画像を用意し対象となる顔画像に参照用顔画像の化粧を転写します．このとき，化粧を施していない顔画像を参照用画像として指定することで，顔画像中の化粧を取り除くことが可能です．しかしながら，既存の手法では，照明の効果が考慮されていないため，化粧除去後の画像にハイライトなどの情報が残ってしまいます．このような照明情報は，正規化されたテクスチャマップの生成の際に問題となります．そこで，本研究では，顔のパラメトリックモデルである3D Morphable Model (3DMM)を活用することで，化粧の除去と照明効果の除去を同時に実現することを可能としました．また，3DMMを活用することによって，提案手法では参照用の顔画像を推論時に用いることなく，化粧の除去が可能となっています．

BareSkinNet: 3DMMを活用した化粧と照明の除去ネットワーク

図2にBareSkinNetの概要を示しています．BareSkinNetは化粧と照明の除去を行うネットワークGと3DMMを当てはめることによって顔画像から3Dの顔を復元するネットワークE, Fから構成されています．学習には，化粧を施す前後のペア画像が含まれているLADN Dataset [1]を用います．ポイントは，化粧と照明を除去した画像（bare skin image）に対しては，Spherical Harmonics (SH)による照明を利用せずに3DMMをレンダリングした画像との損失を計算し，化粧前のreference imageに対してはSHによる照明を施したレンダリング画像との損失を計算しているところです．これにより，照明効果の除去と化粧の除去を同時に実現しています．また，工夫として，LADN Datasetに含まれる顔画像は少数であるため，大規模な顔画像データセットで学習済みの3D顔復元ネットワークFをガイドとして用いることで安定した学習を実現しています．

図2 BareSkinNetの概要．BareSkinNetは化粧と照明効果を除去するネットワークGと顔の3D復元を行うネットワークE, Fで構成される．ネットワークFには事前学習済みのネットワークを用いることで，学習の安定化を図っている．

既存手法との比較

代表的な化粧転写手法との比較結果を図3に示します．ここでは，特に濃い化粧が施されている顔画像に対する結果を示しています．ほとんどの手法では，処理結果の画像に化粧の影響が残っていることが確認できます．また，LADN [1]では，一見化粧の影響を取り除くことができていますが，参照している画像の影響を受けて新たな照明効果やハイライトが生じていることが確認できます．一方で，提案手法では，化粧および照明効果の両方が除去できていることが確認できます．

図3 化粧および照明効果の除去結果の比較．

3次元顔モデルのためのテクスチャマップ生成への応用

応用として，BareSkinNetによって出力されたbare skin imageと顔の3次元復元結果を用いて，高精細なテクスチャマップの生成を行いました．ここでは，図4に示すように，画像変換の技術を用いて，入力画像からサンプルされたテクスチャと3DMMから取得されるマップを入力とし，4K解像度のdiffuse, normal, roughness, specularのテクスチャマップの生成を実現しています．テクスチャ生成のネットワークの学習には，独自に取得した日本人女性200名のスキャンデータを利用しています．このネットワークで生成されるテクスチャマップを用いることで，図1の右に示すようなフォトリアルなモデルのレンダリングが可能となります．

図4 BareSkinNetから出力された化粧と照明効果が除去された画像と3D顔復元結果の情報から，物理ベースレンダリングで用いられるdiffuse, normal, roughness, specularの4Kテクスチャマップを生成する．

まとめ

この研究では，3DMMを活用することによって顔画像中の化粧と照明効果を同時に除去する手法の提案を行いました．実験を通して，我々が提案する手法は，既存の手法よりも安定して化粧および照明の影響を除去することができることを確認しました．本ブログでは，論文の概要についての紹介となっているため，ご興味のある方はぜひ論文を読んでいただきたいと思います．

[1] Qiao Gu, Guanzhi Wang, Mang Tik Chiu, Yu-Wing Tai, Chi-Keung Tang, “LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup”, Proceedings of the IEEE International Conference on Computer Vision, pp. 10481-10490, 2019.
[2] Tingting Li , Ruihe Qian , Chao Dong , Si Liu , Qiong Yan , Wenwu Zhu , Liang Lin, “BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”, Proceedings of the ACM international conference on Multimedia, pp. 645-653, 2018.
[3] Wentao Jiang, Si Liu, Chen Gao, Jie Cao, Ran He, Jiashi Feng, Shuicheng Yan, “PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer”, Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5194-5202, 2020.
[4] Han Deng, Chu Han, Hongmin Cai, Guoqiang Han, Shengfeng He, “Spatially-invariant Style-codes Controlled Makeup Transfer”, Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6549-6557, 2021.
[5] Chenyu Yang, Wanrong He, Yingqing Xu, Yang Gao, “EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer”, Proceedings of European Conference on Computer Vision, 2022.

以前の記事でもお伝えした通り、AI Labでは広告表現を生成するための技術開発に取り組んでいます。広告表現を直接のターゲットとしてバナー画像や動画を生成するような研究は多くは存在しませんが、それでも最近は深層生成モデルを代表として、広告表現の生成につながりそうな要素技術が見られるようになってきました。

グラフィックスデザインでは一般にベクター形式のデータと解像度の高いラスタ画像を扱います。解像度の高いラスタ画像を生成する試みはこれまでにもいくつか見られてきましたが（Glow、BigGAN、StyleGAN、GauGAN）、これだけではポスターやバナー制作のようなベクター形式の画像編集に用いることができません。幾何変換、ストロークやポリゴンのようなデータ表現、フォントなど、扱うべきデータはピクセル以外にも多く存在します。

そこで、今回の記事ではベクター形式での画像編集や画像生成を念頭に置いた最近の研究事例をいくつか紹介します。

Vectorization

Vector Image Generation by Learning Parametric Layer Decomposition

Othman Sbai, Camille Couprie, Mathieu Aubry
arXiv:1812.05484

Fig 1 from the paper

与えられた画像を解像度フリーな単色のレイヤー群に分解する手法を提案したもの。座標系からマスクを描く関数のパラメータとそのマスクの色を、入力画像から逐次的に推定しています。全て微分可能なプロセスで記述でき、また座標系の連続値を入力とすることで解像度を問わないレイヤー分解ができます。

かなり実験的な取り組みのようで、実際にはこの手法ではかなりぼやけた画像が生成されるものの、画像のスタイル変換を後処理的に噛ませることで見た目の良い画像に仕上げることができるとのこと。小山らの色分離手法に比べると入力画像の再現性は低そうですが、レイヤーそのものを関数で表現できる点は興味深いです。例えば関数として図形を使ったフィッティング（＝完全なベクター化）をかけることも原理的には可能でしょう。

ラスタ画像からレイヤーが一旦分離されてしまえば、例えば色調を変える、といった画像のスタイリング編集は容易にできます。自然画像よりもイラストのような、色分布が偏ったデータで真価を発揮しそうです。画像圧縮手法としての一面もあります。

End-to-End Wireframe Parsing

Yichao Zhou, Haozhi Qi, Yi Ma
arXiv:1905.03246

Fig 1 from the paper

ワイヤーフレームをEnd-to-endで抽出する手法。ワイヤーフレームは線分、交点を抽出し、つなぎ合わせる必要がありますが、この論文では一貫して全てを一つのネットワークで出力するようにモデルを設計しています。モデルはバックボーンCNN、交点のサンプリング、線分のサンプリング、最後に線分の判定をするモジュールをつないでいます。

Semantic Segmentation for Line Drawing Vectorization Using Neural Networks

Byungsoo Kim, Oliver Wang, A. Cengiz Öztireli, Markus Gross
Eurographics 2018
Author website

From the author website

重なりを考慮してストロークを分割するベクター化の手法。ある点が他の点と同一のパス上に存在するかを判別するPathNetと、ある点がパスの交差上に位置するかを判別するOverlapNetを使い、マルコフ確率場でピクセルのラベリングを行います。これによってパスのインスタンスを分割します。潜在関数としてニューラルネットワークを用いている点がポイントです。一旦パスをそれぞれラベリングができれば、パスのアウトラインを出すことで完全なベクター化ができます。

Learning to Infer Graphics Programs from Hand-Drawn Images

Kevin Ellis, Daniel Ritchie, Armando Solar-Lezama, Joshua B. Tenenbaum
NeurIPS 2018

Figure 1 from the paper

スケッチからこれを生成するプログラムを出力する手法。手法は大きく二つのステップに分かれていて、最初にスケッチから図形要素の抽出、そして図形要素群からプログラムの記述が行われます。スケッチからの図形要素の抽出は畳み込みネットワークにアテンションを組み込んだもので、 circle(x=7, y=12) のような図形プリミティブを認識します。これをプログラム言語の文法に従い最適化問題として定式化し、適切なプログラム記述を探索します。各ステップは認識だけでなく生成もできます。

関連: Yaroslav Ganin, Tejas Kulkarni, Igor Babuschkin, S.M. Ali Eslami, Oriol Vinyals, Synthesizing Programs for Images using Reinforced Adversarial Learning, arXiv:1804.01118

StrokeNet: A Neural Painting Environment

Ningyuan Zheng, Yifan Jiang, Dingjiang Huang
ICLR 2019

Fig 1 from the paper

ストロークを筆の太さ、色、座標・筆圧のシーケンスのタプルとして捉え、ここから画像を生成するMLPと、与えられた画像からストロークを再現するエージェントを強化学習する手法。エージェントは与えられた画像と現在のキャンバスを入力としてVGGベースのCNNを使ってストロークの一点を再帰的にキャンバスに足していきます。描画環境には一般のWebGLレンダリングエンジンを用いていて、微分できない環境でも強化学習を使ってストローク表現を探索できることを示しています。強化学習を用いた描画は最近よく見られるようになり（PaintBot、T Zhou, 2018、Z Huang, 2019、R Nakano, 2019）、今後も目が離せません。

関連: David Ha and Douglas Eck. A neural representation of sketch drawings, arXiv:1704.03477

Image composition

ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

Chen-Hsuan Lin, Ersin Yumer, Oliver Wang, Eli Shechtman, Simon Lucey
CVPR 2018

Fig 2 from the paper

Spatial Transformer（M Jaderberg 2015）ではニューラルネットを使って微分可能な画像のワープを実現していました。この仕組みを使い、新しい物体を背景の中に設置するモデルがST-GANです。こちらはアフィン変換のようなワープのパラメータ差分を物体画像と背景画像から逐次的に求め、物体の配置場所を決定します。学習の際により自然な画像になるように敵対的損失関数を含めているため、ST-GANと呼ばれています。逐次的にワープパラメータを推定する理由はおそらく解が一意ではない、大きな幾何変換を一度に推定すると細かい精度が悪い、といった理由があるようです。

よく見る画像生成モデルでは直接ピクセルのパターンを生成していますが、この方法は解像度が固定されるという弱点があります。しかし、ST-GANの利点は解像度に依存しないワープパラメータを求める点にあります。実際、ST-GANの推論は低解像度の画像で行い、求めたワープパラメータを高い解像度の画像に適用するという使い方が想定されています。ベクター画像には非常に相性の良い手法でしょう。

Compositional GAN: Learning Image-Conditional Binary Composition

Samaneh Azadi, Deepak Pathak, Sayna Ebrahimi, Trevor Darrell
arXiv:1807.07560

Fig 1 from the paper

二枚の画像の関係性を考慮して適切に合成するモデル。二つの物体を置いた時の合成画像の分布が自然画像の分布に近くなるように学習を行います。あらかじめマスキング済みのデータセットに対し、Spatial TransformerまたはRelative Appearance Flow Network(RAFN)と呼ぶencoder-decoderモデルを使い入力画像を相対座標にワープさせたのち、これをcomposition-by-decomposition (CoDe)と呼ぶネットワークに入力して画像を合成します。これは二つの画像を入力して一枚の画像として出力するGANで、合成画像から二つの画像を分離するself consistencyを考慮して学習させています。また、合成画像を入力としてマスクの推定を行うGANも組み合わせて損失関数を構成しています。ペアとなる入力と合成画像がない場合、インペインティングを使って画像を補間したものを使用しています。テーブルと椅子、顔にサングラス、道路に車といったデータで評価実験を行なっています。

Self consistencyが特徴的で多くのGANを組み合わせた手法ですが、ST-GANと同じく解像度に依存しないワープを使っている点、最終的な画像が尤もらしいかどうかを敵対的損失を使って学習させる点など、重要な点では共通するところも見られます。

Fonts

TET-GAN: Text Effects Transfer via Stylization and Destylization

Shuai Yang, Jiaying Liu, Wenjing Wang, Zongming Guo
AAAI 2019

Fig 6 from the paper

フォントのエフェクトを転移するGANの一種。スタイリングと逆方向のでスタイリングを学習します。スタイル変換系でよく見られるモデル構成ですが、フォント効果のデータセットを構築している他、少数のサンプルでも学習できるように一つの画像からのパッチのサンプリングする例も提案しています。

関連: Controllable Artistic Text Style Transfer via Shape-Matching GAN

A Compositional Textual Model for Recognition of Imperfect Word Images

Wei Tang, John Corring, Ying Wu, Gang Hua
arXiv:1811.11239

Fig 1 from the paper

テキストのレンダリングは大きく以下のプロセスに分けられます。

• Skeletonization: 単語を文字列に分割
• Kerning: 文字間隔を調整
• Font: 字体を決定
• Appearance: 色やシャドウなどの効果付け
• Geometric distortion: 幾何変換

この論文ではそれぞれのステップの逆変換を施すend-to-endなモデルの構築を目指し、各ステップに対応するニューラルネットワークを記述しています。OCRでは単語の認識が最終的な目標になりますが、各ステップを微分可能なレンダリングモジュールで記述することができれば、例えば文字認識以外のパラメータをニューラルネットワークで最適化することも可能になりそうです。

おわりに

ラスタ画像のベクター化、画像合成、フォントに関していくつか論文を見てきました。ニューラルネットワークでend-to-endに扱えるように、微分可能なモジュールを設計する、強化学習で微分不可能なシステムを扱う、ラスタ画像につきものの解像度の問題を回避するデータ構造、といったアイディアが取り入れられていることがわかります。この記事では取り上げませんでしたが三次元グラフィックスでも微分可能なレンダラーが提案されて以降、ライブラリが整備されるなど、コンピュータグラフィックス領域で扱っていたトピックに急速に機械学習が入ってきています。

サイバーエージェントAI Labでは「広告表現のための機械学習」に取り組んでいます。この記事で上げたような研究内容に興味のある方はぜひ学会などで私たちに声をかけてください。

SIGGRAPH Asiaのマスコットデザインは公募で選ばれたらしいです．

グラフィクス系でもニューラルネットワークを使った手法が広く採用されている印象があります．その中でもpaGAN: Real-time Avatars Using Dynamic TexturesはGANによる顔画像生成を上手くアプリケーションに落とし込んでいます．

（デモビデオ）

この研究ではアクターの表情に合わせて動くリアルなアバターをたった１枚の画像から生成する手法を提案しています．頭部のテンプレート形状をアクターの動きに合わせて変形し、作成したいアバターの顔テクスチャを貼り付けて基本となる見た目のレンダリングをしています．これだけでは細かいシワや目・口内のテクスチャを綺麗に再現することは難しいので、それらディテールをGANを使って生成しています．デモビデオでは歯や目がかなり自然に描画されていることが確認できます．モバイル端末で動かすための高速化テクニックも多数組み込まれており、この手法を使ったアバターアプリはすでにApp Storeで配布されています．

線画の自動着色手法についてのTwo-stage sketch colorizationもGANを使った研究です．この研究ではこれまでの自動着色でよく見られた色の滲みを修正するニューラルネットワークモデルを追加することでより高品質な着色を試みています．こちらは以前からウェブ上にツール公開しており、発表の最後にはインターネットから取得した画像でライブデモを披露していました．まだ論文化していないようですが、独特なライティング効果をつける機能も公開しています（style2paints プロジェクトページ）．

SCORES: Shape Composition with Recursive Substructure Priorsは２つのオブジェクトから別々のパーツを組み合わせて、新しい形状を生成する研究です．この研究ではパーツのレイアウトを表現するための特徴空間の学習法とその特徴表現を使ったパーツのレイアウト調整のテクニックを提案しています．アプリケーションとして、3Dパーツを組み合わせた新しい形状の生成をしていますが、このアプローチ自体は２次元の画像にも適用することができそうです．デザイナーの作例から多様なレイアウトパターンを生成するなど広告自動生成への応用に可能性を感じます．

プロジェクトページから．(a)と(b)の色のついたパーツをもとに新しい形状(e)を生成しています．

また、サイバーエージェントとしてはExhibitionにて企業ブースの出展も行いました．

白を基調としたブース内では、これまでAVATTAで撮影をしたスキャンデータやARコンテンツなどを展示しながら、
AI Labによる研究内容及びCGチェンジャーが持っている技術の紹介、タレントCGの広告活用についてなど
様々なテーマ内容にてプレゼンテーションをしました．AI Labからは6日に山口より「Research projects at CyberAgent AI Lab」というタイトルにて研究の紹介をさせていただきました．

今回初めてSIGGRAPH Asiaに参加しましたが、多くの研究発表が完成度の高いデモを用意していることが印象的でした．研究者だけでなく、広く一般のユーザが試せるように作り込まれたものも多く、実際に使える技術の開発を重視していることが伺えます．コンピュータビジョン分野でもソースコードやデータを積極的に公開する文化はありますが、どちらかといえば研究の透明性の担保や、後続研究のための技術詳細の公開といった研究開発用途の側面が強いように思います．今後AI Labの研究成果も論文だけでなく、実社会で活用できるような形でのアウトプットを目指していければと思います．

機械学習データとして見た広告クリエイティブの特徴

例としてバナー広告を考えてみましょう。バナーは画像や動画として捉えられることがありますが、自然な写真などと比較すると、写真、イラスト、タイポグラフィなどの視覚要素を空間的・時間的に複雑に配置したプレゼンテーションフォーマットであると言えます。（図１）昨今の画像認識や自然言語処理の技術で使われるデータ形式とは異なり、素材選択、レイアウト構成、といった制作・編集工程そのものがデータとなっています。

図１：バナーのレイアウト例

クリエイティブ編集データはAdobe PhotoshopやIllustratorといったプロフェッショナル向けツール用の専用データ形式で保存されることが多く、一般画像のようにWebに大量に存在するわけではありません。そのため、大量のデータを必要とするような機械学習モデルを学習することは容易ではありません。また、制作プロセスが複雑なため機械学習で解ける問題設定を定義するところも工夫が必要となります。こうした理由から、機械学習を使った制作自動化に関する学術研究はあまり多くみられてきませんでした。

最近では敵対的生成ネットワーク(GAN)をはじめとした生成モデルを使って画像の生成やスタイル変換を自動化する手法が知られるようになってきましたが、この記事を執筆している2018年の段階では、入力を広告訴求素材として実用レベルの高品質なバナーを出力する汎用的な生成手法は知られていません。出力となるバナーに輪郭がぼやけるなどの不審な箇所が少しでもあってはいけないという厳しい要求に加え、バナー制作では編集データというベクトル形式のグラフィックスデータを取り扱う必要があることが、理由に挙げられます。

取り組むべき課題

AI Labではクリエイティブ制作を対象とした機械学習手法の開発に向け、社内の広告代理店業務で制作される編集データの基盤（図２）を整備するとともに次のような課題に取り組んでいます。

図２：バナー画像の大規模データ基盤、大量の編集データを再利用可能な形で収集

データ分析基盤整備

• クリエイティブ編集データの解析ツール開発（psd-tools2）
• 編集データの統計分析と検索基盤開発

広告視聴分析

• 広告画像の内容と隠喩理解

制作編集支援

• ストック素材画像のスタイル編集
• バナーレイアウトの自動配置
• レイアウトデータへの自動画像描画
• 検索連動型広告のタイトル記述の自動生成

広告配信の最適化

• クリエイティブのクリック予測
• 広告配信ロジックの最適化

最後に

広告クリエイティブを対象とした機械学習研究はまだまだ発展途上にあると言えます。AI Labでは研究を進めるとともに、得られた成果を論文やオープンソースソフトウェアとして世の中に公開していきます。（論文一覧はこちら）将来的にクリエイティブ分野に機械学習的な知見が蓄積することを楽しみにしています。