Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation
Daichi Horita, Naoto Inoue, Kotaro Kikuchi, Kota Yamaguchi, Kiyoharu Aizawa
IEEE/CVF Computer Vision and Pattern Recognition Conference (CVPR) 2024

初めに

今回のインターンでは、商品画像やバナーのような何かしらのコンテンツがあるキャンバス上にレイアウトを生成する問題、つまり、コンテンツ考慮型レイアウト生成（Content-aware Layout Generation）に取り組みました。レイアウト生成は見出しやキャッチコピーのような要素を自動で配置する技術であり、商品画像やバナーなどのグラフィックデザインの制作を大幅に効率化することが期待されています。例えば、「極予測AI」においてバナークリエイティブの自動生成への応用が期待されています。

図1は本問題の入力と出力の関係を示しています。具体的には、入力された画像中にバウンディングボックスとしてレイアウトを生成する問題です。レイアウトは位置情報に加え、テキストやロゴや下地を示すようなクラス情報も持ちます。要約すると、レイアウトの位置とクラスの情報を画像入力から生成する問題になります。本論文では、検索拡張型生成を用いた手法を提案し本問題に取り組みました。

図1: 提案手法の概要

提案手法

本問題には多くの既存研究がありますが、全て単一の学習型生成モデルに依存しており、一度学習した知識を用いてレイアウト生成を行います。しかし、本課題には学習に十分なデータが存在せず学習効率性が悪い問題や、安定した学習を行える生成モデルの構築が不十分な問題があります。

本研究では、クリエイターが作品を創る時に実際の例を参照するような創作方法に触発され、実際のレイアウトを見ながら生成を行う生成モデルの構築に取り組みました。具体的には、自己回帰モデル型Transformerを利用した生成モデルを構築し、検索拡張型生成（Retrieval Augmented Generation、RAG）を組み込んだ手法であるRetrieval Augmented Layout Transformer（RALF）を提案しました。この手法は既存の生成モデルに容易に組み込み学習を行える利点を持ちます。図2はRALFのネットワークアーキテクチャを示しています。

図2: RALFのアーキテクチャ

提案手法であるRALFは、主にエンコーダ・デコーダ型Transformerを用いた生成モデルと、実サンプルをヒントとして与える検索拡張の2つで構築されます。検索拡張のための実例を取得するために、入力画像とデータベースのサンプル間で画像特徴量の類似度を計算し、似た類似度を持つ画像はレイアウトも近しいだろうと仮定しています。そこで、類似度の高い画像が持つレイアウト情報をLayout encoderに入力し、TransformerデコーダであるLayout decoderのCross-attention層へと入力します。

実験

図3は検索拡張を用いない場合（Autoreg Baseline）と用いた場合（RALF）の比較を行っています。横軸は訓練データサンプル数を示し、縦軸はFréchet inception distance（FID）を示しています。低いスコアが良いパフォーマンスを示します。この結果から、RALFは学習効率性を向上させ、どの訓練サンプル数においても高い性能を達成することを示しています。

図3: 検索拡張の有無による性能の比較

次に、生成時に使う検索結果の数と性能の関係を検証しました。図4は横軸が実例数を示し、縦軸にFIDを示す検証結果を示しています。この結果から、１つでも実例を見るとFIDにおける性能が向上することがわかります。

図4: 拡張する実例数の変更による性能の比較

実際の生成例を図5に示します。Kは実例数を示しています。K=1では実例と同じようなレイアウトが生成されているのに対し、K=16ではより多様なレイアウトが生成されていることがわかります。つまり、実例数が極端に少ないとコピーをするような生成方法となりますが、実例数が多いことによって実例を見ながらの生成が可能になります。その結果、テキストとその下地のような関係性もきれいに生成できるようになります。一方で、実例をコピーをすることと、実例に忠実度の高い生成ができることは、どちらもFID上では良い結果をもたらす問題があります。この問題を解決し、検索拡張型生成を正しく評価するためには新たな評価指標を考えていくべきであり、この重要な問題は今後の研究コミュニティへと託します。

図5: 検索拡張するサンプル数を変えた時の生成結果の比較

おわりに

本研究では、検索拡張型生成を組み込んだ手法であるRetrieval Augmented Layout Transformer（RALF）を提案しました。この技術はグラフィックデザインの制作を大幅に効率化することが期待されています。詳細はぜひ論文を確認してみてください。

PR

堀田さんのメンターを担当した CyberAgent AI Lab 研究員の 井上 直人です。私たちのグループではグラフィックデザインの自動生成・制作支援・理解に関する技術に主に取り組んでいます。これらの技術は本記事で扱ったレイアウトだけでなく、画像、テキスト、各要素に対する細かな属性 (例: 文字のフォントや色) などを同時に扱う非常に挑戦的な課題であり、近年の言語や画像生成の基盤モデルをフル活用してもなお解けたとはいえない様々な課題が存在します。このような研究に興味を持たれた方はぜひ私たちに声をかけてみてください、一緒に研究しましょう。AI Labでは博士課程の学生を対象にリサーチインターンシップを募集しています。また、フルタイムのポジションも各種募集中です。

この記事では私がAI Labのリサーチインターンで取り組んだ顔交換(Face-Swapping)の研究やAI Labでのインターン生活について紹介します。

インターンで取り組んだ研究について

初めに

今回のインターンでは、顔交換(Face-Swapping)という画像生成の問題に取り組みました。顔交換は与えられたターゲット人物画像に対して、その表情や背景、髪型など(これらを属性という)を維持しながら、顔のアイデンティティだけをソース人物画像の顔のアイデンティティで置き換えるタスクです。顔交換の技術は映像制作やバーチャルアバターなどの娯楽用途のほか、顔の非匿名化などのプライバシー保護のための技術としても近年需要が高まっています。

顔交換は既に多くの既存研究がありますが、既存法ではソース画像の属性情報が生成画像に漏れ出てしまうことがあるということが経験的にわかっていました(図1)。本研究では、この問題が顔交換で広く使われている顔認識モデル(ArcFace)にあることを突き止め、顔認識モデルを顔交換用に再設計した新しいエンコーダ(BlendFace)を用いて顔交換モデルを訓練することで、この問題を解決しました。

この研究成果はコンピュータビジョン分野の難関国際会議の一つであるICCV2023に採択されています。

BlendFace: Re-designing Identity Encoders for Face-Swapping
Kaede Shiohara, Xingchao Yang, Takafumi Taketomi
IEEE/CVF International Conference on Computer Vision (ICCV) 2023

既存研究の課題と提案法

なぜ既存手法で属性情報の漏れが起きているのかを解明するため、顔認識モデルを分析してみます。顔認識モデルは同一人物のさまざまなシーンの画像が同じ埋め込みになるように訓練されており、その特徴を使って人物識別を行います。人はさまざまなシーンにおいて似たような髪型や肌の色をしているため、それらの情報も個人の特徴として埋め込まれます。ここで、図2の左側に示すように、ある人物の画像(アンカー画像)と、同一人物の別シーンの画像(赤)、異なる人物の画像(青)、異なる人物の顔を簡単な画像処理によって同一人物に置き換えた画像(黄)の4つを用意して、アンカー画像とのアイデンティティ類似度を測定しました(横軸は類似度、縦軸は件数)。

この図からわかるように、既存の顔認識モデルは置き換えた画像(黄)の類似度が本人の別シーンの画像(赤)との類似度よりも低くなっています。つまり、顔認識モデルは髪型や肌の色の情報が類似度に影響しているということが統計的にわかりました。

顔交換モデルに戻ると、これはソース画像と生成画像の顔認識モデルの特徴量によるアイデンティティ類似度を近づけようとした時に、髪型や肌の色までもを過剰に近づけさせるということを意味しています。これにより冒頭で示したような属性の漏れが発生します。

本研究ではこの問題を解決するために、属性情報が交換された画像(黄)も本人であると認識されるように属性情報を交換した画像を訓練データに用いて顔認識モデルを訓練し直しました。その結果が図2の右側で、属性情報を交換した画像(黄)の類似度が属性情報を交換していない画像(赤)の類似度に極めて近く分布していることが確認できます。このような顔認識モデルを使って顔交換モデルを訓練することで、属性の漏れがない顔交換モデルを実現できることが予想されます。顔を交換した画像(ブレンド画像)を用いて顔認識モデルを訓練することから本手法をBlendFaceと名付けています。

実際にBlendFaceを用いた顔交換モデルと既存法を比べた結果が図3です。ソース画像とターゲット画像の属性が大きく離れている場合に、属性情報の漏れによって顔の内外で不連続な領域が生じてしまっているのに対し、提案法では一貫性のある顔交換が行えていることが確認できました。詳細はぜひ原論文を確認してみてください。

サイバーエージェントでのインターンについて

インターンの参加経緯

応募当時は博士課程が始まった直後だったため就職活動は意識していませんでした。サイバーエージェントAI Labの博士インターンがアツいらしいという割とぼんやりとしたイメージと、インターンで大きな成果を生み出したいという圧倒的モチベーションがあり応募しました。他社の研究開発のインターンとも迷いましたが、自分の所属研究室のOBOGの方が複数人AI Labに勤めているということもあってサイバーエージェントを選びました。

研究テーマについて

修士課程の時にディープフェイクの検出の研究をやっていたので、広告のためのアバター生成を研究しているGraphicsチームにて、顔の生成に関する研究を提案しました。このように募集テーマから選ぶだけではなく、自分でテーマを提案できるのもAI Labのインターンの利点です。

インターン生活

サイバーエージェントAI Labの博士インターンでは2ヶ月間、正社員の方と同様にフルタイムで研究開発に取り組みます。自分の場合は週に1度のメンター・チームリーダーとの進捗報告ミーティング以外は黙々と実装や調査・実験を繰り返していました。そのため、社員の方やインターン生と昼食を食べるのが良い息抜きになりました。また、Graphicsチームでは週に1度カジュアルミーティングという、研究だけではなく生活等の話題を持ち寄って話す会があり、社員の方の多様な私生活やワークライフバランスについて聞くことができたのは面白かったです。

私の研究については、持ち込みテーマではありますが顔の生成については今まで研究として取り組んだことがなかったので、既存法のコードを見て理解するところから始めました。結果として2ヶ月では国際会議に投稿するほどの成果を出すことができませんでしたが、この期間に色々な実験を行ってじっくりと基礎を固めることができたのが後の国際会議採択に繋がったと感じています。

インターンを通して特に印象に残っているのはAI Labの非常に整備された環境です。社内GPUサーバなどのインフラ管理の部門がAI Labとは別に存在していたり、PCの社内ソフトのセットアップでわからないことがあった時にすぐに対応していただけるサポートデスクがあったりと、会社としての強みというのを存分に感じました。また、渋谷駅直結のスクランブルスクエアにオフィスがあるので、通いやすい、オフィスが綺麗という精神衛生上の利点や、飲み物飲み放題、割安の弁当がオフィス内で販売されているなどの間接的な経済的支援もあり、国内有数の働きやすい研究組織であること間違い無いでしょう。

インターン後の生活

インターンが終了してからは、論文投稿に向けて具体的に目標を立てて研究を進めていきました。当初は11月に投稿締切のCVPR2023に向けて動いていましたが、実験が間に合わず、納得のいかないものを投稿せざるを得なくなってしまい、その結果リジェクトされてしまいました。その後、大幅な修正を加えてICCV2023(3月投稿締切)に投稿し無事採択されました。

リサーチインターンに参加してみて

サイバーエージェントAI Labでのインターンは、国内トップレベルの研究者に囲まれながら研究に取り組める非常に刺激的な体験でした。社員の方はもちろんのこと、周りのインターン生も優秀な方ばかりで、モチベーティブな環境で研究に集中することができました。

特に私の場合は、自身の専門(コンピュータビジョン)とは少しだけ異なるコンピュータグラフィックスのチームを希望して所属させていただいたため、初めて知ることが多く非常に学びが多かったです。

優れた環境とメンターやチームリーダーの手厚いサポートのもとで難関国際会議への論文投稿、採択に繋げることができ、非常に良い経験になりました。
もし参加を迷われている方は一度応募してみてはいかがでしょうか。

Garment Model Extraction from Clothed Mannequin Scan

はじめに

高品質なデジタルヒューマンを作成するうえで、衣服はコンテンツの写実性を向上させる重要な要素の1つです。しかしながら、高精細な衣服のモデリングにはCGアーティストの多大な労力や経験が必要とされるため、衣服のモデリングの自動化が重要な課題となっています。そこで本研究では、マネキンにモデリング対象の衣服を着衣させた状態でフォトグラメトリー技術等を用いて復元した3Dモデルから高精細なテクスチャ（模様）付き衣服モデルを自動抽出することを実現しました。

着衣した人物のスキャンデータから衣服を抽出する研究[1][2][3]はありますが、既存研究では基本的に着衣していない状態の人体の3Dモデル（SMPL Model[4]等）を利用しているため、体系に沿ったタイトな衣服については頑健に抽出することが可能ですが、スカートやワンピースなどの人体表面から大きく離れるような構造を有する衣服への対応が難しいという問題点があります。このような問題に対して、本研究では、衣服のタイトさを自動判別することで、タイトな衣服もスカートやワンピースなどの衣服も頑健に抽出できる手法を提案しています。

図1 提案手法の概要。まず、色情報に基づいた境界線の抽出によって衣服領域を抽出する。その後、衣服のタイトさについて自動判別しスカートなどのルースな衣服については形状情報に基づく追加処理を行う。

提案手法

本研究では、実世界の衣服を体にぴったりとフィットするような衣服（タイトな衣服）と、体から大きく離れた部分が存在する衣服（ルースな衣服）の2種類に分類し取り扱います。図１に示すように、提案手法では、2段階の処理でタイトな衣服とルースな衣服の両方の自動抽出を実現しています。第1段階では、マネキンの色情報やマネキンの四肢の方向などの事前情報を用いた抽出を行います。タイトな衣服については、事前情報を用いた処理により抽出することが可能です。より詳細な処理の内容については、論文を参照して頂ければと思います。第1段階の処理が終了した後、抽出された衣服の袖や裾付近における着衣したマネキンの断面と裸マネキンの断面との推定面積の比率によりルースな衣服を自動判別します。ルースな衣服として判定されたものについては、追加の処理として形状情報に基づく衣服境界の抽出を行います。

図2 衣服と体との間の「隙間」の例

ルースな衣服では、図２に示すように、衣服と体との間に大きな隙間が存在する場合があります。このような領域はスキャンの際に遮蔽領域となっていることが多く観測値が無い場合があります。RealityCapture [5]などの多くの3次元復元ソフトウェアでは、このような観測値が無い領域に対して自動的に穴埋め処理が施され3次元のメッシュが生成されます。このような領域に対応するテクスチャは周囲の観測されている色情報から補間されることになります。

そのため、単純に色情報のみを利用して衣服を抽出した場合、図３（左）に示すように、抽出された衣服の開口部周辺に不要なメッシュが残ってしまいます。本研究では、衣服の開口部をトレースする曲線を衣服の本来の境界と考え、輪郭線という概念に着目しました。図４に示すように、輪郭線はある視点から物体を観測する際に、視線と物体の輪郭が接する点の集合になります。物体上の可視部分と不可視部分との境界線とみなすこともできます。図３（右）に示すように、色情報を用いて抽出された衣服の開口部中心付近に一つのアンカーポイント（赤い点）を設置した場合、そこから観測される輪郭線を衣服の境界とみなすことができます。

本研究ではメッシュ上のエッジの列で境界線を近似しているため、輪郭線が通過するエッジ上からメッシュの頂点をサンプリングし制御点とした上で、「曲率」を考慮した重みを設計して、制御点間の重み付き最短経路からなるループを衣服とマネキンとの最終的な境界線としています。

図3 左）色情報のみを利用した抽出結果に余分なメッシュが残る場合がある。　右）赤いアンカーポイントから観測される「輪郭線」を衣服の「境界」とみなすことができます。

図4 ある視点から観測できる物体上の輪郭線（紫の曲線）。左）正面からのビュー。右）側面からのビュー。

実験結果

図5に、既存手法[3]と提案手法による衣服の抽出結果例を示しています。既存手法では、衣服の特徴的な構造（ワンピースのストラップ）が失われる場合や、衣服と体との隙間部分に不必要なメッシュが残る場合が確認できます。一方で、提案手法では、全ての衣服で高精度な抽出を実現できています。

図5 既存手法と提案手法による抽出結果の比較例

まとめ

既存手法ではルースな衣服の抽出が困難であるという問題がありました。これに対して、単一の処理パイプラインでタイト・ルース双方の衣服を高精度で抽出できるようになった点が本研究のポイントとなっています。また、抽出した衣服は図6に示すように、既存のシミュレーションソフトウェアで利用可能です。

図6 Marvelous Designer[6]を用いたシミュレーションの結果例

[1] Pons-Moll G., Pujades S., Hu S., Black M. J.: ClothCap: seamless 4D clothing capture and retargeting. ACM Transactions on Graphics 36, 2017, 73:1– 73:15.

[2] Bhatnagar B. L., Tiwari G., Theobalt C., Pons-Moll G.: Multi-garment net: Learning to dress 3D people from images. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 5419– 5429.

[3] Bang S., Korosteleva M., Lee S.-H.: Estimating garment patterns from static scan data. Computer Graphics Forum 40, 2021, DOI:10.1111/cgf.14272.

[4] Loper M., Mahmood N., Romero J., Pons-Moll G., Black M. J.: SMPL: A skinned multi-person linear model. ACM Transactions on Graphics (Proc. SIGGRAPH Asia) 34, 6 (Oct. 2015), 248:1– 248:16.

[5] Capture Reality Community: RealityCapture. https://www.capturingreality.com/realitycapture (2023).

[6] CLO Virtual Fashion, Inc.: MarvelousDesigner. https://www.marvelousdesigner.com/ (2023).

Makeup Extraction of 3D Representation via Illumination-Aware Image Decomposition
Xingchao Yang, Takafumi Taketomi, Yoshihiro Kanamori

はじめに

映画や広告などの制作現場において、バーチャルアバターなどの三次元顔モデルに対する化粧のニーズが高まっています。しかし、三次元の顔に直接化粧を施すことは手間がかかり、二次元顔画像から化粧パターンを抽出・転写する既存手法は照明による陰影や遮蔽の影響を受けやすいという問題があります。我々の研究では一枚の化粧付き顔画像から、三次元顔復元、逆レンダリング、化粧転写の技術を活用することによって、化粧パターンを三次元顔モデルのUVマップとして抽出することを実現しています（図1）。提案手法で抽出した化粧パターンは、三次元顔モデルだけでなく、二次元の顔画像処理にも応用可能です。

図1 提案手法による化粧付き顔画像の分解と化粧パターンの抽出例。上段は入力画像とレンダリング画像の重畳表示 (左から素肌のみ、素肌＋化粧、素肌と拡散シェーディングの乗算、さらに光沢成分を加算)、下段は分解で得られた各マテリアルの UV テクスチャ表現。

アプローチ

図2に示すように、提案手法は、1) 顔画像への 三次元顔変形モデル（3DMM）当てはめによる粗いマテリアルの推定、2) 逆レンダリングによるマテリアルの高精細化、3) 化粧転写技術を活用した素肌成分と化粧成分の分離、の3つのステップで構成されています。ステップ１では、三次元顔復元手法 [1] を拡張し、鏡面反射の取り扱いを可能としています。次にステップ2では、ステップ1で得られた粗いマテリアルを初期値とし、逆レンダリングに基づく最適化によって詳細なテクスチャ情報を復元します。最後にステップ3では、高精細な拡散アルベドを入力として、素肌成分と化粧成分を分離します。

図2 提案手法の処理の流れ。まず、三次元顔復元ネットワーク F RN を用いて、粗いマテリアルを推定します。次に、UV展開したテクスチャTuには欠損が生じているため、UV テクスチャ補完ネットワーク DSD-GAN [2] を適用し顔全体のテクスチャを得ます。その後、最適化処理によって高精細マテリアルを得ます。最後に、化粧抽出ネットワーク E を用いて、高精細な拡散アルベドから素肌、化粧、アルファマットを抽出します。

実験結果と応用例

照明効果を考慮した化粧転写

提案手法は抽出された化粧パターンを用いて、アルファブレンディング基づき新しい化粧のテクスチャを合成します。この合成テクスチャをレンダリングし、元画像に重畳表示することによって、化粧転写を実現できます。図3に，元画像と参照画像とで照明条件が異なる場合の化粧転写の結果を示しています。従来手法と比較し、提案手法では照明効果の影響を受けずに、化粧の転写を実現できています。

図3 照明条件が異なる場合での化粧転写結果。元画像の照明効果を維持しながら、参照画像の化粧を転写しています。左から順に、(a) BeautyGAN [3]、(b) PSGAN [4]、(c) CPM [5]、(d) SCGAN [6]、 (e) EleGANt [7]、 (f) 提案手法の結果。

照明効果を考慮した化粧の補間と除去

既存の化粧転写手法では、化粧補間を行う際に参考画像が必要となります。図4に示すように、提案手法は参照画像を必要としない化粧の補間と除去を実現できます。また、提案手法により、照明効果を維持しながら化粧を自然に補間できます。上段は、照明効果を含む顔画像に対する化粧の補間・除去結果を示しています。照明効果を変化させずに化粧の濃淡を調整できています。中段は、化粧の補間時のアルファマットの変化の様子を示しています。また、照明効果と化粧を分離したことにより、下段に示している通り、化粧を調整しながらの再照明が可能となります。

図4 照明を考慮した化粧の補間と除去。左から右へ行くにつれて徐々に化粧が除去されていく。

化粧付き顔画像からの三次元顔復元

提案手法を用いて化粧付き顔画像データセットから収集したテクスチャに対して、PCA に基づく化粧パターンの統計モデルを構築しました。化粧の PCA モデルを用いて化粧付き顔画像の三次元復元を行った結果を図5に示しています。化粧モデルを使用しない結果と比較し、口紅やアイシャドウ部分を忠実に再現できていることが確認できます。

図5 化粧の PCA モデルを用いて 3DMM の拡散アルベドモデルを拡張し、三次元復元に適用した結果。復元した三次元顔モデルの忠実度が大幅に向上しました。

おわりに

本研究では、一枚の化粧画像から三次元表現（UVテクスチャマップ）に基づく化粧を抽出する手法を提案しました。また、論文中では、照明効果を考慮した化粧の転写、補間、除去といった新しい応用を実現しています。さらに、化粧パターンが UV テクスチャという統一された表現で抽出されることを利用し、大規模な化粧テクスチャデータセットと PCA に基づく化粧モデルを構築しました。この化粧モデルを活用することによって、化粧付き顔画像より忠実度の高い三次元復元を実現できました。顔、化粧の三次元復元にご興味のある方は、お気軽にお問い合わせください。本研究で構築したデータセットやコードは、プロジェクトページで近日中に公開予定です。

[1] Deng et al., “Accurate 3D Face Reconstruction With Weakly-Supervised Learning: From Single Image to Image Set”, In CVPRW, 2019.
[2] Kim et al., “Learning High-Fidelity Face Texture Completion without Complete Face Texture”, In ICCV, 2021.
[3] Li et al., “BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”, In ACM MM, 2018.
[4] Jiang et al., “PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer”, In CVPR, 2020.
[5] Nguyen et al., “Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer”, In CVPR, 2021.
[6] Deng et al., “Spatially-Invariant Style-Codes Controlled Makeup Transfer”, In CVPR, 2021.
[7] Yang et al., “EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer”, In ECCV, 2022.

LayoutDM: Discrete Diffusion Model for Controllable Layout Generation 
Naoto Inoue, Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi

はじめに

レイアウト生成は、コンテンツ生成のために「どこに」「何の要素を」配置すべきかのパターンを提示する基盤技術であり、バナーやスライド、ポスターなどといったグラフィックデザインの生成への応用が期待されています。近年の研究では実際にデザインを行なっていく上で大事な、ユーザの大まかで多様な指示に忠実に生成する「制御可能」な生成に着目した設定が多く提案されてきました（各設定の詳細に関しては昨年のサーベイブログ「レイアウト生成の研究紹介」をご覧ください）。いくつかの設定例を図1に示します。我々の研究は各設定に特化したニューラルネットワークを学習する従来手法と違い、全設定の生成を単一モデルで実現しました。

図1: LayoutDMがカバーする、制御可能な生成の設定例。Refinement はnoisyな観測が得られる時にレイアウトを微調整するタスク。

提案手法: LayoutDM

LayoutDMの要点を説明します。レイアウト情報は位置とカテゴリの情報を要素数個分持ちますが、図2のようにこれらを全て離散変数として表現し一次元の配列のようにみなします。拡散モデルは連続変数用のモデル (例: [1]) が有名ですがLayoutDMは離散変数用のモデル [2] をベースにしており、順過程では事前に定められたスケジュールで徐々にデータにノイズを加えていきます（実際には変数値がランダムなトークンに入れ替わったり、特殊なトークンに入れ替わったりします。）。逆過程では、現在わかっている情報を手掛かりに、より自然なレイアウトを推定することを繰り返して自然なレイアウトを生成していきます。逆過程は実際にはニューラルネットワークで表現され、事前にレイアウトのデータセットを用いて学習されます。テスト時のみ、我々は逆過程の各ステップにおいて、ネットワークの予測をユーザ指示によって補正することで（図2の赤字部分）、生成を制御可能にします。色々な指示の種類がありますが、それらが全てmasking と logit adjustment という2種類の方法で補正として表現出来るのが興味深い点です。

図２: LayoutDMの概要。初期レイアウトと実際のレイアウトの間の順過程（右→左）・逆過程（左→右）が表示されている。各ステップでは上部にそのステップでのレイアウト、下部にそのレイアウトを表現する離散変数の一次元配列を表示している。 M は BERT [3] などで有名な mask token という特殊トークンを表している。

そもそもどうやって位置情報を離散変数にするのか、変数にノイズを加えるスケジュール、逆過程をモデリングするニューラルネットワーク構造、既存手法との違いといった詳細情報はぜひ論文をご覧ください。

実験結果

実験では、提案手法が既存の様々な設定の生成問題において、タスク特化型のモデルに近い、もしくは同等の生成クオリティを実現することを定性・定量的に確認しました。その例を図3に示します。実際のレイアウトとの類似度に加え、左右が揃っているか，不必要に要素同士が重なっていないかなどの観点からもLayoutDMが良い生成をしていると考えられます。

図3: ユーザ入力が与えられた時の生成結果の比較。Realは実際のレイアウト。左はRico [4]というMobile UIデータセットでの、右は PubLayNet [5] という論文のデータセットでの結果。C→S+P はカテゴリが与えられた時に位置とサイズを当てる設定。C+S→P はカテゴリとサイズが与えられた時に位置を当てる設定。Completionは幾つかの要素がわかっている時に残りを埋める設定。

LayoutDMは拡散モデルベースなので、生成にかけるステップ数は調整が可能で、生成の質と速度のトレードオフ関係を調整することができます。図4では、カテゴリとサイズ情報が入力として与えられた時にレイアウトを生成するタスクにおいて、様々な手法の生成の質と速度を比較したグラフです。提案手法であるLayoutDMが概ねベストであることがわかります。

図4: 推論ステップ数を変化させた時の精度とのトレードオフ（Category + Size → Position）。FIDは低い方が良い生成結果であり，点・線が左下に行くほど良いモデルであることを表す。

おわりに

本研究では拡散モデルをベースにした、制御性の高いレイアウト生成モデルを提案しました。副次的な入力 (例: バナーの背景画像) も考慮に入れたレイアウト生成、画像やテキスト、詳細なスタイリング情報 (例: フォント) も含めた生成など、様々な拡張が考えられます。弊社では博士課程の学生を対象にリサーチインターンシップを募集しています。このような研究に興味を持たれた方はぜひ私たちに声をかけてみてください、一緒に研究しましょう。

参考文献

[1] Ho et al., “Denoising diffusion probabilistic models”, In NeurIPS, 2020.

[2] Austin et al., “structured denoising diffusion models in discrete state-spaces”, In NeurIPS, 2021

[3] Devlin et al., “Bert: Pre-training of deep bidirectional transformers for language understanding”, In NAACL, 2019.

[4] Deka et al., “Rico: A mobile app dataset for building data-driven design applications.”, In UIST, 2017.

[5] Zhong et al., “PubLayNet: largest dataset ever for document layout analysis.”, In ICDAR, 2019.

Generative Colorization of Structured Mobile Web Pages [code & dataset]
Kotaro Kikuchi, Naoto Inoue, Mayu Otani, Edgar Simo-Serra, Kota Yamaguchi

はじめに

色彩は、Webページの視覚コミュニケーションにおいて重要な役割を担っており、閲覧者の感情やアクセシビリティに影響を与えることが知られています [1]。WebページはHTML文書とCSSで主に構成され、その色付けはデザインに関する知識や経験を要する専門性の高いタスクです。テキストのコントラストや全体的なカラーバランス、色の意味的な使い分けといった暗黙的なデザイン要件を満たしつつ、Webページが与える印象などのクライアントの要望を満たす視覚表現を探索することは難しいです。本研究では、機械学習によって既存のWebページから色付けパターンを学習し、Webページに自動的に色を付与する方法について提案しています。自動的な色付けによって、デザイン案の効率的な探索やWebデザインの自動化といった応用が期待されます。

図1: Webページ色付けのコンセプト図

色付けタスクといえば画像着色？

それでは、Webページの色付けを機械学習の問題に落とし込むにはどうすれば良いでしょうか？コンピュータビジョンやコンピュータグラフィックスの分野では、白黒画像を入力として色付き画像を出力する画像着色というタスクがあり、これまでに多くの手法が検討されてきました [2]。Webページの色付けを画像着色の問題として考えることもできますが、入力の白黒画像を必要とすること、出力画像の輝度が入力によって制限されること、CSSで利用するために出力から色を抽出する必要があること、という点から、Webページの色付けには不向きであると考えます。本研究では、Webページ上の要素の内容と階層的な構造が与えられ、各要素のカラースタイル（CSSにおける”color”と”background-color”）を生成する問題としてWebページの色付けを定式化しています。これにより、生成時に白黒画像を必要とすることなく、生成結果をCSSで直接利用することが可能になります。

図2: Webページのデータ構造と色付けタスクの入出力

Webページ色付けの新たなデータセット

上述の定式化は新しい試みであり、手法の検討や評価に利用できるデータセットはありませんでした。そこで我々は、表現学習のために収集されたモバイルWebページのデータセット [3]をベースとして、新たなデータセットを構築しました。実際のWebページは非常に複雑で、冗長な要素を多く含むため、そのまま利用することは学習効率の観点から現実的ではありません。我々は図3のような単純化処理によって、機械学習で現実的に扱える複雑さのデータにWebページを変換しています。

図3: 単純化処理前後のDOM要素の可視化とスクリーンショット。ファーストビューに貢献しない要素を取り除くことで、要素数は平均して1656から61に削減される。

画像着色との比較

このタスクを解くために、Conditional VAEに基づく手法を提案しています。提案手法の詳細については割愛しますが、要素間の階層関係を捉えるためにメッセージパッシングを適用している点が主な特徴です。最近の画像着色手法 [4]と提案手法の比較を図4に示します。画像着色手法は、対応するピクセル数の少ない要素から色を抽出することに失敗しています。また、どちらの着色結果も背景が緑がかった薄い灰色をしており、入力画像に制限されて一定の輝度の色しか生成できていないことがわかります。一方、提案手法は出力の色空間が制限されないため、より多様なカラースタイルを生成することに成功しています。

図4: カラースタイル生成の定性的結果。一番左は白黒のスクリーンショットを着色した画像であり、その他は生成したカラースタイルが適用されたWebページのスクリーンショットである。

おわりに

本研究では、Webページの自動スタイリングに向けた第一歩として色付けタスクに取り組みました。問題の定式化やデータセットの構築、最近の技術動向を踏まえた手法の提案など、初期的な検討は済ませましたが、冒頭で挙げた難しさの解決には至っておらず、まだまだ多くの仕事を必要としています。生成結果の品質にも改善の余地があります。例えば、同じスタイルが適用される要素グループを推定し、そのグループに対してスタイルを生成するなど、CSSセレクターの仕組みに沿ったモデリングを施すことで、より一貫性のある生成が可能になるかもしれません。弊社では博士課程の学生を対象にリサーチインターンシップを募集しております。こうした研究にご興味のある方はぜひ一緒に研究しましょう。

参考文献

[1] Dianne Cyr, Milena Head, and Hector Larios. “Colour appeal in website design within and across cultures: A multi-method evaluation.” International journal of human-computer studies 68.1-2 (2010): 1-21.
[2] Saeed Anwar, et al. “Image colorization: A survey and dataset.” arXiv preprint arXiv:2008.10774 (2020).
[3] Alexandra Hotti, et al. “The Klarna Product Page Dataset: A Realistic Benchmark for Web Representation Learning.” arXiv preprint arXiv:2111.02168 (2021).
[4] Manoj Kumar, Dirk Weissenborn, and Nal Kalchbrenner. “Colorization transformer.” International Conference on Learning Representations (2021).

BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction
Xingchao Yang, Takafumi Taketomi

図1 左から入力画像，化粧および照明効果を除去した画像，3D顔モデルの復元とレンダリング結果．

研究のアイデア

顔画像中の化粧を除去するための一つの方法として，化粧転写技術を用いることができます．一般に，化粧転写技術では，参照用の顔画像を用意し対象となる顔画像に参照用顔画像の化粧を転写します．このとき，化粧を施していない顔画像を参照用画像として指定することで，顔画像中の化粧を取り除くことが可能です．しかしながら，既存の手法では，照明の効果が考慮されていないため，化粧除去後の画像にハイライトなどの情報が残ってしまいます．このような照明情報は，正規化されたテクスチャマップの生成の際に問題となります．そこで，本研究では，顔のパラメトリックモデルである3D Morphable Model (3DMM)を活用することで，化粧の除去と照明効果の除去を同時に実現することを可能としました．また，3DMMを活用することによって，提案手法では参照用の顔画像を推論時に用いることなく，化粧の除去が可能となっています．

BareSkinNet: 3DMMを活用した化粧と照明の除去ネットワーク

図2にBareSkinNetの概要を示しています．BareSkinNetは化粧と照明の除去を行うネットワークGと3DMMを当てはめることによって顔画像から3Dの顔を復元するネットワークE, Fから構成されています．学習には，化粧を施す前後のペア画像が含まれているLADN Dataset [1]を用います．ポイントは，化粧と照明を除去した画像（bare skin image）に対しては，Spherical Harmonics (SH)による照明を利用せずに3DMMをレンダリングした画像との損失を計算し，化粧前のreference imageに対してはSHによる照明を施したレンダリング画像との損失を計算しているところです．これにより，照明効果の除去と化粧の除去を同時に実現しています．また，工夫として，LADN Datasetに含まれる顔画像は少数であるため，大規模な顔画像データセットで学習済みの3D顔復元ネットワークFをガイドとして用いることで安定した学習を実現しています．

図2 BareSkinNetの概要．BareSkinNetは化粧と照明効果を除去するネットワークGと顔の3D復元を行うネットワークE, Fで構成される．ネットワークFには事前学習済みのネットワークを用いることで，学習の安定化を図っている．

既存手法との比較

代表的な化粧転写手法との比較結果を図3に示します．ここでは，特に濃い化粧が施されている顔画像に対する結果を示しています．ほとんどの手法では，処理結果の画像に化粧の影響が残っていることが確認できます．また，LADN [1]では，一見化粧の影響を取り除くことができていますが，参照している画像の影響を受けて新たな照明効果やハイライトが生じていることが確認できます．一方で，提案手法では，化粧および照明効果の両方が除去できていることが確認できます．

図3 化粧および照明効果の除去結果の比較．

3次元顔モデルのためのテクスチャマップ生成への応用

応用として，BareSkinNetによって出力されたbare skin imageと顔の3次元復元結果を用いて，高精細なテクスチャマップの生成を行いました．ここでは，図4に示すように，画像変換の技術を用いて，入力画像からサンプルされたテクスチャと3DMMから取得されるマップを入力とし，4K解像度のdiffuse, normal, roughness, specularのテクスチャマップの生成を実現しています．テクスチャ生成のネットワークの学習には，独自に取得した日本人女性200名のスキャンデータを利用しています．このネットワークで生成されるテクスチャマップを用いることで，図1の右に示すようなフォトリアルなモデルのレンダリングが可能となります．

図4 BareSkinNetから出力された化粧と照明効果が除去された画像と3D顔復元結果の情報から，物理ベースレンダリングで用いられるdiffuse, normal, roughness, specularの4Kテクスチャマップを生成する．

まとめ

この研究では，3DMMを活用することによって顔画像中の化粧と照明効果を同時に除去する手法の提案を行いました．実験を通して，我々が提案する手法は，既存の手法よりも安定して化粧および照明の影響を除去することができることを確認しました．本ブログでは，論文の概要についての紹介となっているため，ご興味のある方はぜひ論文を読んでいただきたいと思います．

[1] Qiao Gu, Guanzhi Wang, Mang Tik Chiu, Yu-Wing Tai, Chi-Keung Tang, “LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup”, Proceedings of the IEEE International Conference on Computer Vision, pp. 10481-10490, 2019.
[2] Tingting Li , Ruihe Qian , Chao Dong , Si Liu , Qiong Yan , Wenwu Zhu , Liang Lin, “BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network”, Proceedings of the ACM international conference on Multimedia, pp. 645-653, 2018.
[3] Wentao Jiang, Si Liu, Chen Gao, Jie Cao, Ran He, Jiashi Feng, Shuicheng Yan, “PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer”, Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5194-5202, 2020.
[4] Han Deng, Chu Han, Hongmin Cai, Guoqiang Han, Shengfeng He, “Spatially-invariant Style-codes Controlled Makeup Transfer”, Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 6549-6557, 2021.
[5] Chenyu Yang, Wanrong He, Yingqing Xu, Yang Gao, “EleGANt: Exquisite and Locally Editable GAN for Makeup Transfer”, Proceedings of European Conference on Computer Vision, 2022.

はじめに

AI Labの井上です．AI Labでは広告表現，特にバナー画像の自動生成技術の開発に取り組んでいます．バナー画像は一枚のラスタ画像として最終的には表現されますが，生成過程ではベクタ形式のデータを取り扱い，画像・テキスト・装飾など多種多様なレイヤーを適切に配置することを考えなければなりません．今回はその基礎をなすレイアウト生成について，ニューラルネットワークを用いた最新の研究を紹介していきたいと思います．

レイアウト生成の問題設定とその代表的な手法

ここから紹介する研究の大半で生成するレイアウトのデータ形式を記しておきます．表記は LayoutGAN [1] に準拠します．レイアウトとは \(N\) 個の要素から構成された集合 \( \{(p_{1}, \theta_{1}), \ldots, (p_{N}, \theta_{N})\}\) と表現されます．各要素は位置情報を表す \( \theta \) とカテゴリ情報を表す \( p \) からなります． \( p \) はデータのドメインに依存します．例えばPubLayNet [2] という論文データセットのレイアウトであれば「文章」「表」「図」などがカテゴリとして挙げられます．

生成の手法は大きく分けて conditional / unconditional generation の２つに分けられます．前者では要素数・メタデータ・要素間の関係性などの条件を入力に，その条件を満たしたレイアウトを生成します．後者ではそのような制約はありません．

Unconditional generation

レイアウトは本質的には集合 (set) ですが，適当に順序をつけて列 (sequence) とみなすことで，自然言語処理分野で目まぐるしく発展している文章生成技術を (ほぼ) そのまま用いることが出来ます．特に，Transformerベースの生成が非常に良く用いられています．

LayoutTransformer [3] では，Transformerを用いた自己回帰型モデルを用いてレイアウトの各要素を一つづつ順番に生成します．元々のテキスト生成モデルではカテゴリ変数のシーケンス生成を対象にしているので，位置情報を離散化することでレイアウト生成に応用しています．生成順は固定（例: raster scan order）ですが，良いクオリティの生成が実現されています．論文では，デザイン系のデータだけでなく，自然画像中のオブジェクト配置や3D物体生成等でも全く同じ原理で生成できる事を示しています．

LayoutTransformerのアーキテクチャ（図は元論文から引用）

Variational Transformer [4] では，生成モデルの一つである Variational AutoEncoder を，Transformerを使うことでレイアウト生成に応用しています．Jiang et al., [5] では，レイアウトが多くの場合は木構造で元々表現されていた（例：webページのDOM tree）ことに注目して，下図に示すようにまず大まかな領域レイアウトを生成したあとで各領域の要素配置パターンを生成する，二段階の手法が用いられています．

Jiang et al., [5] のアーキテクチャ（図は元論文から引用）

Conditional generation

Unconditional generation は大まかなデータ分布を理解するのには役立ちますが，ユーザが所望するようなレイアウトの実現にはそのまま使えません．conditional generation では様々な制約を入力としてレイアウトの生成を行います．

最初に行われたのは，カテゴリ情報をネットワークの入力に与える生成です．

LayoutGAN [1]では，推定されたレイアウトの良さをGenerative Adversarial Network (GAN) によって判別することで，ニューラルネットワークを用いたレイアウトのconditional generationを初めて実現しました．

LayoutGANのアーキテクチャ（図は元論文からの引用）

カテゴリ情報以上の情報を入力に追加することでよりユーザの意図により忠実な生成を行う研究も出てきています．

NDN [6] では，要素やキャンバス全体の位置やサイズの関係を明示的に入力として取り込んだ上での生成に取り組んでいます．Graph Neural Networkによって要素間で情報をやり取り，refinement moduleで人間の目に違和感を生じさせがちなoverlapやalignmentといった特徴を補正，などといった工夫が多く取り込まれています．

NDNのコンセプト（図は元論文からの引用）

Attribute-conditioned Layout GAN [7] では読み順・要素の大きさの比・要素の縦横比といった比較的直感的・もしくは定義から自動的に定めることのできる細かな要素を追加入力とすることに取り組み，自然な見た目のバナーレイアウトを生成することに成功しました．

CLG-LO [8] では [7] と対照的に，学習済みの条件付き生成モデルがある時に，post-optimizationとして前述の関係性を満たすような生成モデルのlatent codeを探す探索問題とする新しい方向性の研究が行われています．

課題

ここまで議論してきたように色々な技術が開発されていますが，まだまだ多くの課題が存在します

解の多様性

生成されたサンプルは，実物と見間違うクオリティのものもありますが，[9] によるとconditional generationでは同じ条件を入力にレイアウトを複数生成すると，本来色々な種類が出るべきところなのに似すぎてしまう，等の問題が報告されています．多様な生成を実現する手法やそれを可視化するための評価指標の開発等が求められています．

レイアウトの定義

本稿ではレイアウト情報は位置とカテゴリ情報のみを扱っていますが，例えばバナー画像の自動生成を目標とするなら，そこに実際に挿入される画像・テキストといった情報やフォント等の細かなスタイリング情報も同時に考慮できることが望ましいです．CanvasVAE [10] はその方向で先駆的な研究をしていますが，マルチモーダル情報のモデリングは難しいことが同時に示唆されています．また，[5] のように構造化されたデータ形式を扱うことも，webページのようなより複雑なレイアウトを考えていく上では必須になってくるものと考えられます．

おわりに

レイアウト生成というと画像や文章の生成に比べると非常に簡単だというイメージを持たれるかもしれませんが，実際には本記事で議論してきたように様々な難しさや研究の方向性が存在します．Autoregressive Flow や Diffusion Model など最新の生成モデルと組み合わせたり，GPTに代表されるような万能型のマルチタスクモデルを構築するのも面白いかもしれません．このようなトピックに興味のある方は，ぜひ私たちに声をかけてみてください．

参考文献

[1] LayoutGAN: Generating graphic layouts with wireframe discriminators, Li et al., ICLR 2019.

[2] PubLayNet: largest dataset ever for document layout analysis, Xu et al., ICDAR 2019.

[3] Layout Generation and Completion With Self-Attention, Gupta et al., ICCV 2021.

[4] Variational transformer networks for layout generation, Arroyo et al., CVPR 2021.

[5] Coarse-to-Fine Generative Modeling for Graphic Layouts, Jiang et al., AAAI 2022.

[6] Neural Design Network: Graphic Layout Generation with Constraints, Lee et al., ECCV 2020.

[7] Attribute-conditioned Layout GAN for Automatic Graphic Design, Li et al., TVCG 2020.

[8] Constrained Graphic Layout Generation via Latent Optimization, Kikuchi et al., ACMMM 2021.

[9] Diverse Multimedia Layout Generation with Multi Choice Learning, Nguyen et al., ACMMM 2021.

[10] CanvasVAE: Learning to Generate Vector Graphic Documents, Yamaguchi et al., ICCV 2021.

27th Annual Conference on Intelligent User Interfaces (IUI2022)は、2022年3月21日（月）〜3月25日（金）に開催されました。今年はZoomやDiscordを活用したオンライン形式で開催されました。

本記事は、その参加報告となります。

開催概要

IUIはユーザインタフェースに関する国際会議で、主にヒューマンコンピュータインタラクション（HCI）と人工知能（AI）の融合点に位置する研究コミュニティのための会議です。2022年は全体で44の国から253件の投稿があり、62件のPapersが採択されました（採択率25%）。地域別の著者の割合は下図のようになっており、North Americaが半分以上を占めていました。また、26件のPoster and demosが採択されました。参加登録者は386名（America: 44%, Europe: 36%, Asia: 14%, Middle East: 5%, Other: 2%）でした。

(図は会議のOpening Ceremonyより引用)

会議のTechnical Programとして11セッションがあり、非常に幅広い研究トピックを扱っていました。さらに、Intelligent Healthy UI / Adaptive and Personalised Explainable UI / Human-AI Co-Creation with Generative Models / Humanize / Transparency and Explanations in Smart Systems / SocializeというWorkshopが設けられていました。また、Poster and demosセッションがあり、AI Labからは邱がこのセッションで研究発表をしました。

(図は会議のOpening Ceremonyより引用)

AI Labからの発表

AI Labからはクリエイティブ制作に向けた配色推薦に関する研究を発表しました。

本研究は「An Intelligent Color Recommendation Tool for Landing Page Design」というタイトルで、広告ランディングページ（LP）における広告効果を考慮した配色推薦と色変換に関する研究です。広告LPとは、検索結果や広告などを経由して訪問者が最初にアクセスし、商品の注文や問い合わせなどのアクション(Conversion) へと誘導するページです。本研究では、BERTのようなモデルを適用して、広告効果予測を伴う色推薦モデルを学習します。広告LPの色変換システムを通じて、元のカラーパレットに応じた推薦色を広告効果に基づいて取得し、推薦された色から新たなカラーパレットを生成してLPの配色を変換します。

オンラインマーケティングにおいて、フォームへの誘導や商品のカートへの追加などの行動を喚起するCall-to-Action (CTA)は、Conversionを最大化させる上で重要です。本研究では、ケーススタディとして、CTAエリアの色を調整するシステムを実装し、システムの使いやすさと色推薦及び色変換の有効性についてプロのデザイナーに評価してもらいました。結果として、ほとんどのデザイナーが推薦された配色案に使える色があると評価しました。

また発表の際には、Zoomを通して多くの方からご質問やコメントをいただきました。貴重なご意見を頂きありがとうございました！

関連研究・興味深かった研究

私が発表を聴講した／論文を読んだ研究の中で、特に興味深かった研究発表を紹介します。

Colorbo: Envisioned Mandala Coloring through Human-AI Collaboration

– Eunseo Kim, Jeongmin Hong, Hyuna Lee, Minsam Ko

(図は元論文より引用)

この論文は、Colorboというマンダラ塗り絵を着色するため、人間とAIのコラボレーションに基づくインタラクティブシステムを提案しました。ユーザーは進行中の色付きのマンダラを表示し、Colorboはユーザーの画像のパターンと色の組み合わせを分析して残りの領域を塗りつぶします。次に、Colorboは、ユーザーが着色している​​紙に完全なマンダラ画像を投影し、ユーザーはColorboからの画像に基づいて結果を想像することによって着色を続けます。

この研究では、上図のColor Selectionについて、自然言語処理のfastTextと同様の方法で色埋め込みモデルをトレーニングします。ここで、私たちの研究同様に、色の表現学習の問題では、色を単語として、 カラーパレットは文として扱います。この研究は、一つのカラーパレットでマンダラ画像全体の配色を表現しますが、私たちの研究では、複数のデザイン要素から抽出された複数のカラーパレットにおける色を分散表現に変換する点で異なります。

Interpretable Aesthetic Analysis Model for Intelligent Photography Guidance Systems

– Xiaoran Wu

(図は元論文より引用)

この論文は、ハイパーネットワークを使用して、各美的属性スコアの組み合わせとして全体的な美的評価を学習しています。さらに、属性スコア推定器に注意機構（attention mechanism）を導入しています。ユーザーが入力された写真のどの部分/要素が推定スコアにつながるかを正確に把握し、配色調和性や対称性などの詳細な評価、説明、提案を備えた写真ガイダンスシステムを次のように設計しています。

(図は元論文より引用)

Sponsor Session: Intelligent User Interfaces @ Meta Reality Labs

今回のプラチナスポンサー企業として、Meta Reality Labsから研究紹介がありました。ここでは、簡単に研究トピックをまとめます。主に、Intelligent InputとIntelligent Interfacesという二つのテーマがありました。

• Intelligent input

Wearable sensing

表面での2Dタップ検出できる手首に装着した音響センシングデバイス

Acustico: Surface Tap Detection and Localization using Wrist-based Acoustic TDOA Sensing. Gong et al. UIST 2020 (Paper, Video)

ElectroRing

指のピンチや指先と皮膚のタッチとリリースを検出できるリングベースの入力デバイス

ElectroRing: Subtle Pinch and Touch Detection with a Ring. Wolf et al. CHI 2021 (Paper, Video)

• Intelligent Interfaces

Intent to interact using gaze dynamics

VRでユーザーの視線データからユーザーの意図（アイテム選択）を予測するインタフェース

Towards gaze-based prediction of the intent to interact in virtual reality. John et al. ETRA 2021 (Paper)

Predicting Focus of Visual Attention

視線のダイナミックスに基づく将来の視線ターゲットを予測するモデル

Predicting visual attention using the hidden structure in eye-gaze dynamics. Lengyal et al. CHI 2021 workshop (Paper)

所感：

Metaverseは最近話題になっています。AR/VR分野におけるウェアラブルセンサーとユーザーインターフェースは非常に重要です。Meta Reality Labsは次世代のコンピューティング・プラットフォームを構築していくにあたり、ハードウェアとソフトウェアの研究開発をうまく進めています。VR/ARゴーグル市場を活性化させているといった報道も見られますが、手や体の動きを認識して機器の操作に利用するジェスチャー認識技術では、現時点で指でポイントとピンチしかサポートしているジェスチャーがまだ少ないと感じています。入力系システムの進化が期待されますが、メタバース事業を支えるVRやARの取り組みが軌道に乗る日はまだ遠そうです。

おわりに

IUIには今回初めて参加しましたが、人間とAIの協調に関する課題及びそのアプリケーションやツールの発表が多い印象でした。さらに、AIモデルの予測を人間に理解させるというモチベーションから、Explainable AIという説明可能なAIに関わる研究も多かったと感じました。また、企業からの研究発表ではその企業の技術的ビジョンが伺えるようなものもあり参考になりました。

AI Labでも基礎的な内容から実応用を強く意識したものまで幅広い研究プロジェクトに取り組んでいます。ご興味ある方はぜひ採用ページもご覧ください。

オンサイト会場の様子

SIGGRAPH Asia 2021全体概要

SIGGRAPH Asia 2021は冒頭でも書いた通り、オンサイトとオンラインのハイブリッド開催となりました。ハイブリッド開催はSIGGRAPHの歴史で初とのことです。オンサイトの会場は東京国際フォーラムで、ここは2018年のSIGGRAPH Asiaが開催された会場と同じです。会場内にはKeynote Talk、Technical Papers、Real-Time Live聴講のための部屋や企業展示、Emerging Technologiesなどの展示スペースが用意されていました。

Technical Papersのセッションでは、Zoomを用いて採択論文に関する紹介動画が流れた後、Zoomのチャット機能を用いて質問を受け付ける形で質疑応答が行われました。私が聴講したセッションに関しては、オンラインの参加者は多くても100名程度だったように思います。オンサイト会場も30-40名程度だったように思います。オンデマンドで発表動画が観れるようになっていると、多くの参加者は時差の問題もあるのでそれぞれが都合の良い時間帯に視聴するようになるんでしょうか。また、夏に開催されたSIGGRAPH 2021では各セッションの著者同士が議論する時間がありましたが、SIGGRAPH Asia 2021ではその時間はありませんでした。研究領域が近いトップレベルの研究者同士が色々と議論していることを聞くことはあまりないので、個人的に著者間でのパネルディスカッションは復活して欲しいなぁと思っています。

Emerging Technologiesの展示スペースでは、様々なデモ展示が行われていました。中でも高速に物体を追跡しながらプロジェクションマッピングを行う技術の展示が完成度が高く興味深かったです。というのも、これに関連する研究についてはいくつか論文を読んだことはあったのですが、実物を見るのは始めてで、実際に500fpsでプロジェクションが行われていると遅延をほとんど感じないということを実感でき感動しました。論文を出して満足するのではなく、実際に動くものを作って見せることでより説得力のある研究成果にすることが出来るのだと思いました。

上記のセッション以外にも様々なセッションがオンライン、ハイブリッドで開催されていましたが、特に良かったのは、各日に発表された内容について、座長を担当された日本の先生方が発表論文を解説する「Digging into the Technical Papers」のセッションです。これについては、配信無し、録画や撮影不可という条件で開催され、各発表に関して本音で印象などを語られていたのが新鮮でした。また、論文紹介をされた先生方のパネルディスカッションでは、「SIGGRAPHに論文を通すためには？」のようなお題で議論がなされており、とても参考になりました。ざっくりとまとめると、考え続けること、手を動かすこと、といった基本的なことを発表された先生方は当たり前のように行っているということだったかと思います。

スポンサー展示

冒頭にも書いた通り、SIGGRAPH Asia 2021でサイバーエージェントはゴールドスポンサーを務めました。スポンサー展示では、出張型3DCGスキャンカー「THE AVATAR TRUCK」を展示ブース内に持ち込み設備見学および予約制の撮影体験を実施しました。持ち込んだAVATAR TRUCKは会場内では一際目立っており、「あのトラックはなんだ？」と思って来た方が多くいらっしゃり集客効果抜群でした。また、用意した撮影体験の予約枠は全て埋まり、3日間で約30名ほどの方にスキャンの体験をして頂くことができました。体験して頂いた方の中には、国内の著名なコンピュータグラフィックスの先生方もいらっしゃり、スキャン技術に関する注目度の高さが伺えました。

展示ブースの様子

また、展示ブースでは、各日1‐2回、サイバーエージェントにおけるコンピュータグラフィックス技術の広告制作への応用に関する研究開発について紹介を行いました。コロナ禍で海外からの入国制限措置もとられている状況で来場者はかなり少ないんじゃないかと不安でしたが、各回10名ほどの方に集まって頂くことができ、誰も来ずに寂しい思いをするということが無く安心しました。ただ、久しぶりの対面での研究紹介だったこと、毎回知り合いの研究者が目の前に座っていること、でかなり緊張しました。。。

研究紹介の様子

研究発表ピックアップ

EyelashNet: A Dataset and A Baseline Method for Eyelash Matting

図は元論文より引用

論文タイトルの通り、まつげを検出するための方法の提案です。まつげなどはスキャンをした際にうまく復元することが難しくノイズになってしまうという問題があります。これは、我々のAVATAR TRUCKを使ったスキャンシステムでも同様の問題が生じており、この研究は我々のスキャンシステムの品質を向上させていく上でも重要な研究だと思いました。研究のアイデアはシンプルで、まつげに紫外線を当てた際に発行する物質を塗布しておき、通常の照明、紫外線照明の2種類の照明を当てて得られる画像の差分からまつげ領域を検出するというものです。この研究では、この撮影方法で取得したデータセットを用いて、まつげ領域のAlpha Matteを生成するネットワークについても提案しています。

Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control

図は元論文より引用

この研究では、多視点撮影した動画像から、アニメーション可能なフォトリアルなアバターを作成する方法を提案しています。人物の動きをCanonical spaceにマッピングするために人体のテンプレートモデルであるSMPLモデルを用いています。その上でNeural Radiance Fields (NeRF)を推定することで任意の視点の映像を生成しています。ただし、人体姿勢から形状・見た目へのマッピングは1対1対応でないため精細な映像を生成することが難しいという問題があります。この問題を解決するために、この研究では、中間表現として2Dのテクスチャマップを潜在変数として用いています。これにより、フォトリアルな映像の生成を達成しています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

図は元論文より引用

この研究では、動的なシーンに対するNeRF表現の提案を行っています。これまでにもNerfiesのように動的なシーンに対するNeRF表現は提案されているのですが、トポロジーが大きく変化するような場合（口を開くなど）にはうまくCanonical spaceへの変換ができないという問題がありました。そこで、このHyperNeRFでは、レベルセット法の考えを取り入れ、あらたにambient dimensionと呼ぶ新たな次元を追加した高次元空間でNeRF表現を学習しています。結果動画の中では、従来は困難であったクッキーが2つに割れるようなトポロジーが大きく変化するシーンに対しても高品質な新視点画像生成を実現できていることを確認できます。

おわりに

この2年間でオンライン開催の学会にはいくつか参加しましたが、移動の時間が無いため参加のし易さはあるもののなかなか他の参加者とコミュニケーションをとるのは難しいなと感じていました。今回、久しぶりにオンサイトで学会に参加して、知り合いの先生方などと他愛もない話をしたり、研究の話をしたり、近況について情報交換したりすることがあり、オンサイト参加ならではのメリットを再認識しました。また、デモ発表については、やはり画面越しに見るのに比べて圧倒的に実物を見た方がそれぞれの技術の良さが分かるように思います。COVID-19が早く収束し学会のオンサイト開催が復活することを願います。その際には、Technical Paperの発表者として登壇できるように、インパクトの高い研究課題にAI Labのメンバと取り組んで行こうと思います。