AI Labの大谷と大田です．12月４〜7日に東京国際フォーラムで開催されたSIGGRAPH Asia 2018に参加してきました．SIGGRAPH Asiaはグラフィックスの研究に関するカンファレンスです．研究発表だけでなく、新しいインターフェースやVR・ARシステムのデモ、CGアニメーションの上映会など、目を引く企画が４日間に渡って開催され、産業界からの注目も集めています．今年はサイバーエージェントの企業ブースの出展も行いました．このブログではSIGGRAPH Asiaで発表された研究のなかから、クリエイティブ制作に関連するものをいくつか取り上げたいと思います．

SIGGRAPH Asiaのマスコットデザインは公募で選ばれたらしいです．

グラフィクス系でもニューラルネットワークを使った手法が広く採用されている印象があります．その中でもpaGAN: Real-time Avatars Using Dynamic TexturesはGANによる顔画像生成を上手くアプリケーションに落とし込んでいます．

（デモビデオ）

この研究ではアクターの表情に合わせて動くリアルなアバターをたった１枚の画像から生成する手法を提案しています．頭部のテンプレート形状をアクターの動きに合わせて変形し、作成したいアバターの顔テクスチャを貼り付けて基本となる見た目のレンダリングをしています．これだけでは細かいシワや目・口内のテクスチャを綺麗に再現することは難しいので、それらディテールをGANを使って生成しています．デモビデオでは歯や目がかなり自然に描画されていることが確認できます．モバイル端末で動かすための高速化テクニックも多数組み込まれており、この手法を使ったアバターアプリはすでにApp Storeで配布されています．

線画の自動着色手法についてのTwo-stage sketch colorizationもGANを使った研究です．この研究ではこれまでの自動着色でよく見られた色の滲みを修正するニューラルネットワークモデルを追加することでより高品質な着色を試みています．こちらは以前からウェブ上にツール公開しており、発表の最後にはインターネットから取得した画像でライブデモを披露していました．まだ論文化していないようですが、独特なライティング効果をつける機能も公開しています（style2paints プロジェクトページ）．

SCORES: Shape Composition with Recursive Substructure Priorsは２つのオブジェクトから別々のパーツを組み合わせて、新しい形状を生成する研究です．この研究ではパーツのレイアウトを表現するための特徴空間の学習法とその特徴表現を使ったパーツのレイアウト調整のテクニックを提案しています．アプリケーションとして、3Dパーツを組み合わせた新しい形状の生成をしていますが、このアプローチ自体は２次元の画像にも適用することができそうです．デザイナーの作例から多様なレイアウトパターンを生成するなど広告自動生成への応用に可能性を感じます．

プロジェクトページから．(a)と(b)の色のついたパーツをもとに新しい形状(e)を生成しています．

また、サイバーエージェントとしてはExhibitionにて企業ブースの出展も行いました．

白を基調としたブース内では、これまでAVATTAで撮影をしたスキャンデータやARコンテンツなどを展示しながら、
AI Labによる研究内容及びCGチェンジャーが持っている技術の紹介、タレントCGの広告活用についてなど
様々なテーマ内容にてプレゼンテーションをしました．AI Labからは6日に山口より「Research projects at CyberAgent AI Lab」というタイトルにて研究の紹介をさせていただきました．

今回初めてSIGGRAPH Asiaに参加しましたが、多くの研究発表が完成度の高いデモを用意していることが印象的でした．研究者だけでなく、広く一般のユーザが試せるように作り込まれたものも多く、実際に使える技術の開発を重視していることが伺えます．コンピュータビジョン分野でもソースコードやデータを積極的に公開する文化はありますが、どちらかといえば研究の透明性の担保や、後続研究のための技術詳細の公開といった研究開発用途の側面が強いように思います．今後AI Labの研究成果も論文だけでなく、実社会で活用できるような形でのアウトプットを目指していければと思います．