Research
Creative Research

研究テーマ
広告クリエイティブの制作支援と自動生成
チームミッション
Creative Researchチームではクリエイティブワークフローの革新を目指して研究開発に取り組んでいます。バナー広告や動画広告などの広告表現の制作において、どういった視聴者層にどういった表現を届けるのかを適切に考慮することが、最終的な広告効果を左右します。しかし様々な要因が複雑に絡み合うデジタル広告の配信の中で、最終的な広告効果を織り込んで制作するのはクリエイターにとっては大きな挑戦となります。Creative Researchチームでは機械学習を用いて事前に広告効果に関連する要素をクリエイターに提示してワークフローを支援するような技術や、高品質なグラフィックデザインを自動生成するような技術開発に取り組んでいます。深層学習、画像認識、コンピュータグラフィックス、自然言語処理など複数の領域にまたがる研究に取り組み、クリエイティブ制作に変革をもたらすことを目指しています。
プロジェクト
① テキストのベクタ再構成
ラスタ画像からテキスト描画に関する情報を抽出し、ベクター形式の画像として再構成する研究に取り組みました。一度レンダリングされてピクセル表現になってしまったテキストを再構成するためには、テキストの検出と認識、色やフォントなどのスタイルの認識、背景画像の推定をしなければなりません。この研究で私たちは、これらの複合的な問題を解くための深層学習ベースの手法を開発し、高品質なベクターグラフィックス表現を再構成することができることを確認しました。本研究の成果は「FEED自動承認AI」サービスにて活用しています。
② デザインテンプレートの自動生成
クリエイティブ制作では解像度に依存しないベクター形式の画像が利用されます。この研究ではベクター形式の画像をそのまま取り扱うことのできる深層学習ベースのモデルを開発し、自動でデザインテンプレートを生成できることを実証しました。ベクター形式の画像は内部的に描画対象のキャンバスと画像やテキストなどの複数のレイヤー群から構成されていますが、我々がCanvasVAEと名付けた手法ではこれらを統一的に取り扱えるようなマルチモーダルな構造を持ったモデルでテンプレートを直接生成しています。
研究領域
機械学習 / コンピュータビジョン / 画像処理 / マルチメディア
所属メンバー
論文一覧
-
グラフィックデザインの教師ありレイヤー分解
コンピュータビジョン
MIRU2023
-
Text-to-Image手法を使用した広告画像生成と構図提案
コンピュータビジョン
MIRU2023
-
LayoutDM: Discrete Diffusion Model for Controllable Layout Generation
コンピュータビジョン
CVPR 2023
-
Towards Flexible Multi-modal Document Models
コンピュータビジョン
CVPR 2023
-
Structured State Space Decoder for Speech Recognition and Synthesis
音声認識
ICASSP 2023
-
Generative Colorization of Structured Mobile Web Pages
マルチメディア
WACV 2023
-
Aggregate Learning for Mixed-Frequency Data
経済学
2022 IEEE International Conference on Big Data Workshop The Fifth Workshop on Big Data for Economic and Business Forecasting
-
Towards Universal Multi-Modal Layout Models
コンピュータビジョン
MIRU2022
-
モバイルWebページの構造的な色付け
マルチメディア
MIRU 2022
-
Constrained Graphic Layout Generation via Latent Optimization
コンピュータビジョン
ACM Multimedia 2021
-
CanvasVAE: Learning to Generate Vector Graphic Documents
コンピュータビジョン
ICCV 2021
-
Modeling Visual Containment for Web Page Layout Optimization
レイアウト
Computer Graphics Forum (Pacific Graphics 2021)
-
ランク学習を用いた広告クリエイティブの配信優先度の推定
コンピュータビジョン
JSAI2020
-
Simple and Scalable Parallelized Bayesian Optimization
機械学習
NewInML forum (co-located with NeurIPS)
-
広告バナー画像への自動テキスト配置
コンピュータビジョン
MIRU 2019
-
画像の圧縮トレードオフ推定
コンピュータビジョン
MIRU 2019
-
Serif or Sans: Visual Font Analytics on Book Covers and Online Advertisements
コンピュータビジョン
ICDAR2019
-
Regularizing Adversarial Training for Single-shot Object Placement
コンピュータビジョン
MIRU2019
-
CycleGAN を用いた感情スタイル転送
コンピュータビジョン
JSAI 2018
-
深層学習によるFacebook広告のCTR予測
コンピュータビジョン
JSAI 2018
-
Emotional Style Transfer for Stock Assets
コンピュータビジョン
CVPR 2018 Workshops
-
Feedback-prop: Convolutional Neural Network Inference under Partial Evidence
コンピュータビジョン
CVPR 2018
-
Computer Vision meets Fashion
コンピュータビジョン
『映像情報メディア学会誌』2017年11月号「衣・食・住に入り込む先端メディア技術」(第2章)
-
End-to-end learning potentials for structured attribute prediction
コンピュータビジョン
MIRU2017 優秀賞発表文献, arXiv
-
人工知能による新しい広告クリエイティブ
その他
人工知能学会誌 Vol. 32 No. 4 (2017/07)
-
Recommending Outfits From Personal Closet
コンピュータビジョン
Computer Vision for Fashion Workshop (ICCVW), 2017
-
検索連動型広告におけるテキスト自動生成とその評価指標の検討
自然言語処理
JSAI2015