Research

Creative Research

研究テーマ

広告クリエイティブの制作支援と自動生成

チームミッション

Creative Researchチームではクリエイティブワークフローの革新を目指して研究開発に取り組んでいます。バナー広告や動画広告などの広告表現の制作において、どういった視聴者層にどういった表現を届けるのかを適切に考慮することが、最終的な広告効果を左右します。しかし様々な要因が複雑に絡み合うデジタル広告の配信の中で、最終的な広告効果を織り込んで制作するのはクリエイターにとっては大きな挑戦となります。Creative Researchチームでは機械学習を用いて事前に広告効果に関連する要素をクリエイターに提示してワークフローを支援するような技術や、高品質なグラフィックデザインを自動生成するような技術開発に取り組んでいます。深層学習、画像認識、コンピュータグラフィックス、自然言語処理など複数の領域にまたがる研究に取り組み、クリエイティブ制作に変革をもたらすことを目指しています。

プロジェクト

 

① テキストのベクタ再構成

ラスタ画像からテキスト描画に関する情報を抽出し、ベクター形式の画像として再構成する研究に取り組みました。一度レンダリングされてピクセル表現になってしまったテキストを再構成するためには、テキストの検出と認識、色やフォントなどのスタイルの認識、背景画像の推定をしなければなりません。この研究で私たちは、これらの複合的な問題を解くための深層学習ベースの手法を開発し、高品質なベクターグラフィックス表現を再構成することができることを確認しました。本研究の成果は「FEED自動承認AI」サービスにて活用しています。

 

② デザインテンプレートの自動生成

クリエイティブ制作では解像度に依存しないベクター形式の画像が利用されます。この研究ではベクター形式の画像をそのまま取り扱うことのできる深層学習ベースのモデルを開発し、自動でデザインテンプレートを生成できることを実証しました。ベクター形式の画像は内部的に描画対象のキャンバスと画像やテキストなどの複数のレイヤー群から構成されていますが、我々がCanvasVAEと名付けた手法ではこれらを統一的に取り扱えるようなマルチモーダルな構造を持ったモデルでテンプレートを直接生成しています。

研究領域

機械学習 / コンピュータビジョン / 画像処理 / マルチメディア

所属メンバー

山口 光太

山口 光太

Kota Yamaguchi

研究領域: Computer Vision

岩崎 祐貴

岩崎 祐貴

Yuki Iwazaki

研究領域: Multimedia

大田 和寛

大田 和寛

Kazuhiro Ota

研究領域: Multimedia

下田 和

下田 和

Wataru Shimoda

研究領域: Computer Vision

富樫 陸

富樫 陸

Riku Togashi

研究領域: 推薦システム / 連続最適化

鈴木 智之

鈴木 智之

Tomoyuki Suzuki

研究領域: Computer Vision

井上 直人

井上 直人

Naoto Inoue

研究領域: Computer Vision

吉本 暁文

吉本 暁文

Akifumi Yoshimoto

研究領域: 自然言語処理, 音声合成

野村 将寛

野村 将寛

Masahiro Nomura

研究領域: ハイパーパラメータ最適化

郡山 知樹

郡山 知樹

Tomoki Koriyama

研究領域: 音声情報処理

澤田 直輝

澤田 直輝

Naoki Sawada

研究領域: 音声認識

宮崎 晃一

宮崎 晃一

Koichi Miyazaki

研究領域: 音声合成

村田雅人

村田雅人

Masato Murata

研究領域: 音声合成

論文一覧