Interview

目指すはグラフィックデザインの理解と生成

菊池 康太郎 / 早稲田大学

Pocket

Interviewee

菊池 康太郎

早稲田大学

2018年より、早稲田大学実体情報学博士プログラム在籍、博士後期課程一年。インターンの成果として、国際会議のポスター部門へ投稿。 関心は、言語と画像が混在したマルチモーダル文書(グラフィックデザイン)の解析や創作支援

山口 光太

AI Lab

株式会社サイバーエージェントAI Lab研究員.コンピュータビジョン,機械学習を用いたWebメディアの分析研究に従事. 現在はオンライン広告クリエイティブについて研究を進めている. 2014年から2017年まで東北大学大学院情報科学研究科助教.2014年米国ニューヨーク州Stony Brook大学にてコンピュータ科学のPh.D.取得.在学中Google Inc. エンジニアインターン,Johns Hopkins大学にて自然言語処理ワークショップ参加など研究活動に従事.2008年東京大学大学院情報理工学系研究科修士課程修了,2006年東京大学工学部計数工学科卒業.2017年,2016年,2015年MIRU優秀賞受賞.

 

今回は、7・8月の2か月間、”博士後期課程の学生を対象としたテーマ選択型の特別研究サマーインターンシップ”に参加された菊池康太郎さんへインタビューしました。
また、インタビューと合わせて、AI Labの主任研究員であり、今回サマーインターンの「広告クリエイティブの自動理解と生成」コースにて、メンターを務めている山口光太さんに、博士後期課程向けの本インターンシップについてをお聞きしました。

AI Lab のサマーインターンシップとは

AI Labでは博士後期課程の学生に向けてサマーインターンシップを開催しております(現在募集終了)。実際にAI Labの研究員と共に、AI 技術を用いて広告に関わる技術課題の解決に挑戦し、インターンシップのゴールとして、各学術分野の国際トップカンファレンスへの論文寄稿・採択を目指すことも可能です。採択された場合、渡航費などカンファレンス参加に関する費用は当社が全額負担いたします。AI Labでは、優秀な若手研究者が限られた期間において実務経験価値を向上させることができる機会を提供し、研究者育成に貢献したいと考えております。

2か月間のサマーインターンシップお疲れさまでした!
これまで大学で取組んでいたことを教えてください

早稲田大学基幹理工学研究科博士後期課程1年の菊池康太郎です。
これまでは、テキストの内容に沿った映像の検索や補助的な情報を利用することで未学習の物体の認識を行うゼロショット物体認識の研究に取り組んできました。どちらも自然言語処理とコンピュータビジョンの融合領域とも言える研究領域です。最近は、言語と画像が混在したマルチモーダル文書(グラフィックデザイン)の解析や創作支援に興味を持っています。

どのような経緯で AI Lab のサマーインターンを知りましたか?また、参加したきっかけを教えてください

サイバーエージェントが、理化学研究所の山田先生と一緒に広告クリエイティブ自動生成の研究に取り組んでいることをプレスリリースを見て興味を持ちました。その後、言語処理学会に参加した際、サイバーエージェントがブース出展していたので、具体的にどんな研究をしているのか、インターンシップはやっているのか、をその場で質問しました。

AI Labの研究員の方とお話をし、通年のインターンシップを実施していることを聞いていたので、2018年の夏頃にでも参加してみようかな、と考えていました。

そんな中、今回参加している博士サマーインターンのことはTwitterでバズっていて知りました。

元々インターンに行きたかったのと、募集されている研究テーマがちょうど自分が研究しているテーマと一致していること、参加時期も良いタイミングだったので、応募してみようと思いました。
また、個人的にサイバーエージェントが大量に持っている広告クリエイティブの制作過程のデータを触りたかったので、それも応募の理由となりました。

サマーインターンではどのような研究に取り組まれていましたか?

サマーインターンシップでは、広告クリエイティブ※の自動生成を実現する上で解決すべき課題の調査を目的として、バナー広告に含まれる人の画像を別人の画像に差し替えるタスクに取り組みました。

ポーズが似た画像を単純に持ってくるだけではうまくいかないので、人の性別や年齢、表情など、デザイナーがどのような観点からその画像を採用したかを考える必要があると感じています。

※クリエイティブ・・・動画、画像、テキストなどの素材を組み合わせて訴求メッセージが表現された広告制作物。バナー広告など。

クリエイティブの自動生成の研究は、デザイナーの方のお仕事とどのように関わっていくのでしょうか?

菊池:
クリエイティブの中でも、バナー広告の自動生成についてお話しますね。
バナー広告の自動生成に関しては、最近はピクセル単位で画像を生成する技術が盛んに研究されている印象を受けます。
人の顔画像や車載画像など、特定のドメインに絞って大量の画像を集めることができれば、高精細な画像を生成できるというのが現在の技術レベルだと認識しています。

バナー広告はドメインを絞ることがまず難しいので、現在主流となっている画像生成の技術を単純に応用することはできないと思います。
他にもバナー広告には、レイヤー構造があったり、テキストや図形などの要素が混在していたりと、これまでの画像生成系の研究で大々的に扱われてこなかった特性を持っています。
バナー広告の自動生成は、この構造的なデータをうまく扱えるかどうかが鍵かなと思っています。

個人的にはクリエイティブなものを作るデザイナーさんに憧れがありますね。自分にはそっち方面のセンスはあまり無いようなので(笑)
デザイナーのお仕事へのAI技術の関わり方でいうと、デザインにも単純な作業から想像力を必要とする作業までいろいろな段階があると思うので、その中で少しでもAIの技術を使って貢献できることがあれば嬉しいですね。ゆくゆくは、プロのデザイナーさんに使ってもらえるくらい洗練された技術を作っていきたいと思っています。

山口:
既存の素材の微修正や引用によってデザインをすることはAIでもできる可能性があります。

これからは、今と同じようにまったく新しいモノを創り出せたり、機械学習によるアシストを使いこなすデザイナーはさらに重宝されると思います。

サマーインターンで設定した研究テーマの背景や必要性について教えてください

山口:
今回のサマーインターンの研究テーマは、広告クリエイティブ※の自動理解と生成です。設定した背景として、PCやモバイルにおけるオンラインのデジタル広告市場が近年拡大を続けており、クリエイティブをより効率的に作る技術に大きな需要があります。

オンライン広告は、視認性が高いためユーザーに飽きられるスピードがものすごく早く、クリック率の低下が早い傾向があります。その為、制作側には大量のクリエイティブを短期間に作ることが求められます。しかし、日々配信されるとてつもない量のクリエイティブの全てを人の手で作るのは持続困難です。その課題をAIでどうにかできないだろうかと研究を進めています。

ただ、AIでやるにしても技術的に難しい部分があります。
AIと語られる、いわゆる機械学習というのは、与えられたものを分析する、または何かを推測することは得意です。ですが、「全く新規のものとして何かそれっぽいものをエラーなく生成する」ということが苦手です。AIは過去の作例をマネすることはできますが、過去と同じクリエイティブを作っても仕方がないのです。自動生成は、技術的にかなりチャレンジングですが、だからこそマーケットの需要あります。

だからこそ、現在 AI Labは、広告クリエイティブの自動生成に力を入れて研究しています。インターンの期間が短いので、商品化まで進めることは難しいですが、このインターンにおいても、実用可能な課題設定をした上でうまく機械学習を使った解決法を探ることを重要視しています。

サマーインターンに参加してみてどうでしたか?研究についての感想や、AI Labで経験されたことを教えてください

菊池:
クリエイティブの制作過程のファイル(PSDやSVG)は思っていた以上に複雑で、プログラム上で処理するのは非常に大変でした。

クラウドコンピューティングを用いた大規模データ処理(Google Cloud Platform)のノウハウを教われたのは良い経験でした。大学でパブリッククラウドを触る機会はそうそうないと思うので、企業のインターンシップならではの経験かなと思います。

2か月のサマーインターンはあっという間で、短い期間ではありましたが、なんとか対外発表できるところまで進められたことは、とてもよかったです。今回のサマーインターンにおける研究内容で論文を書いて、国際会議のポスター部門に投稿しています。

あとは、グループ会社で、AR / VRなど3Dコンテンツを制作しているAVATTA※との技術交流会に同行させてもらい、良い経験になりました。
全身を大量のカメラで撮影し、自分のCGモデルを作ってもらえました(写真:撮影風景)。CAのエンジニア・AI Lab研究員とAVATTA※の社長さんとのディスカッションにも参加させていただいたのですが、ビジネス視点から、どのような技術が求められているか、が少しは感じられた気がします。

※AVATTAとは・・・被写体(3次元の物体)を複数のアングルから撮影した2次元画像の静止画から、テクスチャを含む高精細な3Dオブジェクトを作成できる、フォトグラメトリー技術を用いて、AR(Augmented Reality)やVR(Virtual Reality)、3Dコンテンツなどの制作事業を手がけている企業。2018年4月にサイバーエージェントの子会社に。(ニュースリリース)

メンターの山口さんから見て、菊池さんの当初の印象やインターンを通しての変化を聞かせてください

山口:
インターンの企画当初から、博士課程の学生ということで、レベルが高い学生を想定していましたが、その想定どおり、非常に優秀な学生がきてくれて、ありがたかったです。

また、インターン当初から、研究チームにスムーズに溶け込んでくれたので、タスクを進める上でも助かりました。広告の生成という、大学では取り組むことのできないタスクに取り組んでもらいました。

2か月という短期間ながら、研究課題の設定から一緒に取り組んだため、初期のテーマ設定の考え方などで苦労していたようでしたが、結果的に、良い着眼点から実用的なテーマを見つけ、論文形式にまとめ上げるところまで持って行ってくれました。また、使うべきツールの使い方をすばやく身に付け、スムーズに研究を進めてくれました。

インターンを通じて、実務で必須となるエンジニアリング力をみるみる身につけ成長してくれたのではないかと思います。

菊池さんが今後、研究で取り組んでみたいことや分野を教えてください

菊池:
グラフィックデザインの理解や生成に関する研究は、OCR(光学的文字認識)や画像処理、画像認識の技術が成熟してきた今こそ取り組むべき研究だと考えています。

最近になって、広告画像の内容理解に関するワークショップ、ロゴの生成やインフォグラフィックの理解に関する研究など、関連する研究事例が出てき始めているのですが、世界的に見てもまだまだ知見の少ない分野だと思うので、やるべきことはたくさんありそうな気がしています。

今後もグラフィックデザイン制作に貢献するような技術開発を中心に研究を進めていきたいです。

山口:
今までデジタル広告業界では、クリックを予測するという観点を中心に機械学習が使われてきましたが、クリエイティブの制作という観点ではあまり使われてきませんでした。
広告クリエイティブに限らずデザインの自動生成というのは、これから様々な課題を探求して知見を蓄えるべき領域でしょう。

新しい物を機械学習を用いて作るということに関しても、技術開発という文脈で今後比較的長い間は、ホットな研究領域として続いていくのかなという気がしています。

菊池さん、山口さん、ありがとうございました。

関連記事