クリエイティブリサーチ | AI tech studio https://cyberagent.ai AI事業本部は、サイバーエージェントグループのデジタルマーケティング分野におけるサービス開発を行う組織です。 Sun, 29 Mar 2020 23:54:26 +0000 ja hourly 1 https://wordpress.org/?v=5.3.26 NLP2020 発表&参加報告まとめ https://cyberagent.ai/blog/pr/12546/ Sun, 29 Mar 2020 23:48:27 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=12546 こんにちは!AI事業本部 人事の鈴木です。
3/17-19に開催された言語処理学会第26回年次大会 (NLP2020)に、
AI tech studio所属の9人が参加・発表しました。

期間中は、聴講した発表についてSlackでわいわい議論していたり、
快適に参加するためのtipsを共有したり、最終日の発表に向けて工夫を凝らしたりと、
メンバーそれぞれにオンライン開催のメリットをうまく活用してとても楽しんでいました!

オンライン開催が決まってからの短い期間で素晴らしい年次大会を開催いただいた
運営の皆さまに感謝申し上げます。

今回も、参加メンバーが参加&発表報告をアップしています。
こちらのリンクからぜひご覧ください。

参加報告

言語処理学会第26回年次大会(NLP2020)へのオンライン参加
AI Shift 杉山@GIANT__TCR が、オンライン参加してみての気づきを初日の夜にまとめました。(速い!)

NLP2020参加報告(勝手にクロージング編)
AIクリエイティブDivisionの澤井が「勝手にクロージング編」と題して、
言語資源や自然言語生成を中心に印象に残った発表を紹介しています。
オンライン懇親会の様子も少しだけ公開。

言語処理学会第26回年次大会(NLP2020) 参加報告
AI Shiftの友松 @tomomatsu_yutaによる、NLP2020 の大会概要を含めた参加報告です。
過去最大規模の参加者がオンラインで参加した3日間の雰囲気が伝わってきます。

発表報告

言語処理学会第26回年次大会(NLP2020) 発表報告
「チャットボット運用における新規問い合わせ候補の抽出」について、AI Shiftの戸田 @Trtd6Trtdによる発表報告です。
発表中にいただいた質問とその回答もまとめています。

「スタイル制御を考慮した多様な広告文生成」発表報告@オンライン言語処理学会
20新卒内定者の川本 @shunyo_kによる発表報告です。
当日の発表内容と質疑に加えて、オンラインのメリットを最大限に生かした発表の工夫をまとめています。
広告文生成のデモ画面もこちらの記事で公開していますので、ぜひ試してみてください!

また、今回の年次大会に合わせてAI tech studioにおける自然言語処理の取り組みについて、
全体像をまとめたスライドを公開しています。
こちらも合わせてご覧ください!

今後もNLPチームの様々な取り組みをブログやtwitterで発信していきます
お楽しみに!
———————————————–
AI tech studioでは、オフィス見学やカジュアル面談を随時受け付けています。
興味をお持ちの方は、こちらのフォームからご連絡お待ちしております!

]]>
【NLP2020】ビジネス課題×NLPについてディスカッションしませんか? https://cyberagent.ai/blog/pr/12328/ Fri, 13 Mar 2020 08:55:13 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=12328 こんにちは!
AI事業本部 人事の鈴木です。

NLP2020の開催がいよいよ来週に迫ってきました!
現地開催は残念ながら中止となってしまいましたが、オンラインで引き続き発表の機会が
確保されてとてもうれしく思っています。運営の皆さま、ありがとうございます!

AI tech studioでは、広告クリエイティブやチャットボットをはじめとした
プロダクト開発における自然言語処理の応用に力を入れています。
昨年のYANS2019に引き続き、NLP2020でも各プロダクトでビジネス課題の解決に
挑戦してきた成果を発表します。
昨年までの現地開催と同じように、オンラインでもたくさんの方とディスカッションできると嬉しいです!

さて、今回は2件のポスター発表と、東京工業大学 岡崎研究室との共同研究について口頭発表が予定されています。

■発表予定一覧■ ※オンライン発表のURLは事前参加登録者のみ公開されています
<3/18(水):口頭発表>
9:00-10:20
D3-4「キャッチコピーにおける対句構造の解析」
○丹羽彩奈 (東工大), 脇本宏平, 西口佳佑, 毛利真崇 (サイバーエージェント), 岡崎直観 (東工大)
※東京工業大学 岡崎研究室とサイバーエージェントとの共同研究

<3/19(木):ポスター発表>
13:05-14:35
P6-14「スタイル制御を考慮した多様な広告文生成」
○川本峻頌 (明大), 張培楠 (サイバーエージェント)

P6-27「チャットボット運用における新規問い合わせ候補の抽出」
○戸田隆道, 友松祐太, 杉山雅和 (AI Shift)

3/18に口頭発表を予定している岡崎研究室との共同研究では、
「広告キャッチコピーの特徴分析と自動生成」をテーマとして、これまでに当社で作成した
キャッチコピーを中心とする大量のクリエイティブデータから
広告効果の高い表現を提案することや、広告キャッチコピー自動生成モデルの構築を目指しています。

▼AI Lab、広告キャッチコピーの特徴分析と自動生成に向けた研究強化へ 東京工業大学情報理工学院教授 岡崎 直観氏と共同研究を開始
https://www.cyberagent.co.jp/news/detail/id=22930

キャッチコピーには、商品や作品を端的に表現するために様々な修辞技法が用いられます。
本研究では、キャッチコピーで用いられる修辞技法の中でも比較的多く用いられている「対句」に着目し、
解析手法の提案を行いました。
今回は、これまで行ってきたキャッチコピーの分析やコーパス構築をもとにした
対句データセットの作成と、対句構造の特徴量を組み込んだ解析手法について東工大の丹羽さんが口頭発表しますので、
ぜひ聴講参加してください!

■ポスター発表
ポスターセッションは、1件ごとにオンライン会議室が割り当てられており、
発表時間の90分間は入退室自由となっています。
当日はたくさんの方とディスカッションできればと思いますので、
発表者の皆さんに、発表ポイントと当日ディスカッションしたいことを聞いてきました。
チャットや音声でぜひ話しかけてください!

————————
「チャットボット運用における新規問い合わせ候補の抽出」
AI Shift 戸田・友松・ 杉山

■発表概要
データサイエンティストの戸田・友松・杉山が、チャットボットの利用ログから
新しい回答候補を自動で生成する取り組みについて発表します。
チャットボットが回答できなかった質問を抽出し、新たな回答候補を作成する工程は
現状手作業で行われており、人の経験やテクニックに依存しています。
この工程の自動化に向けて、クラスタリングされた問合せから代表文を抽出するという手法を用い、
実サービスでの活用に向けて現在プロトタイプを作成しています。

■当日ディスカッションしたいこと
当日は、自然言語処理の実サービス応用に興味がある方とぜひお話したいです!
高精度なモデルは世の中にどんどん出ていますが、学習データ量の制限・実行速度という点で
うまく使えるのかは実運用の視点から見ていく必要があります。
最先端ではない手法でもサービスの改善に大きく貢献するという実運用ならではの面白さを伝えたいし、
逆に、最新技術をどのようにサービスに適用していくかもディスカッションできるとうれしいです。
学生のみなさんには、自然言語処理の研究がどのように実社会の課題解決に役立っているかを
お伝えできればと思っています。

「スタイル制御を考慮した多様な広告文生成」
明治大学/AILab 川本(内定者)・ AI Lab 張培楠

■発表概要
インターネット広告において、個人に合わせたメッセージングの必要性が高まるとともに、
ユーザに同じ内容の広告を何度も提示すると反応が悪くなる、「広告の疲弊」と呼ばれる課題があります。
この課題を解決するために、20年新卒内定者の川本とリサーチサイエンティストの張が
品詞情報を用いた制御可能で多様性に富んだ文を生成するモデルと、このモデルに対応した評価尺度を提案します。

■当日ディスカッションしたいこと
今回のポイントは、一つの入力文から品詞情報を制約として与えた多数の広告文を出力することです。
多様性に注目した言語生成の研究は国内ではまだ事例が少なく、モデルアーキテクチャの設計や
自然言語生成における多様性の自動・人手評価の方法などについて議論できればと思っています。
————————

実プロダクトでの応用から共同研究まで、AI tech studioのNLPチームの
最新の成果をお伝えする発表が揃っています!
たくさんの方に参加いただいて活発な議論が起こったり、
オンラインならではのコミュニケーションも生まれたりするのではないかとわくわくしています。
当日のご参加、お待ちしております!

]]>
ICCV 2019 参加報告:研究動向、発表ほか https://cyberagent.ai/blog/research/11072/ Sat, 30 Nov 2019 15:00:47 +0000 https://cyberagent.ai/?post_type=blog&p=11072 はじめに

AI Labの大谷と山口(@kotymg)です。10月に韓国ソウルにて開催されたコンピュータビジョンの国際会議ICCV 2019に参加してきました。こちらの記事で簡単に参加報告させていただきます。

ICCVについて

ICCVはコンピュータビジョン研究の3大トップカンファレンスの一つに位置付けられる権威のあるカンファレンスで、隔年開催となっています。AI Labからは2017年に続いての参加となります。2019年のICCVは4303件の投稿、1075件の採択と、ここ数年の分野の人気に伴って過去最大規模になりました。規模こそ同分野トップカンファレンスのCVPRよりも若干小さいものの、会場となった巨大なCOEX展示場には7000人を超える参加者が集まりました。発表件数の増加に伴い、今回のICCVではCVPR 2019同様にショートオーラル形式による発表方式となり、その他は全てポスター発表という形態になりました。

ICCV 2019 conference

ICCV 2019 オープニングセレモニー

写真は会議のオープニングセレモニーの様子です。オープニングセレモニーでは会議への投稿や参加者の統計について公表がある他、いわゆるベストペーパー賞に当たるMarr Prize他、各種の表彰が行われます。近年は人工知能分野の学会では中国と米国からの研究発表が圧倒的に多い傾向がありますが、ICCVもご多分に漏れずこの2国からの採択数が圧倒的に多く見られました。

AI Lab関連の研究発表

AI Labからは残念ながら今回本会議の発表はなく、併催のワークショップにて二件の研究発表をさせていただきました。

Adaptive Gating Mechanism for Identifying Visually Grounded Paraphrases
Mayu Otani, Chenhui Chu, Yuta Nakashima
Regularized Adversarial Training for Single-Shot Virtual Try-On
Kotaro Kikuchi, Kota Yamaguchi, Edgar Simo-Serra, Tetsunori Kobayashi

研究動向について

前回のICCV 2017に比べてICCV 2019で研究発表のタイトルに出現する割合の高くなったキーワードは以下のようなものでした。抽出方法は、ICCV 2019とICCV 2017論文タイトルからunigram/bigramを抜き出し、その出現頻度を会議全体の出現数で割った割合の変化が大きかったものから、目についたものを掲載しています。

  • Object Detection
  • Aware
  • Guided
  • Graph
  • Point Cloud
  • Person Re-Identification

ICCV 2017と比べてObject Detectionが多く見られるようになったことは意外に思えますが、単純な2D DetectionではなくVideoや3Dを対象にした手法や、ドメイン転移を考慮したDetectionのように、様々な環境でのDetection手法が提案されるようになったことが理由でしょう。AwareやGuidedはモデルの学習時に何らかの補助的情報を利用する手法によく見られるキーワードです。Graphが出てきたのはScene GraphやGraph Convolutionといったグラフ構造を考える手法が増えたためと見られます。Point Cloudは三次元点群を対象とした研究に出てきますが、ニューラルネットワークで三次元データを扱う研究はここ最近増えていることが反映していると考えられます。また、Person Re-Identificationは実応用にかなり近いタスクですがベンチマークデータも整備が進んだことで発表件数が増加しているようです。

この他にも全体の中の割合として大きな変化があったわけではありませんが、Image Synthesis、Domain Adaptation、Human Poseといったトピックでの研究発表が目につきました。

クリエイティブ制作に関連する研究紹介

AI Labではグラフィックデザインや動画制作などのクリエイティブ制作に関連のある研究に着目しています。今回のICCVでもクリエイティブ制作に関係がある研究発表がいくつもありました。特に我々が注目する研究発表を以下に数件紹介します。

InGAN: Capturing and Remapping the “DNA” of a Natural Image
Assaf Shocher, Shai Bagon, Phillip Isola, Michal Irani
[Paper] [Project] [Github]

InGAN

InGANでは一枚の画像(赤枠)を入力として多様なサイズの画像を出力できる(論文中Figure 1より引用)

InGANは一枚の画像から敵対的生成モデルを学習する試みで、ICCV 2019でMarr Prizeを受賞したSinGANに設定は似ています。画像から小さなサイズの領域パッチをサンプルして生成モデルを学習することで、異なるサイズ、アスペクト比の画像を生成することが可能となります。広告制作でも異なるサイズのバナーデザインを制作することはよくありますが、テキストや飾りを載せる前の背景のような画像を使う際にデザイナーを強力に支援してくれそうです。

Controllable Video Captioning With POS Sequence Guidance Based on Gated Fusion Network
Bairui Wang, Lin Ma, Wei Zhang, Wenhao Jiang, Jingwen Wang, Wei Liu
[Paper] [Github]

POSタグによる生成キャプションの操作例(論文より引用)

POSタグ列を使って、動画キャプションの生成結果をコントロールする手法です。動画のキャプションと同時にPOSタグ列を予測するモデルですが、実験ではこの予測POSタグを操作することで多様なキャプションを生成する方法を提示しています。AI Labでは広告コピーの生成にも取り組んでいます。この論文で提案されたフレームワークを発展させることで、バナー画像/動画などのビジュアルコンテンツを考慮したコピーの生成が期待できそうです。特に異なるPOSタグテンプレートを用いた多様なキャプションの生成は、ユーザごとに様々なバージョンのコピーを作る必要があるインターネット広告では嬉しい性質です。

Seq-SG2SL: Inferring Semantic Layout From Scene Graph Through Sequence to Sequence Learning
Boren Li, Boyu Zhuang, Mingyang Li, Jian Gu
[Paper]

上から入力のscene graph、予測されたレイアウト、入力scene graphに対応する元画像。(論文より引用)

Scene graphからレイアウトを予測する手法です。Scene graphとレイアウトをタグの系列として表現することで、レイアウトの生成タスクをsequence to sequenceモデルの学習に落とし込んでいます。バナー画像自動生成において、このようなレイアウト予測は重要な要素技術です。オブジェクトや背景の相対的な位置を予測するこの手法は、与えられた素材画像やテキストなどの要素を自動で配置するバナーデザインシステムに応用できる可能性があります。

おわりに

ICCVではDetectionやSegmentationのような主要なコンピュータビジョンの研究トピックが継続して多く発表されていましたが、それに加えて画像生成のようにタスク自体が難しいものや、三次元点群のようなデータ構造を対象にニューラルネットワークを活用してend-to-endに課題解決する手法など、新しいことに果敢に挑戦する研究が多く見られたように感じます。

AI Labではコンピュータビジョンを活用してテキスト、グラフィックデザインなどの広告制作を支援する技術を研究開発しています。研究成果は会社事業に使われるだけでなく、ICCVをはじめとする学術会議で発表することを奨励しています。我々のチームに興味のある方は採用のページもぜひチェックしてください。

]]>
NLPでビジネス課題に挑戦~ YANS2019で発表します~ https://cyberagent.ai/blog/pr/5816/ Fri, 23 Aug 2019 09:32:45 +0000 https://cyberagent.ai/?p=5816 こんにちは!
アドテクスタジオ人事の鈴木です。

アドテクスタジオのNLPメンバーは、それぞれの所属プロダクトでビジネス課題の
解決に日々取り組んでいます。
これまでも、様々な学会への参加や論文投稿を行ってきましたが、
「自分たちの取り組みをしっかりと形に残したい」「もっとアウトプットしていきたい」という思いから
この半年間はプロダクトの垣根を越えて活動してきました。

定期的に開催している論文読み会では、プロダクトでの応用やこれから
やってみたいことまで議論が広がり、毎回時間が足りなくなってしまうほど盛り上がっています。
また、kaggleでのシルバーメダル獲得や、社内論文誌「White Paper Project」への投稿など、
チャレンジの幅がどんどん広がっています!

▼White Paper Project vol.9発行&発表会レポート
https://cyberagent.ai/archives/5718
(次回vol.10ではNLPメンバーから4本投稿予定です。楽しみ!)

そして!8/26~8/28に開催されるYANS2019では2件の発表を行います!
——————————–
「デジタル広告における商品特徴を考慮した広告文の自動生成」
AIクリエイティブ 脇本、AI Lab/明治大学 川本

デジタル広告において個人に合わせたメッセージングの必要性が高まる中、
当社ではクリエイティブの自動生成に力を入れています。
その中でも、19新卒の脇本くん、内定者バイトの川本くんのルーキーコンビが
取り組んでいるのはダイレクト広告に使われるテキスト(=ダイレクトコピー)の自動生成を目指す研究です。
ダイレクト広告とは、見た人に直接商品の購入を促す広告のこと。
これに使われるテキストは文法的に正しいのはもちろん、
キャッチーであること、目を引くものであること、商品の特徴を反映させることが求められます。
今回の発表は、ダイレクトコピーに適した生成と評価手法がポイントです!

「チャットボットの運用における自然言語処理の活用」
AIメッセンジャー 戸田・杉山・友松

チャットボットで受け付ける問い合わせは様々なバリエーションがあり、
企業目線で予測していくには限界があります。
そこで重要になるのが、運用の部分!
用意したロジックをいかに運用していくかがカギとなります。
AIメッセンジャーでは、チャットボットの運用の部分に対してNLPの技術を活用しています。
今回の発表では、MLエンジニアの3人が自然言語処理技術での日々の運用支援や、
設計者の効率を上げるためのチャレンジを紹介します。
ビジネス×NLPならではの取り組みに注目です!
——————————–

また、今年もプラチナスポンサーとしてブース出展&スポンサー発表も行います。
ブースではアベマくんグッズも配付予定ですので、ぜひお越しください!

■発表予定一覧■
<8/26(月)>
15:00~15:40
スポンサー口頭発表O04「サイバーエージェントにおける自然言語処理の取り組み」
張 培楠
16:20~18:10
スポンサーポスター発表S03「サイバーエージェントにおける自然言語処理の取り組み」
張 培楠

<8/28(水)>
09:30-11:20
ポスター発表 P83「デジタル広告における商品特徴を考慮した広告文の自動生成」
脇本 宏平、川本 峻頌
ポスター発表 P84「チャットボットの運用における自然言語処理の活用」
戸田 隆道、杉山 雅和、友松 祐太

 

]]>
CCSE2018を開催!企業の研究をオープンにし課題を議論できる場へ https://cyberagent.ai/blog/pr/report_event/4219/ Mon, 02 Jul 2018 06:35:53 +0000 https://cyberagent.ai/?p=4219 こんにちは、技術広報(兼CCSE運営委員)の田爪です。

昨日7/1(日)に、ついに「企業研究に特化したカンファレンス」として
CCSE2018(Conference on Computer Science for Enterprise)を共催いたしました!
最終的に発表企業は9社、全25発表と、見ごたえのあるカンファレンスとなりました。

 

共催企業:CyberAgent、楽天、メルカリ、Unity、Start Today Technologies
*
*
開催のご挨拶は発起人である当社サイバーエージェントの岩本から。

当日は朝10時開始にも関わらず約400名の方にお越し頂きました!
当日、飛び入りで参加した学生の方がいらっしゃったりと、多くの方に企業における研究活動について知っていただけたと共に、かつ全ての発表において、職種を越えて質問が出る場となり、議論が活性化したことをとても嬉しくおもっています。

Twitterでもリアルタイムに感想を頂いており、次年度開催を期待する声も多く頂きました!
CCSE公式Twitter

こちらのTwitterハッシュタグでぜひ当日の様子もご覧ください!
#CCSE2018
#CCSE


当社、サイバーエージェントからは、4名が登壇し、AI Labでの取組みについてお話しいたしました。

▼AI Lab山口 「広告クリエイティブ制作と機械学習」

▼ロボットサービス事業部 岩本
「サイバーエージェントのアカデミックへのアプローチ」

▼AI Lab 馬場
「対話エージェントの積極的な介入による関係性構築の試み」

▼AI Lab 谷口
「AI Labにおける広告配信技術の研究開発について」

それぞれ10分の発表ではありますが、広く研究活動を知って頂くことができたと思います。
懇親会でも広告クリエイティブ制作や広告配信技術については、同業界である広告事業のエンジニア・研究者の方と議論が活発化しておりました。
対話エージェントについては新しい広告の形として多くの方にご興味頂くとともに、当社の産学連携の形についても知っていただける良いきっかけだったと思います。

当日の詳細は追ってリサーチャー・エンジニアのメンバーより投稿を予定しておりますのでご期待ください!

<補足情報>

当社のアカデミックとの取組みとしてTwitterで話題になったのは、
博士課程の学生を対象としたテーマ選択型の特別研究サマーインターンシップでした。

AI Labでは、学振のインターンシップ規制緩和を受け、優秀な若手研究者が限られた期間において
実務経験価値を向上させることができる機会を提供するとともに、これからの社会に必要とされる研究者育成に対して貢献していきたいと考えています。
CCSEもそうですが、企業とアカデミック、両方がより発展していく機会を創出していけたらと思っております!もうひとつご紹介した、アドテクスキルアップゼミ制度についてはこちら。
今回のCCSEや様々な自主企画イベントがこのゼミ制度から生まれています。
好奇心とチャレンジがスキルを磨く。「アドテクスキルアップゼミ」が生み出すカルチャーとは


当日の講演

エンジニアではなく、ビジネス職の立場からとなりますが、わたしがぐっと来たプレゼンを2つだけご紹介させてください。
(なぜ動画を撮らなかったのかと本当に悔やんでいます)

基調講演:「グローバル企業の中で「変化」を仕掛ける楽天技術研究所の挑戦」
基調講演として、楽天株式会社執行役員、楽天技術研究所代表の森正弥氏からお話し頂きました。

・2017年は66のPRJが立ち上がり、内42PRJでビジネス成果をあげている
・研究所の技術がリードとなり、新しいビジネスが起きる。

・企業研究所は常に変化を仕掛け続けていく。

研究や技術でビジネスをリードしていく、その意思や思いを強く感じるとともに企業研究所としての歴史も長く、かつ様々な分野での取組をされてきたからこそのお話しはとても興味深く、懇親会で多くの方が森さんに詳しくお話しを聞きに行っていらっしゃいました。
筑波大学との共同研究で実施されていたバーチャルスタイリングルーム、ぜひ体験してみたいです。

「Cygames Researchにおける技術研究とその実用化事例について:論文化・特許化・実用化の高速なイテレーションの実現」

株式会社Cygamesの「Cygames Research」から、慶応義塾大学院の特任准教授も兼任されている所長の倉林修一氏にもご登壇頂きました。

・企業がなぜ査読付き論文を書くのか 「オレオレ技術からの脱却」
・経営が外部監査を受けるのと同様に、研究開発も国際会議・論文の査読を受けることで監査を受けることが大事。

ユーザーにデバックをさせてはいけない、というキーワードもとても印象的でした。
今まで言語化しにくかったことをすっと落としていただけた感覚でした。

まとめ

 


クロージングの挨拶、楽天株式会社 楽天技術研究所 未来店舗デザイン研究室 シニアマネージャー 益子 宗氏

それぞれの企業で行っているR&D組織の立上げ方や考え方、
ビジネスとの融合や、技術を軸にしたビジネスの発展をより良い形に・かつスピードをもって展開していく取組みや工夫を知ることができ、CCSE改善の余地はもちろんありますが、とても有意義な場となったと思います。

今回、CCSEは企業が研究情報をオープンにすることで、より各企業の研究が発展することを期待し開催に至りましたが、各企業における、研究×ビジネスへの取組みかた、研究組織の体制、具体的な研究手法など様々な発表があったことできっと多くの方の・企業の何かヒントとなることがあったと思います!(そう信じています!)

当社、AI Labも切磋琢磨しながらどんどん進化していますのでご期待ください!
また、一緒に働きたい!サイバーエージェントのAI Labって何しているの?と
ご興味もってくださった方はぜひお気軽にご連絡ください 🙂

カジュアルランチはこちら

アドテクスタジオ・AI Lab 募集職種一覧

おまけ

※懇親会の様子とかわいいロゴバーガー

※当日、運営で走り回ってくれた 18新卒エンジニアと17ビジのみんな!
早朝からの設営、受付、マイクラン、SNS投稿、撤収まで全て自走していました!おつかれさまでした!

]]>
【AI Lab】国際会議「CVPR 2018」ビジュアル広告理解のワークショップ「ADS」にて技術コンペ1位で通過!6/22@USで発表 https://cyberagent.ai/blog/pr/4135/ Thu, 21 Jun 2018 03:28:31 +0000 https://cyberagent.ai/?p=4135 みなさんこんにちは、技術広報の田爪です。


今週、6/18(月)からソルトレークシティで行われている「CVPR2018」※1にて開催されている、ビジュアル広告を理解するためのワークショップ「ADS」のコンペティションにAI Labのクリエイティブリサーチのメンバーで挑戦していたのですが、なんと…1位で技術コンペ通過となりました!
6/22(金)にソルトレークシティ現地にてコンペの技術詳細について発表もおこないます。
 ※1コンピュータビジョンやパターン認識の分野における国際会議

『AI Lab』のクリエイティブリサーチチームでは、
「広告クリエイティブの自動制作支援と自動生成」について研究開発を進めており、大学や研究機関との産学連携も進めながらアカデミックで進めている研究技術を、広告の配信技術やクリエイティブ生成技術に活かすべく日々研究開発を行っています。

関連リリース
「AI Lab」、バージニア大学の研究者らとの共著論文が、コンピュータビジョン分野の国際会議「CVPR」にて採択
【AI Lab】国際会議のCVPR@USに続き、CHI@Canadaのワークショップも2本採択! 採択論文概要とAI Labの研究オフィス紹介

 

このような活動の中、今回の「CVPR2018」ではAI Labから4つの発表を予定しています。

1:「Feedback-prop: 部分観測からのフィードバック推論」
AI Lab研究員山口によるCVPR本会議で採択された共著論文の発表。

全世界から約3,300本の論文が投稿され、うち979本が採択、約30%の採択率という難関です…!
2:今回のビジュアル広告を理解する「ADS」ワークショップ、コンペ1位通過による発表!
3:同ワークショップにおける、機械学習を用いたストック写真素材の印象操作に関するポスター発表
4:そして言語と画像理解のためのLanguage and Visionワークショップにてポスター発表!

たくさんの発表が行われるCVPR2018、今回1位通過したコンペティションについて詳しく研究員に聞いてみました。

ビジュアル広告の理解のためのワークショップ「ADS」
コンペティション1位通過!US現地で発表へ

--コンペ1位通過おめでとうございます!
まずはどういう形でコンペが行われるのか?など詳しく教えてください

CVPRでは本会議以外にもコンピュータビジョンの多数の詳細研究領域についてのワークショップが開催されます。今回はADにもAI Lab大谷が言語と画像理解のためのLanguage and Visionワークショップにてポスター発表を予定しております。今回1位で通過したのはビジュアル広告の理解のためのワークショップ「ADS」の中で行われた画像認識を競うコンペ。与えられた広告画像のデータセットに対する認識性能を競います。競技は3−4月の準備期間を経て、5−6月の競技期間中に正解が不明なテストデータに対する性能を主催者側が判定するという形で行われます。(山口)

--今回の課題は具体的にどのような内容ですか?

今回の課題は、あるバナー画像について与えられた15個のテキストから正しい記述を1つ選び出すというタスクの性能を競います。15個中正解となりうるものが3つ含まれているのでこの3つのどれかを当てれば正解となります。バナー画像を対象としているため、例えばチラシのように商品と価格が並んだものから禁煙や自然保護を訴える印象的な広告まで、幅広い対象を認識する必要がある点が難しい設問になっています。我々は多くの広告画像に含まれるテキスト領域に着目し、深層学習を用いた画像認識モデルに文字認識モデル(OCR)を組み合わせた手法で1位を獲得することができました。(山口)

 

--たとえば、今回の手法/提案を活かすと広告ではどんなことが期待できるのでしょう?

広告画像が何を表現しているのかを直接理解するための技術は、様々な応用が期待できます。例えば広告クリエイティブの制作者は制作現場でリアルタイムに広告の受け手の印象や理解内容のフィードバックを受けることができるようになります。意図しない表現があればすぐに修正を加えることができますし、どんな箇所に視線が集まりそうかといった情報を推定することも可能になります。また、自動で広告を生成した場合の表現の品質評価に使うことで、制作自動化技術・制作支援技術の改善に繋がることが期待できます。(山口)

AI Labのクリエイティブリサーチチームで研究をすすめている、『広告クリエイティブ自動製作支援と自動生成』の研究テーマにどんぴしゃのコンペティションで1位という結果、とてもうれしいです!

■同ワークショップでのポスター発表について

--同ワークショップでポスター発表を行う大田さんです
今回の発表をもとに、今後の意気込みやカンファレンスから持ち帰りたいことなどあれば教えてください。

–大田
ADS ワークショップでは上記コンペに加えて広告画像データに関連するショート論文の募集も行われました。我々が目下研究の対象としている広告クリエイティブデータですが、製作時に素材となる画像を広告の訴求や印象に合わせてレタッチする作業が頻繁に行われます。今回は、人々が画像に対して抱いた感情情報データを元に学習を行うことで、画像を特定の感情に沿うようにレタッチする手法を提案しています。これにより例えばデザイナーが素材を編集する際に特定の感情に基づくレタッチガイドラインを提示することが可能になると考えています。

▼画像を感情に沿うようにレタッチした一例

研究としてはまだまだ浅い内容のため、現地でワークショップ参加者と議論することで新たな着想や改善点についてのヒントを得ることができればと思っています。

たしかにレタッチが違うだけで画像から受け取る印象がとても違います・・・
様々な切り口から画像に関する研究を行っている『AI Lab』クリエイティブリサーチチーム。
今まさに現地でインプット&アウトプットに取り組んでいます!

アドテクスタジオ、AI Labでは多くの国際カンファレンスや学会に参加していますが、インプットだけではなくアウトプットの場としてもどんどん挑戦しています。

CVPRに関する詳細のレポートは、参加後にAI Labのリサーチブログにおいて参加レポートを予定しております。
ぜひご覧ください。

]]>