期間中は、聴講した発表についてSlackでわいわい議論していたり、
快適に参加するためのtipsを共有したり、最終日の発表に向けて工夫を凝らしたりと、
メンバーそれぞれにオンライン開催のメリットをうまく活用してとても楽しんでいました！

オンライン開催が決まってからの短い期間で素晴らしい年次大会を開催いただいた
運営の皆さまに感謝申し上げます。

今回も、参加メンバーが参加&発表報告をアップしています。
こちらのリンクからぜひご覧ください。

参加報告

言語処理学会第26回年次大会(NLP2020)へのオンライン参加
AI Shift 杉山@GIANT__TCR が、オンライン参加してみての気づきを初日の夜にまとめました。(速い！)

NLP2020参加報告（勝手にクロージング編）
AIクリエイティブDivisionの澤井が「勝手にクロージング編」と題して、
言語資源や自然言語生成を中心に印象に残った発表を紹介しています。
オンライン懇親会の様子も少しだけ公開。

言語処理学会第26回年次大会(NLP2020) 参加報告
AI Shiftの友松 @tomomatsu_yutaによる、NLP2020 の大会概要を含めた参加報告です。
過去最大規模の参加者がオンラインで参加した3日間の雰囲気が伝わってきます。

発表報告

言語処理学会第26回年次大会(NLP2020) 発表報告
「チャットボット運用における新規問い合わせ候補の抽出」について、AI Shiftの戸田 @Trtd6Trtdによる発表報告です。
発表中にいただいた質問とその回答もまとめています。

「スタイル制御を考慮した多様な広告文生成」発表報告@オンライン言語処理学会
20新卒内定者の川本 @shunyo_kによる発表報告です。
当日の発表内容と質疑に加えて、オンラインのメリットを最大限に生かした発表の工夫をまとめています。
広告文生成のデモ画面もこちらの記事で公開していますので、ぜひ試してみてください！

また、今回の年次大会に合わせてAI tech studioにおける自然言語処理の取り組みについて、
全体像をまとめたスライドを公開しています。
こちらも合わせてご覧ください！

今後もNLPチームの様々な取り組みをブログやtwitterで発信していきます
お楽しみに！
———————————————–
AI tech studioでは、オフィス見学やカジュアル面談を随時受け付けています。
興味をお持ちの方は、こちらのフォームからご連絡お待ちしております！

NLP2020の開催がいよいよ来週に迫ってきました！
現地開催は残念ながら中止となってしまいましたが、オンラインで引き続き発表の機会が
確保されてとてもうれしく思っています。運営の皆さま、ありがとうございます！

AI tech studioでは、広告クリエイティブやチャットボットをはじめとした
プロダクト開発における自然言語処理の応用に力を入れています。
昨年のYANS2019に引き続き、NLP2020でも各プロダクトでビジネス課題の解決に
挑戦してきた成果を発表します。
昨年までの現地開催と同じように、オンラインでもたくさんの方とディスカッションできると嬉しいです！

さて、今回は2件のポスター発表と、東京工業大学 岡崎研究室との共同研究について口頭発表が予定されています。

3/18に口頭発表を予定している岡崎研究室との共同研究では、
「広告キャッチコピーの特徴分析と自動生成」をテーマとして、これまでに当社で作成した
キャッチコピーを中心とする大量のクリエイティブデータから
広告効果の高い表現を提案することや、広告キャッチコピー自動生成モデルの構築を目指しています。

▼AI Lab、広告キャッチコピーの特徴分析と自動生成に向けた研究強化へ　東京工業大学情報理工学院教授 岡崎 直観氏と共同研究を開始
https://www.cyberagent.co.jp/news/detail/id=22930

キャッチコピーには、商品や作品を端的に表現するために様々な修辞技法が用いられます。
本研究では、キャッチコピーで用いられる修辞技法の中でも比較的多く用いられている「対句」に着目し、
解析手法の提案を行いました。
今回は、これまで行ってきたキャッチコピーの分析やコーパス構築をもとにした
対句データセットの作成と、対句構造の特徴量を組み込んだ解析手法について東工大の丹羽さんが口頭発表しますので、
ぜひ聴講参加してください！

■ポスター発表
ポスターセッションは、1件ごとにオンライン会議室が割り当てられており、
発表時間の90分間は入退室自由となっています。
当日はたくさんの方とディスカッションできればと思いますので、
発表者の皆さんに、発表ポイントと当日ディスカッションしたいことを聞いてきました。
チャットや音声でぜひ話しかけてください！

————————
「チャットボット運用における新規問い合わせ候補の抽出」
AI Shift 戸田・友松・ 杉山

■発表概要
データサイエンティストの戸田・友松・杉山が、チャットボットの利用ログから
新しい回答候補を自動で生成する取り組みについて発表します。
チャットボットが回答できなかった質問を抽出し、新たな回答候補を作成する工程は
現状手作業で行われており、人の経験やテクニックに依存しています。
この工程の自動化に向けて、クラスタリングされた問合せから代表文を抽出するという手法を用い、
実サービスでの活用に向けて現在プロトタイプを作成しています。

■当日ディスカッションしたいこと
当日は、自然言語処理の実サービス応用に興味がある方とぜひお話したいです！
高精度なモデルは世の中にどんどん出ていますが、学習データ量の制限・実行速度という点で
うまく使えるのかは実運用の視点から見ていく必要があります。
最先端ではない手法でもサービスの改善に大きく貢献するという実運用ならではの面白さを伝えたいし、
逆に、最新技術をどのようにサービスに適用していくかもディスカッションできるとうれしいです。
学生のみなさんには、自然言語処理の研究がどのように実社会の課題解決に役立っているかを
お伝えできればと思っています。

「スタイル制御を考慮した多様な広告文生成」
明治大学/AILab 川本(内定者)・ AI Lab 張培楠

■発表概要
インターネット広告において、個人に合わせたメッセージングの必要性が高まるとともに、
ユーザに同じ内容の広告を何度も提示すると反応が悪くなる、「広告の疲弊」と呼ばれる課題があります。
この課題を解決するために、20年新卒内定者の川本とリサーチサイエンティストの張が
品詞情報を用いた制御可能で多様性に富んだ文を生成するモデルと、このモデルに対応した評価尺度を提案します。

■当日ディスカッションしたいこと
今回のポイントは、一つの入力文から品詞情報を制約として与えた多数の広告文を出力することです。
多様性に注目した言語生成の研究は国内ではまだ事例が少なく、モデルアーキテクチャの設計や
自然言語生成における多様性の自動・人手評価の方法などについて議論できればと思っています。
————————

実プロダクトでの応用から共同研究まで、AI tech studioのNLPチームの
最新の成果をお伝えする発表が揃っています！
たくさんの方に参加いただいて活発な議論が起こったり、
オンラインならではのコミュニケーションも生まれたりするのではないかとわくわくしています。
当日のご参加、お待ちしております！

AI Labの大谷と山口(@kotymg)です。10月に韓国ソウルにて開催されたコンピュータビジョンの国際会議ICCV 2019に参加してきました。こちらの記事で簡単に参加報告させていただきます。

ICCVについて

ICCVはコンピュータビジョン研究の3大トップカンファレンスの一つに位置付けられる権威のあるカンファレンスで、隔年開催となっています。AI Labからは2017年に続いての参加となります。2019年のICCVは4303件の投稿、1075件の採択と、ここ数年の分野の人気に伴って過去最大規模になりました。規模こそ同分野トップカンファレンスのCVPRよりも若干小さいものの、会場となった巨大なCOEX展示場には7000人を超える参加者が集まりました。発表件数の増加に伴い、今回のICCVではCVPR 2019同様にショートオーラル形式による発表方式となり、その他は全てポスター発表という形態になりました。

ICCV 2019 オープニングセレモニー

写真は会議のオープニングセレモニーの様子です。オープニングセレモニーでは会議への投稿や参加者の統計について公表がある他、いわゆるベストペーパー賞に当たるMarr Prize他、各種の表彰が行われます。近年は人工知能分野の学会では中国と米国からの研究発表が圧倒的に多い傾向がありますが、ICCVもご多分に漏れずこの2国からの採択数が圧倒的に多く見られました。

AI Lab関連の研究発表

AI Labからは残念ながら今回本会議の発表はなく、併催のワークショップにて二件の研究発表をさせていただきました。

Adaptive Gating Mechanism for Identifying Visually Grounded Paraphrases

Mayu Otani, Chenhui Chu, Yuta Nakashima

Regularized Adversarial Training for Single-Shot Virtual Try-On

Kotaro Kikuchi, Kota Yamaguchi, Edgar Simo-Serra, Tetsunori Kobayashi

研究動向について

前回のICCV 2017に比べてICCV 2019で研究発表のタイトルに出現する割合の高くなったキーワードは以下のようなものでした。抽出方法は、ICCV 2019とICCV 2017論文タイトルからunigram/bigramを抜き出し、その出現頻度を会議全体の出現数で割った割合の変化が大きかったものから、目についたものを掲載しています。

• Object Detection
• Aware
• Guided
• Graph
• Point Cloud
• Person Re-Identification

ICCV 2017と比べてObject Detectionが多く見られるようになったことは意外に思えますが、単純な2D DetectionではなくVideoや3Dを対象にした手法や、ドメイン転移を考慮したDetectionのように、様々な環境でのDetection手法が提案されるようになったことが理由でしょう。AwareやGuidedはモデルの学習時に何らかの補助的情報を利用する手法によく見られるキーワードです。Graphが出てきたのはScene GraphやGraph Convolutionといったグラフ構造を考える手法が増えたためと見られます。Point Cloudは三次元点群を対象とした研究に出てきますが、ニューラルネットワークで三次元データを扱う研究はここ最近増えていることが反映していると考えられます。また、Person Re-Identificationは実応用にかなり近いタスクですがベンチマークデータも整備が進んだことで発表件数が増加しているようです。

この他にも全体の中の割合として大きな変化があったわけではありませんが、Image Synthesis、Domain Adaptation、Human Poseといったトピックでの研究発表が目につきました。

クリエイティブ制作に関連する研究紹介

AI Labではグラフィックデザインや動画制作などのクリエイティブ制作に関連のある研究に着目しています。今回のICCVでもクリエイティブ制作に関係がある研究発表がいくつもありました。特に我々が注目する研究発表を以下に数件紹介します。

InGAN: Capturing and Remapping the “DNA” of a Natural Image
Assaf Shocher, Shai Bagon, Phillip Isola, Michal Irani
[Paper] [Project] [Github]

InGANでは一枚の画像（赤枠）を入力として多様なサイズの画像を出力できる（論文中Figure 1より引用）

InGANは一枚の画像から敵対的生成モデルを学習する試みで、ICCV 2019でMarr Prizeを受賞したSinGANに設定は似ています。画像から小さなサイズの領域パッチをサンプルして生成モデルを学習することで、異なるサイズ、アスペクト比の画像を生成することが可能となります。広告制作でも異なるサイズのバナーデザインを制作することはよくありますが、テキストや飾りを載せる前の背景のような画像を使う際にデザイナーを強力に支援してくれそうです。

Controllable Video Captioning With POS Sequence Guidance Based on Gated Fusion Network
Bairui Wang, Lin Ma, Wei Zhang, Wenhao Jiang, Jingwen Wang, Wei Liu
[Paper] [Github]

POSタグによる生成キャプションの操作例（論文より引用）

POSタグ列を使って、動画キャプションの生成結果をコントロールする手法です。動画のキャプションと同時にPOSタグ列を予測するモデルですが、実験ではこの予測POSタグを操作することで多様なキャプションを生成する方法を提示しています。AI Labでは広告コピーの生成にも取り組んでいます。この論文で提案されたフレームワークを発展させることで、バナー画像/動画などのビジュアルコンテンツを考慮したコピーの生成が期待できそうです。特に異なるPOSタグテンプレートを用いた多様なキャプションの生成は、ユーザごとに様々なバージョンのコピーを作る必要があるインターネット広告では嬉しい性質です。

Seq-SG2SL: Inferring Semantic Layout From Scene Graph Through Sequence to Sequence Learning
Boren Li, Boyu Zhuang, Mingyang Li, Jian Gu
[Paper]

上から入力のscene graph、予測されたレイアウト、入力scene graphに対応する元画像。（論文より引用）

Scene graphからレイアウトを予測する手法です。Scene graphとレイアウトをタグの系列として表現することで、レイアウトの生成タスクをsequence to sequenceモデルの学習に落とし込んでいます。バナー画像自動生成において、このようなレイアウト予測は重要な要素技術です。オブジェクトや背景の相対的な位置を予測するこの手法は、与えられた素材画像やテキストなどの要素を自動で配置するバナーデザインシステムに応用できる可能性があります。

おわりに

ICCVではDetectionやSegmentationのような主要なコンピュータビジョンの研究トピックが継続して多く発表されていましたが、それに加えて画像生成のようにタスク自体が難しいものや、三次元点群のようなデータ構造を対象にニューラルネットワークを活用してend-to-endに課題解決する手法など、新しいことに果敢に挑戦する研究が多く見られたように感じます。

AI Labではコンピュータビジョンを活用してテキスト、グラフィックデザインなどの広告制作を支援する技術を研究開発しています。研究成果は会社事業に使われるだけでなく、ICCVをはじめとする学術会議で発表することを奨励しています。我々のチームに興味のある方は採用のページもぜひチェックしてください。

Research Blogにて発表&参加報告をアップしています。
こちらのリンクからぜひご覧ください。

YANS 2019 参加報告① 〜チャットボットの運用における自然言語処理の活用〜
MLエンジニアの戸田(@Trtd6Trtd)、杉山(@GIANT__TCR)、友松(@tomomatsu_yuta)による
自然言語処理技術での日々の運用支援や、設計者の効率を上げるためのチャレンジは必見です。

YANS 2019 参加報告② 〜デジタル広告における商品特徴を考慮した広告文の自動生成〜
19年新卒 脇本(@KoheiWakimoto)&20年内定者 川本(@shunyo_k)のルーキーコンビによる
テキスト生成の取り組みをぜひご覧ください。

YANS 2019 所感: これからの言語処理コミュニティのために
YANSを通じて感じたNLPのこれまでとこれから、若手研究者コミュニティを応援していく理由など、
自然言語処理＆バックエンドエンジニアの澤井(github: @tuxedocat)の熱い思いがこもった記事です。

また、昨年に引き続きプラチナスポンサーとして発表とブース出展を行いました。
スポンサー発表でもたくさんの方と議論させていただきました。ありがとうございます！

今後もNLPチームの様々な取り組みをブログやtwitterで発信していきます！
お楽しみに
———————————————–
AI tech studioでは、オフィス見学やカジュアル面談を随時受け付けています。
興味をお持ちの方は、こちらのフォームからご連絡お待ちしております！

AI Lab の大田、大谷です。
6月にアメリカで開かれたコンピュータビジョンの国際会議、CVPR 2019 に参加してきました。
今年も簡単に参加報告をしたいと思います。

CVPR 2019

CVPR は ICCV、ECCV と並ぶコンピュータビジョン分野におけるトップカンファレンスです。AI Labは一昨年、昨年と参加しており、今年で3度目の参加となります。
今年はカリフォルニア州ロングビーチの Long Beach Convention Center にて6月16日〜20日の5日間での開催となりました。15日までは機械学習のトップカンファレンスである ICML 2019 も同会場で開催されており、現地に到着した際にはすでに会場付近が参加者で賑わっていたのが印象的でした。続けて参加された方も多かったのではと思います。その影響もあってか、今年の参加人数は9,227人と前年より2,000人以上増加しています。論文投稿数、採択数も5,160件、1,294件となっており、いずれも過去最高を更新しています。

今年の新しい取り組みとして、本会議でのショートオーラル発表が挙げられます。5分間での研究紹介を3件分行ったあと3件まとめて質疑応答というスタイルとなりました。288件ものオーラル論文を効率良く発表してもらうための工夫でしたが、研究内容の理解が少し難しかったようにも感じました。

併催されている Exhibition では世界各国の大企業や AI スタートアップがこぞってブースを出展。こちらも例年通りの盛況ぶりでしたが、自動運転車両の実車展示が特に目立っており、各社の実用への意気込みの高まりを感じます。

会場周辺はカリフォルニア州最大規模の水族館やアウトレットモールなどが揃う大きな港町です。会議終了後は軽い観光や食事も楽しむことができましたが、アメリカならではの大量で高カロリーな食事には未だに慣れません。

AI Lab からの発表

本会議には大谷による論文 Rethinking the Evaluation of Video Summaries が採択されており、ポスター前では多数の参加者と議論を交わしました。この研究では映像要約手法の評価指標と主要なデータセットを分析しています。より詳しい内容はブログ記事として公開されています。このポスターでは既存の映像要約指標と映像要約手法の一般的なパイプラインに潜在する課題を説明しています。研究者だけでなく映像配信サービスのビジネスサイドの人も議論に参加しており、産業界での関心の高さが伺えました。

本会議論文紹介

注目した論文についていくつか紹介します。

Semantic Image Synthesis With Spatially-Adaptive Normalization

Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu

プロジェクトサイト
GauGAN

Semantic Map からの画像生成において、Normalization 後のスケーリング係数に Semantic Map から得られる特徴を利用した SPADE という手法を提案しています。画像生成モデル自体への入力は Semantic Map ではなくランダムノイズであり、これを操作することで多彩なスタイルの画像生成を可能としています。GauGAN と名付けられたデモも話題になったため、ご覧になられた方も多いかもしれません。

プロジェクトサイトより “Brief Description of the Method”

論文より Figure 9. 提案モデルによる多様なスタイルの画像生成

Image Generation from Layout

Bo Zhao, Lili Meng, Weidong Yin, Leonid Sigal

Semantic Map から画像を生成する手法はこれまでにも数多く提案されてきていますが、大まかなレイアウトからの画像生成はテキストやシーングラフなども利用した手法が主でした。この論文では Bounding Box のみで物体の大きさと位置を表現するとてもシンプルなレイアウト入力から画像を生成する手法を提案しています。

論文より Figure 1. Image generation from layout

論文より Figure 7. Examples of diverse images generated from same layouts

Homomorphic Latent Space Interpolation for Unpaired Image-To-Image Translation

Ying-Cong Chen, Xiaogang Xu, Zhuotao Tian, Jiaya Jia

画像を特徴ごとにドメイン分けしドメイン間における差異を学習することで画像の変換に用いる Unpaired Image-to-Image 技術は StarGAN や MUNIT などマルチドメイン・マルチモーダルなモデルの提案により、より多彩な振る舞いが可能となってきています。提案手法ではそれらに加え、変換過程の補間についても考慮しています。滑らかで自然な変換アニメーションの生成もできるモデルとなっています。

論文より Figure 2. Illustration of latent space interpolation along different paths

Image Deformation Meta-Networks for One-Shot Learning

Zitian Chen, Yanwei Fu, Yu-Xiong Wang, Lin Ma, Wei Liu, Martial Hebert

今年の本会議では {Zero, One, Few}-shot Learning というワードをよく目にしました。限られた学習データからの学習テクニックの一つにデータの水増しを行う Data-Augmentaiton がありますが、提案モデルはその Data-Augmentation を内包しているようなネットワークとなっており、少量のデータに対して End-to-End な学習を可能としています。

論文より Figure 2. The overall architecture of our image deformation meta-network

Efficient Video Classification using Fewer Frames

Shweta Bhardwaj, Mukundhan Srinivasan, Mitesh M. Khapra

同様に少量データからの学習ですが、こちらは動画分類に対するアプローチです。Distillation の仕組みを利用することで等間隔に間引かれた少数フレームによる学習を可能にし 、リソース消費の激しい動画分類のコスト軽減を図っています。

論文より Figure 1. Architecture of TEACHER-STUDENT network for video classification

GoodNews Everyone! Context driven entity aware captioning for news images

Ali Furkan Biten, Lluis Gomez, Marçal Rusiñol, Dimosthenis Karatzas

画像のキャプション生成の研究です。この手法では入力として画像だけでなく、画像に関連する文書を使って固有名詞などのキーワードを取り入れたキャプションを生成します。広告制作においてはコピー生成などに活用できそうなアプローチです。

論文より Figure 2

Complete the Look: Scene-based Complementary Product Recommendation

Wang-Cheng Kang, Eric Kim, Jure Leskovec, Charles Rosenberg, Julian McAuley

画像全体の雰囲気に合った商品を予測するモデルを提案しています。同様の構造を持ったタスクは広告バナーの制作にもあります。バナー画像の雰囲気に合ったフォントやテクスチャ素材などデザイン要素を提案するシステムなどにも応用できそうです。

論文より Figure 1

Less is More: Learning Highlight Detection from Video Duration

Bo Xiong, Yannis Kalantidis, Deepti Ghadiyaram, Kristen Grauman

映像から重要なシーンを抽出するハイライト検出の研究です。機械学習を用いた映像のハイライト検出では、学習データの収集コストが非常に高いという課題があります。そこでこの研究ではウェブ上の動画の長さを教師信号として活用する方法を提案しています。短い映像はより「ハイライトらしい」シーンで構成されている傾向にある一方で、長い映像はハイライトとしては適していないシーンを多数含んでいることが予想されます。この仮説に基づき、提案手法では短い動画と長い動画からハイライトらしい動画の特徴を学習しています。

論文より Figure 1

まとめ

CVPR は参加者・論文数共に爆発的な増加を続けており、もはや会議全体のトレンドを把握することは困難ですが、個人的には GAN や画像生成に関する研究の発展はやはり興味深く、質の高い研究について生で聴講できる機会はとてもありがたいです。引き続き広告やメディアデータに対するコンピュータビジョン・機械学習技術の応用に向けて今後も研究活動を続けていきます。

先日開催されたSXSW2019に参加して来ました。
本ブログでは、SXSWの特徴や展示されていたプロダクトについて紹介します。

SXSWとは

SXSW (South by Southwest サウス・バイ・サウスウエスト)は「インタラクティブ」「音楽」「映画」の3つの要素で開催されたとても大規模なイベントです。
毎年アメリカ、オースティンで開催されています。

トレードショー

チケットの発券をコンベンションセンターで行い、そのまま同会場で開催されているトレードショーに向かいました。
トレードショーは企業や大学、国などがブースを持ち、プロダクトを紹介します。雰囲気はCEATECにも似ているかもしれません。

この中にはロボットアームが音楽の演奏を通して、動きのPRを行ったり

LUSHがバスボムを回転寿司のように展示を行っていました。

日本のブースエリアも存在し、その中でも一際注目を浴びていたのは、スシ・シンギュラリティでした。これは、3Dプリンターを用いることで、自由な形状の“寿司”を作り上げるものです。開発者の方によると客の健康状態や好みを顔認識などから推定し、食事を提供するレストランを2020年には東京で開業する予定のようです。

そして東京大学のTodai to Texas Projectに採択された作品も注目を集めていました。
こちらのJellySurf は、加速度センサーと LEDを搭載したサーフボードです。動きに合わせてLEDが光ることで、技術の向上と表現力を拡張できる可能性があります。実際に海に持っていくと人が集まってくるようで、サーファーからも好評だったそうです。現在クラウドファンディングを開始しており、研究レベルから社会実装のスピード感に驚かされました。

ブランドや企業の”HOUSE”

SXSWはコンベンションセンターを中心に企業がバーやレストランを借り上げて、イベントブースに仕立て上げています。これが本当に熱かったです。
各HOUSEでは、コンセプトロボットや研究所が開発したシステムの展示、最新端末の紹介を行っているのですが、多くのHOUSEでDJが音楽をかけてアルコールを振舞っていました。

僕が見つけたHOUSEだけでも、Sony、LG、Samusung、Snap、Accenture、Amazon Prime、DELL、Twitterなど合計10近くに及ぶ気がします。しかし、まだまだあるのではないかと思います。

特にLGのHOUSEでは開発しているロボットが複数展示されており、印象的でした。
このLG CLOi MateBotは家に置くことを想定しており、住人と会話したり、家事のサポートをするロボットで、LG CLOi SocialBotはオフィスの警備を目的としているようです。

そしてロボットに手の映像を投影し、表現力の拡張を目指したCLOi GEstureBotなどが展示されていました。(側に音に合わせて踊るロボットの展示やDJブースが近くにあったので、ロボットから流れている以外にいろんな音楽が混じっています)

HOUSEからHOUSEの移動は慣れない道ということと距離があることから徒歩ではとても大変です。今年からSXSWは公式の移動手段としてUber JUMPが採用されていました(Uber以外のキックボードもたくさんありました)。
これは電動キックボードや自転車を街中で利用するのですが、想像以上に便利です。

上記のように街中に電動キックボードが走り回っており、未来を感じます。これがSXSW以外の日もオースティンでは利用できるというのも驚きです。
(便利の反面、結構なスピードが出るので危険な乗り物だと思いました)

利用はUberのアプリからキックボードに付いているQRを読み込み、終わると迷惑にならないところに乗り捨てるだけなので、町中にキックボードが置いてあります。
アプリ上でライド可能なボードや自転車を確認できるのですが、その多さがわかるかと思います。

その他にも

FoodTechに関するブースでは、ブロックチェーンとFoodの未来に付いて議論してきました。野菜の生産から販売までをブロックチェーン技術で管理し、安心を担保する試みがあるそうです。

また、世界的な人口増加からの食糧難に備えた虫料理の試食も体験してきました。虫を食べたのは初めてだったので、見た目がわかりにくい「コオロギ入りチョコレート」を食べました。(思ったよりコオロギが形のまま中に入っており、独特の風味がしました)

街中にあったBOSEの出店では、日本未発売のサングラスであるBoseFramesの体験販売も行われていました。音のARテクノロジーを提唱したのですが、ここ最近でもっとも大きな衝撃を受けたプロダクトでした。
一見するとサングラスですが、スピーカーが搭載されており、音楽や音声アシスタントを利用することができます。他にもサードパーティの機能が追加される予定らしいです。

そして今回会場からホテルを車で15分程度の所にしました。そのため毎日Uberを使っていたのですが、ドライバーさんに「SXSW中とそうでない期間ではどれくらい違うのか？」を質問して見ました。
あくまでその人の意見ですが、
-通常は12時間働くと15人~20人ほど乗せる（1人7-10ドルと短距離が目立つ）
-SXSW中は12時間で30人ほど載せる(ブーストがかかるので、通常料金の何倍も金額が高騰する)
-SXSW中は長距離も増えるから激アツ
だそうです。
道端で露店やグリルカーがたくさんあったり、ホテルも満室になるところが多いことから、街全体が活気付いているんだなと思いました。

SXSWに参加する理由

このような体験からインスピレーションを受けるだけではなく、「サイバーエージェントがSXSWで展示するためには？」とたくさん考えるようになりました。HOUSEでは家電などハードを作っている企業などはそれらの最新機種を展示していますが、ハードを持たないweb企業は、独自のイベントでブランドイメージを高める試みをしていました。
我々の研究のクオリティを上げつつ、様々な人に圧倒的な勢いで体験してもらうイメージを持つことができたので、参加してとてもよかったと思いました。

この記事では2019年2月22日に行われた、サイバーエージェントグループの開催するエンジニア・クリエイター向けカンファレンスCA Basecamp 2019にてAI Labから発表してきた「クリエイティブのための機械学習」について解説します。この発表はAI Labがデジタル広告の表現分野においてどのような課題に立ち向かい、どのようなプロジェクトを研究開発として取り組んでいるのか、社内のエンジニア、クリエイター、そして招待された学生向けに解説したものです。

当日のスライドはこちら。
https://speakerdeck.com/kyamagu/ca-basecamp-2019-kurieiteibufalsetamefalseji-jie-xue-xi

デジタル広告制作の課題

テレビCMなどのマス広告では同一の内容を配信するが、デジタル広告ではユーザーごとに異なる内容を配信

デジタル広告はインターネット上で見られるバナー、動画、テキストなどの広告のことです。様々な広告表現の形態がありますが、まとめて広告クリエイティブと呼ばれます。デジタル広告では、テレビCMや新聞広告といったいわゆるマス広告とは決定的に違い、一人一人に異なる広告を届けることが可能という特性があります。一人一人に合わせ、対象を限定して広告を配信することはターゲティングと呼ばれ、今日のデジタル広告が高い広告効果を示す原動力となっています。

ターゲティングが行われるようになることで、広告クリエイティブの制作に新たな課題が生じるようになってきました。各種の広告表現は、日本国内の広告市場では一般的に弊社含む広告代理店が制作を担っている場合が多数で、広告表現はデザイナーやプランナーといった、制作に携わる人が一つ一つ丁寧に作ります。従来のマス広告では全ての人に同じ表現が届けられるため、制作者はできるだけ多くの人に視聴されるように一つの広告表現を作り上げていきます。しかし、デジタル広告ではターゲティングが導入され、広告配信がより細分化されたことで、特定の趣向を持ったユーザー層にそれぞれの広告表現を作り分けることが必要になりました。一人一人に異なる広告が表示されるということは、一人一人に合わせてパーソナライズされた広告を作る必要が生じてきたわけです。基本的に広告表現は全て人手で作られてきたため、作るべき広告表現が増えれば増えるほど制作側に負担が生じるようになってきました。例えば10億のユーザーが存在すれば、10億の広告表現があり得るわけですが、これを全てデザイナーやプランナーが手作業で作ることは現実的ではありません。また、デジタル広告では似通った広告表現を見る機会が増え、すぐに飽きられてしまう傾向も近年加速し、一つのクリエイティブの寿命が短くなってきています。広告クリエイティブの制作者は質の高い広告を大量に作り続けるという、これまでにない課題に向き合うこととなりました。

AI Labでは広告クリエイティブを制作・配信する過程で機械学習を用いた技術により、この課題の解決を目指しています。例えばクリエイティブのクリック率を事前に予測することで、配信の効率化、制作者へのフィードバックを行うことが可能となります。制作編集にまつわる作業プロセスを自動化したり、あるいは新たな表現手段を作ることで、より良い広告表現を多く作ることができるようになります。また、データ分析を自動化することで、配信される広告からの知見を素早く制作に活かせるようになります。以下の節で、AI Labの取り組むプロジェクトをいくつか紹介します。

クリック率の予測

このバナーはどれだけの人からクリックされますか？クリック率の予測は回帰問題として定式化できます

与えられたバナーやテキストなどのある広告に対し、どれだけクリックがなされるかを機械学習手法により予想します。クリック予測は、一般にクリック率(CTR)やコンバージョン率(CVR)といった指標に関し、回帰分析問題として捉えることができます。回帰分析自体は基本的なロジスティック回帰や決定木といったモデルから、複雑な階層構造のニューラルネットワークまで様々なモデルで取り扱うことが可能です。広告クリエイティブでは画像、テキスト、広告配信設定といった情報が入力として利用可能なため、それらの入力に応じて適切なモデルを選択して予測モデルを構築します。一般的にはスパースな入力には浅い機械学習モデル、画像やテキストなどの次元が大きくなりがちな入力にはディープラーニング系のニューラルネットワークが用いられます。

クリック率予測を広告入稿時の判断に用いることで、実際に広告運用実績を改善した事例も弊社内で見られます。クリック率の予測はデジタル広告を運用する上で欠かせない機械学習技術となっています。

制作編集支援

新しく緑色の帯をバナー画像に配置する際、どこに帯を置くべきか予測します

制作編集に関しては、デザイナーやプランナーが行うプロセスの助けとなるような技術を研究開発しています。例えば、新しいバナー画像をデザインする際に、新しいデザイン要素をどこに置くかを予測することで、グラフィックス要素の配置作業を効率化できると期待されます。あるいは、既存のバナー画像から人物写真を自動で差し替えることで、そのバナー画像のバリエーションを自動的に効率よく制作することが可能となります。

実際の制作作業の支援だけでなく、新たな表現を作り出す試みも行なっています。例えば、画像の画風を変換する機械学習モデルを用いることで、これまでにないタッチのイラストを作り出したりできます。これによって、例えば広告配信メディアに合わせた雰囲気のバナー画像を作り出したりできる可能性があります。

画像だけでなく、テキスト広告の運用でも機械学習技術を用いた支援を行なっています。わかりやすい一例として、あるWebページの検索連動広告を自動的にそのページ自身から生成するという試みがあります。検索連動広告は検索サイトのクエリに応じて主にテキストでランキング内に表示される広告ですが、広告内容に掲載する文言は基本的に広告の運用担当者が一つ一つ入稿する必要がありました。自動生成を使うことでより適切な文言を効率的に選択することが可能となります。社内先行テストでは既に広告運用実績が実現できることが示されています。

広告バナーの自動分析

AI Labではバナー広告の内容を自動的に理解する手法を研究開発しています。広告内容を自動的に分析・理解することで、データから統計的な知見を得ることが可能となります。広告の内容は人工的なイラストや複雑なレイアウトといった視覚的要素が含まれ、一般的な自然画像向けの画像認識モデルではうまく取り扱えません。ただし、広告ならではの特徴として、画像の中身を問わず、バナー広告にはほとんど必ず訴求を示すテキストが含まれます。以前の記事で紹介した通り、この広告訴求テキストに関する知見を元に、AI Labでは画像とテキスト検出をうまく組み合わせたモデルを使って2018年に開催された広告画像理解のコンペティションを勝ち抜きました。

バナーに限らずあらゆる広告クリエイティブを自動的に認識することで、テキストによる訴求内容や表示されていた物体に関する統計的なデータ分析が可能となります。これにより、例えば特定のキーワードが最終的なクリック率に影響するといった現象を発見することが容易になります。安定した統計的データ分析のため、AI Labでは広告データに合わせた画像テキスト認識モデルを研究しています。

おわりに

機械学習は既にデジタル広告の運用に欠かせない技術となっています。機械学習による広告クリエイティブの自動生成はまだまだ実現していないことが多くある領域ですが、AI Labではこれからもクリエイターの能力を拡張するような新しい技術、新しい表現技法を実現すべく研究開発に取り組んでいます。

SIGGRAPH Asiaのマスコットデザインは公募で選ばれたらしいです．

グラフィクス系でもニューラルネットワークを使った手法が広く採用されている印象があります．その中でもpaGAN: Real-time Avatars Using Dynamic TexturesはGANによる顔画像生成を上手くアプリケーションに落とし込んでいます．

（デモビデオ）

この研究ではアクターの表情に合わせて動くリアルなアバターをたった１枚の画像から生成する手法を提案しています．頭部のテンプレート形状をアクターの動きに合わせて変形し、作成したいアバターの顔テクスチャを貼り付けて基本となる見た目のレンダリングをしています．これだけでは細かいシワや目・口内のテクスチャを綺麗に再現することは難しいので、それらディテールをGANを使って生成しています．デモビデオでは歯や目がかなり自然に描画されていることが確認できます．モバイル端末で動かすための高速化テクニックも多数組み込まれており、この手法を使ったアバターアプリはすでにApp Storeで配布されています．

線画の自動着色手法についてのTwo-stage sketch colorizationもGANを使った研究です．この研究ではこれまでの自動着色でよく見られた色の滲みを修正するニューラルネットワークモデルを追加することでより高品質な着色を試みています．こちらは以前からウェブ上にツール公開しており、発表の最後にはインターネットから取得した画像でライブデモを披露していました．まだ論文化していないようですが、独特なライティング効果をつける機能も公開しています（style2paints プロジェクトページ）．

SCORES: Shape Composition with Recursive Substructure Priorsは２つのオブジェクトから別々のパーツを組み合わせて、新しい形状を生成する研究です．この研究ではパーツのレイアウトを表現するための特徴空間の学習法とその特徴表現を使ったパーツのレイアウト調整のテクニックを提案しています．アプリケーションとして、3Dパーツを組み合わせた新しい形状の生成をしていますが、このアプローチ自体は２次元の画像にも適用することができそうです．デザイナーの作例から多様なレイアウトパターンを生成するなど広告自動生成への応用に可能性を感じます．

プロジェクトページから．(a)と(b)の色のついたパーツをもとに新しい形状(e)を生成しています．

また、サイバーエージェントとしてはExhibitionにて企業ブースの出展も行いました．

白を基調としたブース内では、これまでAVATTAで撮影をしたスキャンデータやARコンテンツなどを展示しながら、
AI Labによる研究内容及びCGチェンジャーが持っている技術の紹介、タレントCGの広告活用についてなど
様々なテーマ内容にてプレゼンテーションをしました．AI Labからは6日に山口より「Research projects at CyberAgent AI Lab」というタイトルにて研究の紹介をさせていただきました．

今回初めてSIGGRAPH Asiaに参加しましたが、多くの研究発表が完成度の高いデモを用意していることが印象的でした．研究者だけでなく、広く一般のユーザが試せるように作り込まれたものも多く、実際に使える技術の開発を重視していることが伺えます．コンピュータビジョン分野でもソースコードやデータを積極的に公開する文化はありますが、どちらかといえば研究の透明性の担保や、後続研究のための技術詳細の公開といった研究開発用途の側面が強いように思います．今後AI Labの研究成果も論文だけでなく、実社会で活用できるような形でのアウトプットを目指していければと思います．

12/4-5に開催されたコンテナ技術のカンファレンス「JapanContainerDays v18.12」にて、

アドテクスタジオの青山・長谷川・山田・和田の4名が登壇致しました 

本イベントは開催２回目にして約700名を動員するカンファレンスで、

会場は終日大変盛り上がっておりました！

本日はその様子をお届け致します！

オープニングアクトは運営のインプレスの鈴木様より。

今年の4月にエンジニア中心のテックカンファレンスとして始まった本イベントですが、

２日間で60を超えるセッション、来場者700名と大規模な内容になっており、

たくさんのサポートコミュニティに支えられていることへの感謝を述べられていらっしゃいました。

今話題のクラウドネイティブですが、海外に比べるとまだ日本は遅れているのも事実、

ここにいる全員で日本勢を盛り上げていきたいという熱い気持ちもお話しされていました。

２日間に渡るセッションでは、弊社社員も多数登壇致しました

どのセッションもたくさんの参加者で溢れておりました！

▼本番環境のKubernetesマニフェストに 最低限必要な 7 のこと/青山真也

▼runc だけじゃない low level runtime 徹底比較/長谷川誠

▼レガシーシステムのコンテナ化に挑戦した話/和田亨

▼ミドルウェア〜Webアプリまで全てをHelm化したサービスの運用事例/山田直行

今回のイベントにはたくさんのスポンサーブースや書籍コーナーがありましたが、アドテクスタジオとしてもブースを出し、

たくさんの参加者の方とお話をさせて頂きました

前回好評だったブースにて「おうちKubernetes」が抽選で当たるという企画を

今回もさせて頂いたのですが、こちらも大 盛 況でした 

応募頂いた皆様には追ってご連絡をさせて頂く予定です

▼賑わう会場…！

▼ContainerDaysマカロンも配られました！

1日目の夜に行われたAfterPartyでは、各社によるHiring LT大会が大盛り上がり！

飛び込みLTも多数あり、社長自らエンジニアを口説くシーンもたくさんありました！（笑）

スポンサーとして参加させて頂いた側としても、運営/参加者の皆様の熱量を感じ、とても素敵なカンファレンスに感じました。

これからもサイバーエージェントアドテクスタジオは

クラウドネイティブに力を入れていき、コミュニティの皆様と一緒に界隈を盛上げていきたいとおもいます！

改めて運営の皆様、登壇者の皆様、スポンサー企業の皆様、お疲れ様でした！

COLING2018

COLINGは言語処理分野の主要な国際会議の一つで、今年はアメリカ、ニューメキシコ州のサンタフェで開催されました．
今年のCOLINGではいくつかの新しい試みを取り入れています．そのうちの一つがpaper typeごとの査読です．
論文を大きく６つのグループ（NLP engineering experiment paper、Reproduction paperなど）に分け、それぞれ専用の評価項目が設定されました．再現実験や分野のサーベイなどは研究コミュニティにとって有益な研究成果ですが、これまでの国際会議では評価を受け難く、発表の機会が限られているという課題がありました．COLING’18ではこのような研究を積極的に評価する方針を打ち出し、本会議では多様な研究が集まりました．

画像に関する言い換え表現の抽出

iParaphrasing: Extracting Visually Grounded Paraphrases via an Image

大阪大学のチョ先生らと大学院在学中に取り組んでいた研究を発表してきました．
この研究では画像の説明文の中から言い換え表現を見つけ出すタスクの提案しています．
画像中のコンテンツに関する言い換え表現を理解することは、Visual Dialogueタスクなどの要素技術ですが、未だ十分な研究がされていない分野です．
今回は同じコンテンツを説明している言い換え表現のグループを抽出するため、クラスタリングを用いた手法を提案・評価しました．

（ポスター発表の様子）

気になった研究など

Deep Learning for Dialogue System

今回は対話システムのチュートリアルに参加しました．
深層学習を使った対話システムの研究が大量に紹介され、この分野に対する注目度の高さがうかがえます．
チュートリアルの資料はこちらで公開されています．

Reproducing and Regularizing the SCRN Model (Kabdolov +)

Best Reproduction Paperです．
Structurally Constrained Recurrent Network (SCRN)の再実装と追加実験でSCRNの性能を分析した論文です．
言語モデルの学習において、軽量なSCRNモデルでも適切に正規化することで、LSTMと同等の性能を達成できることを確認しています．
また、異なる言語のコーパスで評価し、ロシア語やドイツ語に関してはSCRNがより有効であるとする実験結果を報告しています．

Ask No More: Deciding when to guess in referential visual dialogue (Shekhar +)

Visual Question Answeringの研究です．
この研究では冗長な質問を抑制する方法を提案しています．
質問のやりとりを監視して「次の質問を生成する」or「答えを推定する」の2アクションを決定するモジュールを提案しています．

Workshop on Trolling, Aggression and Cyberbullying

workshopサイト
インターネットにおける問題行動に関するワークショップです．今回はshared taskとしてSNSでの攻撃的なコメントを自動識別するタスクのコンペも開催されました．招待講演では性別や年齢の詐称について解説し、自然言語処理を用いた詐称検知についての研究紹介と議論をしました．

おわりに

自然言語処理系の学会には初めて参加しました．コンピュータビジョンでも言語を取り入れたマルチモーダルタスクが研究されていますが、ビジョンでは使われていないアプローチや知見があり異分野の調査の重要性を実感しました．
8月のサンタフェは日本の秋口のような気候が最高に快適で、コンパクトな街には彫刻やギャラリーがあちこちにある楽しい街です．最後にサンタフェの写真をいくつか載せておわります．

広場で旧車の展示会をしていました．

バンケット会場の彫刻とサンタフェの特徴的な建築．

折り紙をモチーフにした彫刻．地元の作家の作品を展示した庭園やギャラリーが集合した通りがあります．