この記事では私がAI Labのリサーチインターンで取り組んだ顔交換(Face-Swapping)の研究やAI Labでのインターン生活について紹介します。

インターンで取り組んだ研究について

初めに

今回のインターンでは、顔交換(Face-Swapping)という画像生成の問題に取り組みました。顔交換は与えられたターゲット人物画像に対して、その表情や背景、髪型など(これらを属性という)を維持しながら、顔のアイデンティティだけをソース人物画像の顔のアイデンティティで置き換えるタスクです。顔交換の技術は映像制作やバーチャルアバターなどの娯楽用途のほか、顔の非匿名化などのプライバシー保護のための技術としても近年需要が高まっています。

顔交換は既に多くの既存研究がありますが、既存法ではソース画像の属性情報が生成画像に漏れ出てしまうことがあるということが経験的にわかっていました(図1)。本研究では、この問題が顔交換で広く使われている顔認識モデル(ArcFace)にあることを突き止め、顔認識モデルを顔交換用に再設計した新しいエンコーダ(BlendFace)を用いて顔交換モデルを訓練することで、この問題を解決しました。

この研究成果はコンピュータビジョン分野の難関国際会議の一つであるICCV2023に採択されています。

BlendFace: Re-designing Identity Encoders for Face-Swapping
Kaede Shiohara, Xingchao Yang, Takafumi Taketomi
IEEE/CVF International Conference on Computer Vision (ICCV) 2023

既存研究の課題と提案法

なぜ既存手法で属性情報の漏れが起きているのかを解明するため、顔認識モデルを分析してみます。顔認識モデルは同一人物のさまざまなシーンの画像が同じ埋め込みになるように訓練されており、その特徴を使って人物識別を行います。人はさまざまなシーンにおいて似たような髪型や肌の色をしているため、それらの情報も個人の特徴として埋め込まれます。ここで、図2の左側に示すように、ある人物の画像(アンカー画像)と、同一人物の別シーンの画像(赤)、異なる人物の画像(青)、異なる人物の顔を簡単な画像処理によって同一人物に置き換えた画像(黄)の4つを用意して、アンカー画像とのアイデンティティ類似度を測定しました(横軸は類似度、縦軸は件数)。

この図からわかるように、既存の顔認識モデルは置き換えた画像(黄)の類似度が本人の別シーンの画像(赤)との類似度よりも低くなっています。つまり、顔認識モデルは髪型や肌の色の情報が類似度に影響しているということが統計的にわかりました。

顔交換モデルに戻ると、これはソース画像と生成画像の顔認識モデルの特徴量によるアイデンティティ類似度を近づけようとした時に、髪型や肌の色までもを過剰に近づけさせるということを意味しています。これにより冒頭で示したような属性の漏れが発生します。

本研究ではこの問題を解決するために、属性情報が交換された画像(黄)も本人であると認識されるように属性情報を交換した画像を訓練データに用いて顔認識モデルを訓練し直しました。その結果が図2の右側で、属性情報を交換した画像(黄)の類似度が属性情報を交換していない画像(赤)の類似度に極めて近く分布していることが確認できます。このような顔認識モデルを使って顔交換モデルを訓練することで、属性の漏れがない顔交換モデルを実現できることが予想されます。顔を交換した画像(ブレンド画像)を用いて顔認識モデルを訓練することから本手法をBlendFaceと名付けています。

実際にBlendFaceを用いた顔交換モデルと既存法を比べた結果が図3です。ソース画像とターゲット画像の属性が大きく離れている場合に、属性情報の漏れによって顔の内外で不連続な領域が生じてしまっているのに対し、提案法では一貫性のある顔交換が行えていることが確認できました。詳細はぜひ原論文を確認してみてください。

サイバーエージェントでのインターンについて

インターンの参加経緯

応募当時は博士課程が始まった直後だったため就職活動は意識していませんでした。サイバーエージェントAI Labの博士インターンがアツいらしいという割とぼんやりとしたイメージと、インターンで大きな成果を生み出したいという圧倒的モチベーションがあり応募しました。他社の研究開発のインターンとも迷いましたが、自分の所属研究室のOBOGの方が複数人AI Labに勤めているということもあってサイバーエージェントを選びました。

研究テーマについて

修士課程の時にディープフェイクの検出の研究をやっていたので、広告のためのアバター生成を研究しているGraphicsチームにて、顔の生成に関する研究を提案しました。このように募集テーマから選ぶだけではなく、自分でテーマを提案できるのもAI Labのインターンの利点です。

インターン生活

サイバーエージェントAI Labの博士インターンでは2ヶ月間、正社員の方と同様にフルタイムで研究開発に取り組みます。自分の場合は週に1度のメンター・チームリーダーとの進捗報告ミーティング以外は黙々と実装や調査・実験を繰り返していました。そのため、社員の方やインターン生と昼食を食べるのが良い息抜きになりました。また、Graphicsチームでは週に1度カジュアルミーティングという、研究だけではなく生活等の話題を持ち寄って話す会があり、社員の方の多様な私生活やワークライフバランスについて聞くことができたのは面白かったです。

私の研究については、持ち込みテーマではありますが顔の生成については今まで研究として取り組んだことがなかったので、既存法のコードを見て理解するところから始めました。結果として2ヶ月では国際会議に投稿するほどの成果を出すことができませんでしたが、この期間に色々な実験を行ってじっくりと基礎を固めることができたのが後の国際会議採択に繋がったと感じています。

インターンを通して特に印象に残っているのはAI Labの非常に整備された環境です。社内GPUサーバなどのインフラ管理の部門がAI Labとは別に存在していたり、PCの社内ソフトのセットアップでわからないことがあった時にすぐに対応していただけるサポートデスクがあったりと、会社としての強みというのを存分に感じました。また、渋谷駅直結のスクランブルスクエアにオフィスがあるので、通いやすい、オフィスが綺麗という精神衛生上の利点や、飲み物飲み放題、割安の弁当がオフィス内で販売されているなどの間接的な経済的支援もあり、国内有数の働きやすい研究組織であること間違い無いでしょう。

インターン後の生活

インターンが終了してからは、論文投稿に向けて具体的に目標を立てて研究を進めていきました。当初は11月に投稿締切のCVPR2023に向けて動いていましたが、実験が間に合わず、納得のいかないものを投稿せざるを得なくなってしまい、その結果リジェクトされてしまいました。その後、大幅な修正を加えてICCV2023(3月投稿締切)に投稿し無事採択されました。

リサーチインターンに参加してみて

サイバーエージェントAI Labでのインターンは、国内トップレベルの研究者に囲まれながら研究に取り組める非常に刺激的な体験でした。社員の方はもちろんのこと、周りのインターン生も優秀な方ばかりで、モチベーティブな環境で研究に集中することができました。

特に私の場合は、自身の専門(コンピュータビジョン)とは少しだけ異なるコンピュータグラフィックスのチームを希望して所属させていただいたため、初めて知ることが多く非常に学びが多かったです。

優れた環境とメンターやチームリーダーの手厚いサポートのもとで難関国際会議への論文投稿、採択に繋げることができ、非常に良い経験になりました。
もし参加を迷われている方は一度応募してみてはいかがでしょうか。

AI Labの接客対話エージェントチームが、
昨年に引き続き、11/11-13にオンライン開催されるHAI2020にゴールドスポンサーとして参加します！

最後に、AI Labでは一緒に働く研究員を募集しております！
ご興味がある方はこちらをどうぞご参照ください。

当日はスポンサーコンテンツの中でQ&Aタイムもご用意しておりますので、
当社に関することやAI Labの研究内容などについて、お気軽になんでも聞いていただけると嬉しいです。

それでは、HAI2020で皆さんにお会いできることを楽しみにしております！

接客対話エージェントチームのリサーチャー紹介

馬場 惇　Jun Baba
2014年に京都大学情報学研究科を修了後、新卒でサイバーエージェントへ入社。
DSP事業におけるロジック開発責任者を経て、人工知能技術の研究開発組織「AI Lab」の設立に参画。
現在は、AI Labの接客対話グループのリーダーとして石黒研究室との産学連携を担当。
大阪大学基礎工学研究科 招聘研究員。

岩本 拓也  Takuya Iwamoto
2013年北陸先端科学技術大学院大学　知識科学研究科 修了。
対面のコミュニケーションを拡張させるインタラクティブ技術の研究に従事。
2019年に「ロボットを使った人間が会話を行わない婚活パーティ」を実施。
CCSE、WISS、HCI研究会、IPSJ-ONEの運営委員を務める。

尾崎 安範　Yasunori Ozaki
2014年東京大学大学院 情報理工学系研究科 修了。
2014年NTT 入社。センサデータを用いた非言語インタラクション技術の研究開発に従事。
2019年サイバーエージェント入社。
現在、AI Labにて接客対話グループのReseach Scientistとしてインタラクション技術の研究開発に従事。
大阪大学基礎工学研究科 招聘研究員兼務。

宋 思超　Sichao Song
株式会社サイバーエージェント AI Lab研究員。
接客対話グループのReseach Scientistとして遠隔操作ロボットの研究開発に従事。
大阪大学基礎工学研究科 招聘研究員を兼任。
2019年総合研究大学院大学にて情報学のPh.D.取得。
2013年ノルウェー University of Osloにて情報学修士課程修了。

今回はそれぞれが気になった研究発表について報告します．AI Labからは大谷が阪大のGarcia氏との共著でポスター発表，森下・阿部が強化学習のワークショップでポスター発表をしたのでその様子も報告します．

強化学習の研究発表

強化学習と言えば深層強化学習のアルゴリズムを改善し，Atari 2600 Gamesなどのドメインでstate-of-the-artな結果を出す，という研究が最近までは多かった印象でしたが，今回のAAAIではそのような研究はあまり見受けられませんでした．

深層強化学習に関する研究としては，text-based gameを対象ドメインとした研究がいくつか見られました．text-based gameは強化学習環境とのインタラクションを自然言語を用いて行うようなゲームであり，強化学習の新しい対象ドメインとして近年注目を浴びてきています．また，StarCraftなどのゲームで部分的に観測できる情報をもとに，ゲームの隠された状態を推定する研究についての発表もあり，特定のドメインで発生する問題を部分問題として捉えて解決するような研究がチラホラ見られたのが印象的でした．

AAAIでは古くからゲーム理論系の研究が多く投稿されていますが，今年はマルチエージェント強化学習に関する研究でもゲーム理論を応用したものも多く見受けられました．特に，ナッシュ均衡を始めとした均衡に収束する保証が理論的に与えられるようなマルチエージェント強化学習アルゴリズムを提案する研究や，各エージェントが利己的に学習するなかで協力関係を達成する方法を検討する研究が多かったように感じました．以下ではそれらの研究の中の一つを紹介したいと思います．

Partner Selection for the Emergence of Cooperation in Multi-Agent Systems Using Reinforcement Learning

マルチエージェント強化学習において，各エージェントが利己的に自分の報酬を最大化するように学習を行うと，ときとして自分以外のエージェントの報酬を搾取するように学習してしまい，全エージェントの獲得報酬の合計（社会的厚生）が悪化してしまう社会的ジレンマという状況が起こることがあります．これは各エージェントからすると他のエージェントの報酬を搾取するような戦略を取ることが合理的な選択肢に見えるために発生します．本来社会的厚生を最大化できるはずの協力関係を達成することができないジレンマを解決するということは，マルチエージェント環境において非常に重要な問題となっています．

この研究では，共にゲームをプレイするパートナーを複数のエージェントの中から選択できるPartner Selectionというフェーズを設けることによって，エージェントが協力するように学習することを実験的に示しています．Partner Selectionでは他のエージェントが直近数ゲームで取った行動を観測することができ，これをもとにどのエージェントとゲームをプレイするかを選択します．誰とプレイするかを選択できるようにした結果，各エージェントは搾取をしようとしてくるエージェントに対して報復的な行動を取るように学習するなどの段階を経て，最終的に協力的な行動を取るように学習することが実験的に示されています．

パートナーを選択するという非常に簡単な意思決定フェーズを追加することで，協力関係を達成するように学習することは興味深い結果だと思いました．このような簡単な仕組みの変更だけで実世界において発生している社会的ジレンマを解決できるのであれば，それは素晴らしいことだと思うので，より複雑なゲームでも同様に協力関係を達成できるかを検証することは一つの夢が広がる方向性だと感じました．

ゲーム理論の研究発表

阿部・森下でReinforcement Learning in Gamesと呼ばれるゲーム(ビデオゲームのゲーム + ゲーム理論のゲームの２つの言葉がかかっている)における強化学習に関するワークショップで発表を行いました．DeepMindの人たちが主催となっており，invited talker含め，かなり有名な方達がいらっしゃいました．例えば，去年，プロのポーカーに圧勝したアルゴリズムを開発したNoam Brown．その指導教員であり，コンピューターサイエンスにおけるゲーム理論研究者ではダントツの成果を挙げているCMUの教授 Tuomas sandholmなどです.

ポスターセッションでは，広告オークションにおける最適な入札額を決定するアルゴリズムの研究を発表しました．以下のリンクから，このワークショップのページに飛べます．そこから自分たちの論文も読むことができます.

 AAAI-20 Workshop on Reinforcement Learning in Games

本会議のゲーム理論のセッションでは，混雑ゲームにおける研究が目につきました．AAAIでは２本あったのですが，どちらも日本人で，池上氏ら(東京大学経済学部博士課程在籍)の研究と中村氏(NTT基礎研究所)の研究です．日本から混雑ゲームの研究が，AAAIというトップ会議に，２本も通っているというのは，非常に驚くべきことだと思います．

今回は，池上氏らの研究を少し紹介しようと思います．この研究では，エージェントから情報を聞き出し，混雑が緩和されるようなルートを提示するメカニズムを設計します．メカニズムデザインでは，虚偽の申告をしないようなメカニズムを設計するのが望ましいとされています．コンピューターサイエンスでは，differential privacyという性質を使って，虚偽の申告をしないようなメカニズムを設計することが多いです．しかし，混雑ゲームというクラスにおいては,  正直申告を担保するには，実はdifferential privacyの性質はいらないということを示したのがこの論文です．理論的には2人のみですが，実験的には，2人以上でも問題ないことを示しました．

経済学を研究してきた人たちがコンピューターサイエンスのメカニズムデザインに風穴を開けた良い研究だと思いました．

コンピュータビジョンの研究発表

今回は阪大のGarcia氏との共著”KnowIT VQA: Answering Knowledge-Based Questions about Videos”のポスター発表に参加しました．動画の質問応答に外部知識が必要な質問を取り入れる研究です．Garcia氏がかっこいいサイトを作ってくれたので興味があれば見ていってください．

プロジェクトページ

今回は欠席者が非常に多く，かなりのオーラル発表がビデオプレゼンテーションでした．今回は仕方のないことですがポスターも発表者なしが多かったです．コンピュータビジョンのセッションは動画の上映会になることが多かったのですが，その中でもこのフォントに効果をつける研究はプレゼン動画のクオリティの高さが印象に残りました．手法自体もうまいことテクニックを組み合わせて高品質な効果の付与を実現できているようにみえます．

他にはTransformerを利用したMultimodal encoderの事前学習があります．画像から抜き出したパッチ列と対応する文のペアデータから，vision&languageタスクに有効なモデルを事前学習しようというアイディアです．このアイディアに基づく研究が今回は２本（Unified VLP，Unicoder-VL）採択されています．調べてみると同時期に同じようなアイディアの論文がarXiv等に少なくとも５本出ており，ここ最近のvision&langauge分野の研究スピードの凄まじさを実感します．

イベント

今回はチューリング賞受賞者三人の講演とパネルトークがありました．このイベントは全編録画が公開されています．それぞれの講演では現在主流の深層学習手法の限界に触れ，今後の研究の方向性についての考えを紹介しています．G. Hinton氏は「次のCupsule Netこそいける！」と力説していて，ニューラルネットを諦めなかった研究者の情熱を見た気がしました．パネルトークでは大学での研究のあり方や研究成果が認められないときはどうしたらいいか？などの話題で盛り上がっています．

ニューヨークの思い出

AAAIの期間中，日本からの参加者の方達とステーキを食べに行きました．お肉の量もさすがアメリカ，巨大サイズでした．

またニューヨークといえば，ブロードウェイ．上演中のウィキッドを見に行きました．圧巻のパフォーマンスとアメリカ特有の観客の盛り上がりを経験できました．

さいごに

扱うトピックが広いので普段馴染みのない分野の研究発表をみれたのはよかったです．SNSやクラウドファンディングサイトなど多様なデータを使って問題解決を目指す研究プロジェクトは参考にしたいと思いました．来年はカナダのバンクーバー開催だそうです．１年後にどんな研究が議論されているのか楽しみです．

AI Labの大谷と山口(@kotymg)です。10月に韓国ソウルにて開催されたコンピュータビジョンの国際会議ICCV 2019に参加してきました。こちらの記事で簡単に参加報告させていただきます。

ICCVについて

ICCVはコンピュータビジョン研究の3大トップカンファレンスの一つに位置付けられる権威のあるカンファレンスで、隔年開催となっています。AI Labからは2017年に続いての参加となります。2019年のICCVは4303件の投稿、1075件の採択と、ここ数年の分野の人気に伴って過去最大規模になりました。規模こそ同分野トップカンファレンスのCVPRよりも若干小さいものの、会場となった巨大なCOEX展示場には7000人を超える参加者が集まりました。発表件数の増加に伴い、今回のICCVではCVPR 2019同様にショートオーラル形式による発表方式となり、その他は全てポスター発表という形態になりました。

ICCV 2019 オープニングセレモニー

写真は会議のオープニングセレモニーの様子です。オープニングセレモニーでは会議への投稿や参加者の統計について公表がある他、いわゆるベストペーパー賞に当たるMarr Prize他、各種の表彰が行われます。近年は人工知能分野の学会では中国と米国からの研究発表が圧倒的に多い傾向がありますが、ICCVもご多分に漏れずこの2国からの採択数が圧倒的に多く見られました。

AI Lab関連の研究発表

AI Labからは残念ながら今回本会議の発表はなく、併催のワークショップにて二件の研究発表をさせていただきました。

Adaptive Gating Mechanism for Identifying Visually Grounded Paraphrases

Mayu Otani, Chenhui Chu, Yuta Nakashima

Regularized Adversarial Training for Single-Shot Virtual Try-On

Kotaro Kikuchi, Kota Yamaguchi, Edgar Simo-Serra, Tetsunori Kobayashi

研究動向について

前回のICCV 2017に比べてICCV 2019で研究発表のタイトルに出現する割合の高くなったキーワードは以下のようなものでした。抽出方法は、ICCV 2019とICCV 2017論文タイトルからunigram/bigramを抜き出し、その出現頻度を会議全体の出現数で割った割合の変化が大きかったものから、目についたものを掲載しています。

• Object Detection
• Aware
• Guided
• Graph
• Point Cloud
• Person Re-Identification

ICCV 2017と比べてObject Detectionが多く見られるようになったことは意外に思えますが、単純な2D DetectionではなくVideoや3Dを対象にした手法や、ドメイン転移を考慮したDetectionのように、様々な環境でのDetection手法が提案されるようになったことが理由でしょう。AwareやGuidedはモデルの学習時に何らかの補助的情報を利用する手法によく見られるキーワードです。Graphが出てきたのはScene GraphやGraph Convolutionといったグラフ構造を考える手法が増えたためと見られます。Point Cloudは三次元点群を対象とした研究に出てきますが、ニューラルネットワークで三次元データを扱う研究はここ最近増えていることが反映していると考えられます。また、Person Re-Identificationは実応用にかなり近いタスクですがベンチマークデータも整備が進んだことで発表件数が増加しているようです。

この他にも全体の中の割合として大きな変化があったわけではありませんが、Image Synthesis、Domain Adaptation、Human Poseといったトピックでの研究発表が目につきました。

クリエイティブ制作に関連する研究紹介

AI Labではグラフィックデザインや動画制作などのクリエイティブ制作に関連のある研究に着目しています。今回のICCVでもクリエイティブ制作に関係がある研究発表がいくつもありました。特に我々が注目する研究発表を以下に数件紹介します。

InGAN: Capturing and Remapping the “DNA” of a Natural Image
Assaf Shocher, Shai Bagon, Phillip Isola, Michal Irani
[Paper] [Project] [Github]

InGANでは一枚の画像（赤枠）を入力として多様なサイズの画像を出力できる（論文中Figure 1より引用）

InGANは一枚の画像から敵対的生成モデルを学習する試みで、ICCV 2019でMarr Prizeを受賞したSinGANに設定は似ています。画像から小さなサイズの領域パッチをサンプルして生成モデルを学習することで、異なるサイズ、アスペクト比の画像を生成することが可能となります。広告制作でも異なるサイズのバナーデザインを制作することはよくありますが、テキストや飾りを載せる前の背景のような画像を使う際にデザイナーを強力に支援してくれそうです。

Controllable Video Captioning With POS Sequence Guidance Based on Gated Fusion Network
Bairui Wang, Lin Ma, Wei Zhang, Wenhao Jiang, Jingwen Wang, Wei Liu
[Paper] [Github]

POSタグによる生成キャプションの操作例（論文より引用）

POSタグ列を使って、動画キャプションの生成結果をコントロールする手法です。動画のキャプションと同時にPOSタグ列を予測するモデルですが、実験ではこの予測POSタグを操作することで多様なキャプションを生成する方法を提示しています。AI Labでは広告コピーの生成にも取り組んでいます。この論文で提案されたフレームワークを発展させることで、バナー画像/動画などのビジュアルコンテンツを考慮したコピーの生成が期待できそうです。特に異なるPOSタグテンプレートを用いた多様なキャプションの生成は、ユーザごとに様々なバージョンのコピーを作る必要があるインターネット広告では嬉しい性質です。

Seq-SG2SL: Inferring Semantic Layout From Scene Graph Through Sequence to Sequence Learning
Boren Li, Boyu Zhuang, Mingyang Li, Jian Gu
[Paper]

上から入力のscene graph、予測されたレイアウト、入力scene graphに対応する元画像。（論文より引用）

Scene graphからレイアウトを予測する手法です。Scene graphとレイアウトをタグの系列として表現することで、レイアウトの生成タスクをsequence to sequenceモデルの学習に落とし込んでいます。バナー画像自動生成において、このようなレイアウト予測は重要な要素技術です。オブジェクトや背景の相対的な位置を予測するこの手法は、与えられた素材画像やテキストなどの要素を自動で配置するバナーデザインシステムに応用できる可能性があります。

おわりに

ICCVではDetectionやSegmentationのような主要なコンピュータビジョンの研究トピックが継続して多く発表されていましたが、それに加えて画像生成のようにタスク自体が難しいものや、三次元点群のようなデータ構造を対象にニューラルネットワークを活用してend-to-endに課題解決する手法など、新しいことに果敢に挑戦する研究が多く見られたように感じます。

AI Labではコンピュータビジョンを活用してテキスト、グラフィックデザインなどの広告制作を支援する技術を研究開発しています。研究成果は会社事業に使われるだけでなく、ICCVをはじめとする学術会議で発表することを奨励しています。我々のチームに興味のある方は採用のページもぜひチェックしてください。

AI Labの対話エージェントチームが、
10/6-10に京都で行われるHAI2019にゴールドスポンサーとして参加します！
HAI（Human-Agent Interaction）とは、文字通り「人間」と「エージェント」との「インタラクション」を対象とした研究領域で、HAI2019はあらゆる知的システムと人とのインタラクションにフォーカスした議論が行われる国際会議です。
※ This blog is written in Japanese for Japanese participants.
We will be explaining our research details in English at the booth. Let’s discuss it in English!

HAI 2019
HAI（Human-Agent Interaction）とは、文字通り「人間」と「エージェント」との「インタラクション」を対象とした研究領域で、HAI2019はあらゆる知的システムと人とのインタラクションにフォーカスした議論が行われる国際会議です。
今回は7回目の開催で、前回イギリスで開催された第6回会議では、「ホテルおもてなしロボット」と「感情制御チャットボット」について発表をし、様々な方と議論することができました。

今回は、AI Labでゴールドスポンサーとしてブースでのデモ展示を行います。
また、共同研究講座で参画いただいている中西先生が「ホテルおもてなしロボット」に関するポスター発表を行います。

スポンサーブースでのデモ展示

スポンサーブースでは、東京都による先端テクノロジーショーケーシング事業で採択され、
今年の8月に「竹芝夏ふぇす」にて実証実験を行った「操作者の能力を向上させる遠隔操作ロボット」を展示します。
近年、サービス業における人手不足が課題となっており、業務効率化や自動化が進む一方、働き改革の一つとして遠隔勤務（リモートワーク、テレワーク）が注目されています。
働き手が時間や場所、スキルの制約を受けずに遠隔からロボットを操作し、誰でも簡単に操作できるインタフェースを通して、働き手＝操作者の表現が感情豊かに拡張され、ロボットを通してより良い接客ができるシステムを目指しています。
当日ご参加される方はぜひ、操作とロボットによる接客をご体験ください。　　　　　　　

　　　　　　　　　　（遠隔操作ロボットシステムと実証実験の様子）

その他にも、スポンサーブースではAI Labの研究をまとめた冊子や当社キャラクターのアベマくんグッズもご用意する予定です。当日は、研究チームのメンバーがブースにおりますのでぜひお越しください！

ポスターセッション

発表日程　10/7（月）13:00-15:30
“How to Enhance Social Robots’ Heartwarming Interaction in Service Encounters”
発表代表者：中西　惇也 先生（大阪大学 特任助教）

どのような対話ロボットが気遣いや心配りを通じた良い感情経験の提供をどの程度できるのかを調べるために、
インタラクション中の “warmth” を計測し、どのようなインタラクションが良い感情経験に影響を与えるのかを考察しています。

中西 惇也　Junya Nakanishi

大阪大学 基礎工学研究科 システム創成専攻 修了
2018年4月より 基礎工学研究科 特任助教（常勤）専任

研究内容：人とインタラクションを行うエージェント，人型対話メディア，情動支援

最後に、AI Labでは一緒に働く研究員を募集しております！
ご興味がある方はこちらをどうぞご参照ください。
当日は下記メンバーがお待ちしておりますので、弊社に関することやAI Labの研究内容などについてお気軽になんでも聞いてください。

HAI2019で皆さんにお会いできることを楽しみにしております！

当日参加するメンバー紹介

馬場 惇　Jun Baba
2014年に京都大学情報学研究科を修了後、新卒でサイバーエージェントへ入社。
DSP事業におけるロジック開発責任者を経て、人工知能技術の研究開発組織「AI Lab」の設立に参画。
現在は、AI Labの接客対話グループのリーダーとして石黒研究室との産学連携を担当。
大阪大学基礎工学研究科 招聘研究員。

岩本 拓也  Takuya Iwamoto
2013年北陸先端科学技術大学院大学　知識科学研究科 修了。
対面のコミュニケーションを拡張させるインタラクティブ技術の研究に従事。
2019年に「ロボットを使った人間が会話を行わない婚活パーティ」を実施。
CCSE、WISS、HCI研究会、IPSJ-ONEの運営委員を務める。

尾崎 安範　Yasunori Ozaki
2014年東京大学大学院 情報理工学系研究科 修了。
2014年NTT 入社。センサデータを用いた非言語インタラクション技術の研究開発に従事。
2019年サイバーエージェント入社。
現在、AI Labにて接客対話グループのReseach Scientistとしてインタラクション技術の研究開発に従事。
大阪大学基礎工学研究科 招聘研究員兼務。

宋 思超　Sichao Song
株式会社サイバーエージェント AI Lab研究員。
接客対話グループのReseach Scientistとして遠隔操作ロボットの研究開発に従事。
大阪大学基礎工学研究科 招聘研究員を兼任。
2019年総合研究大学院大学にて情報学のPh.D.取得。
2013年ノルウェー University of Osloにて情報学修士課程修了。

もくじ

• ACL について
  • ACL とは
  • ACL 2018 の全体感
    • 概要
    • ACL 2018 について
    • ベストペーパー紹介
    • 自然言語処理分野のトレンド
    • アプリ
    • 開催地メルボルン
• 研究紹介
• まとめ

ACL について

ACL とは

Annual Meeting of the Association for Computational Linguistics (通称 ACL) は、年次で開催される計算言語および自然言語処理分野においての世界的な権威を持つ学術会議であり、今年はオーストラリアのメルボルンで 56 回目の開催を迎えました。
ちなみに、去年 (2017年) はカナダのバンクーバーで、来年 (2019年) はイタリアのフィレンツェで催される予定であり、「北米」「アジア・オセアニア」「ヨーロッパ」と開催地を巡回しています。

余談になりますが、ACL のロゴは一見よく分からない奇特な形をしていますが、その実は ACL のアルファベットを組み合わせたものらしいです¹。

ACL 2018 の全体感

概要

開催期間は表1のようになっていて、初日の 7/15 (日) がチュートリアルで、7/16 (月) 〜 7/18 (水) が本会議、その後の二日間の 7/19 (木), 7/20 (金) がワークショップとかなり長い日程になっています。

開催場所は Melbourne Convention and Exhibition Centre という名前のメルボルン市内にあるコンベンションセンターで、端から端まで約 400m 以上と非常に広い会場でした。

また、地理的にも市内の中心部に位置しており、詳細は「開催地メルボルン」で書きますが観光などのアクセスがとてもしやすかったです。

ACL 2018 について

今年の論文投稿数および採択数、採択率は表2のようになっています。
数値を見ていくとロングペーパーとショートペーパーを合わせて 1500 件以上の投稿数に上っており、そのうちの約 1/4 が採択されている状況でした。

過去の投稿数と採択数の推移を見ると、多少のブレはあるものの増加傾向にありますが、ICML などの機械学習をメインとした国際会議²と比べると緩やかな増加でした。それでも10年前の2008年と比較すると約2倍の増加と盛り上がっていることが見て取れます。

採択率に関しては年々 20〜25% 程度を維持しており、他の NLP の国際会議と比べると安定して難関を貫いている印象です。

また、今回の ACL で少なからず話題を集めたのはなんと言っても AACL の発表でしょう。

AACL は Asis-Pacific Chapter of the Association for Computational Linguistics の略で、いわば ACL のアジア・環太平洋版と考えてよいでしょう。
EACL, EMNLP, NAACL に続く4つ目の地域限定開催の会議となり、これも言語処理分野の規模拡大を物語っています。
なお、図4のスライドにも書いてありますが、現アジア圏で開催されている IJCNLP との棲み分けは開催年になっています。IJCNLP は奇数年開催で AACL は偶数年開催になっていて、AACL の初回開催は2020年になる予定です。

ベストペーパー紹介

今回の ACL ではロングとショート合わせて5本のベストペーパーが選び出されました。

• ロングペーパー
  • Finding Syntax in Human Encephalography with Beam Search
  • Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information
  • Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers
• ショートペーパー
  • Know What You Don’t Know: Unanswerable Questions for SQuAD
  • ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions

これら各論文の概要は「研究紹介」に簡単にまとめていて、以下は全ベストペーパーを通しての所感です。

• 従来のタスクに対して state-of-the-art を更新した系のものではなく、新しいタスクの定義やデータセットの作成に関する話が多かった印象を受けた
• 言語処理だけに囚われずに他分野（視覚情報、脳科学）に横断するタスクが評価されたのは非常に良い傾向だと感じた

自然言語処理分野のトレンド

オープニングではワードクラウドで昨年と今年のトレンドを表現していました。

それを眺めてみると、2017年は Knowledge, Detection, Attention などの単語が多かったのに対し、今年は Learning, Embeddings などの単語が多かったです。
全体を通してみても2015, 2016年まで非常にホットだった Embeddings の話題が落ち着きを見せた2017年とは打って変わって、今年はまた盛り上がりを見せていました。ただ、以前の「なんとか2vec」のような様々なものを埋め込んでみました、というのではなく、サブワードや形態素で単語や文を扱ったりと埋め込み方を工夫した研究が多かった印象です。
また、ここ2, 3年でかなり数を減らしていた sentiment に関する研究も、embeddings の再興に引っ張られるように今年は例年と比べてその数を増やしていました。というのも、その多くが sentiment タスクを新しい手法の embeddings を使って解いた研究だったからです。word2vec が2013年に発表され話題を呼んでから約5年経ちましたが、まだまだ活発な活動が期待できそうです。
サブワードや形態素という、単語レベルより小さく文字レベルより大きい単位での扱いも浸透し始めてきている印象です。やはり単語レベルだと同義語や未知語などに対処できなくて、文字レベルだと特にアジア圏の漢字などスパースネスを起こしそうな言語には不向きという方向性はある程度共通でした。ここの部分はこれからもさらなる発展を遂げていきそうです。

手法に関しては、Encoder-Decoder に (Bi)LSTM + Attention を使ったものが非常に多かったです。2017年のワードクラウドに多くあった Attention が今年少なかったのはもはや常識となったためあえてタイトルに付けなくなったのが原因なのではないかと推測されます。
一方でやはりといいますか、CNN を使った手法は少なく、画像系と違って言語分野ではシーケンシャルな RNN ベースな手法が支配的と見て取れます。

アプリ

とても便利だったため紹介したいと思います。
Whova というイベント用アプリの利用を公式から推奨していて、学会運営からの連絡や Author への DM、TimeSchedule 等一貫してこのアプリ1本で完結します。
同時期に開催された IJCAI でも使われていたとのことで、案内が紙媒体だけの学会など特に導入してほしいです。

開催地メルボルン

会場

トップカンファレンスということもあり、相変わらず広く豊かな会場で開催されました(参加人数1500人超)。

メルボルンという都市

今回の開催地に選ばれたメルボルンという都市は、南半球に位置しているため季節が反転していて、夏の日本とは反対に冬の真っ只中で非常に寒かったですが、それでも過ごしていく上での満足度に関して言えば、我々の経験内ではかなりの上位に位置すると確信しました。

その理由は以下に大別できます。

• 街の綺麗さ
• 治安の良さ
• 食べ物の美味しさ
• 移動の便利さ

街の綺麗さは語るより写真を見たほうが早く、いたるところに緑がありゴミも比較的少なかったです。もちろん裏路地などに足を踏み入れるとなるとダークな雰囲気を感じられますが、それはまあスパイスということで。

治安に関して、海外はやはり日本と比べてあまり良くない印象を受けることが多々あるのですが、自分たちが活動する範囲に関しては夜中に出歩いててもいつもと変わらないのどかさでした。

加えてなんと言ってもご飯やコーヒーが美味しい点は挙げずにはいられないでしょう。
メルボルンはカフェで有名な街でもあり、あちこちに焙煎されたコーヒー豆が香るお店でひしめき合っています。約一週間の滞在中に多くのカフェに足を踏み入れましたが、ひとつとして外れはなくどのお店でも美味しいカフェラテを可愛いラテアートとともに提供してくれました。

メルボルン市内を移動する際は、公共交通機関のひとつであるトラム――いわゆる路面電車――を使うことが非常に多かったです。というのも、血管のごとく張り巡らされた路線網で縦横無尽に駆け抜けられるからです。さらに市の中心部のトラムはなんと無料で乗車できるため、気軽に乗って気軽に降りることができ、我々のような初めて訪れる人だけでなく現地の人々の貴重な足にもなっていることが分かります。

まだまだ語り尽くせないほどの魅力を感じますが、あとはぜひご自身の目で確かめてみてください。

研究紹介

ここではベストペーパーを含む8本の気になった研究を紹介したいと思います。間違いなどがありましたらご一報をいただけると幸いです。

[BEST LONG PAPER] Finding Syntax in Human Encephalography with Beam Search³

• DeepMind, Oxford University, University of Michigan, Cornell University
• 構文木を表現する文法モデルの RNNG とビームサーチを組み合わせた生成手法における複雑さの指標と、人間が文・文章を聞いて発生する P600 などの脳波成分とは有意な相関関係にあることを示した論文。

[BEST LONG PAPER] Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information⁴

• University of Maryland, Microsoft Research
• 情報が不足している質問に対して、いかに不足情報を補えるような適切な質問を行えるかを測る Clarification Question Ranking というタスクを定義し、そのためのデータセットを作成し、解くためのモデルを提案。
• モデルの方は EVPI (Expected Value of Perfect Information, 完全情報の価値の期待値) を使って質問と回答のスコアを算出している。

[BEST LONG PAPER] Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers⁵

• McGill University, MILA
• Adverbial Presupposition Triggers: 前提条件の存在を示す副詞
  • 例えば、”John is going to the restaurant again.” という一文があった時に、”again” があるということは John は以前そのレストランに行ったことがあることが分かる。このような副詞のことを Adverbial Presupposition Triggers という。
  • “again” 以外にも “too”, “also”, “still” などが挙げられる
• このような副詞が文章に必要か否かを判断するタスクで、文脈を理解することに繋がるため要約や対話分野に適応できる。
• BiLSTM + self-Attention モデルで予測を行ったところ従来手法よりも高い性能を示せた。

[BEST SHORT PAPER] Know What You Don’t Know: Unanswerable Questions for SQuAD⁶

• Stanford University
• スタンフォード大学で作られた質問応答タスク用のデータセットである SQuAD のバージョン2で、v1 にはなかった設定として答えがない質問が追加された。v1 では F1 が 85.8% の state-of-the-art 手法を v2 で試したところ 66.3% に下がった。ちなみに v2 の人間による正解 F1 は 89.5% 。

[BEST SHORT PAPER] ‘Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions⁷

• Columbia University
• 言語情報と視覚情報を組み合わせた論文。
• RGB 値と比較となるような単語（”lighter”, “more neon”, “rustier” など）を与えることで、RGB の色空間内で比較を行い、単語の意味に即した色を返してくれる設定でデータセットの作成とモデルの提案を行った。

Illustrative Language Understanding: Large-Scale Visual Grounding with Image Search⁸

• Google Brain
• 視覚的な情報を取り入れて多様的かつRichな言語表現を獲得するInverse Picturebookを提案
• Seed Word -> Google Image Search -> Embedding by CNNで手に入れた表現に似た単語を探すことで言語の壁を超えたEmbeddingが可能に
• 単語の類似性、感情分類、機械翻訳等様々なNLP Taskで評価実験
• “deep”で海・AI両方の多様的表現を捉えていたり、異なる言語で”太陽”が類似したり、”it”ならばテキスト特徴だけでは得られないホラー映画の”怖い”的な概念が手に入る

Whodunnit? Crime Drama as a Case for Natural Language Understanding⁹

• Amazon, University of Edinburgh
• 探偵ドラマから犯人予測
  • セリフ/シーン説明(テキスト特徴)、シーン映像(画像特徴)、BGM(音特徴)の3入力
• データは各セリフ+シーン説明それぞれに対し、犯人or notのラベルを、動画を3分ずつに区切って一生懸命アノテーションして用意
• シーン説明(biting his nails等)とBGMが意外と効くとのこと
  

Measuring the Evolution of a Scientific Field through Citation Frames¹⁰

• University of Michigan, Stanford University
• ACL論文中の引用の傾向からNLPの発展をいろいろ分析
• 引用表現のCompareが減少、Usesが増加という全体傾向から手法が飽和してきている
• ACL WorkShopと本会議の論文の引用の類似度が高まっていて、特にLong-RunningなWorkshop程体裁が本会議に近づいている
• 引用含め諸々のテキスト特徴から論文を本会議orWorkshopかの分類器も作成、そこそこ分類できた
  • Workshop論文の引用表現はCompareが少なくUsesが多い

ひとこと

次はぜひとも発表で参加したいですね。それでは！

著者

peinan

chck

CVPR 2018

CVPR はコンピュータビジョン分野において ICCV, ECCV と肩を並べるトップカンファレンスです。 昨年はハワイで開催されました。

開催地はアメリカ合衆国のユタ州ソルトレークシティ、会場はソルトパレスコンベンション・センターです。 ソルトレークシティはモルモン教徒が拓いた町として知られており、市街地には立派な聖堂が存在しています。 2002年の冬季オリンピックの開催地としても有名ですね。
会期中の現地の天気は概ね晴れており屋外の強い日差しと会場の冷房のギャップに悩まされつつも毎日ホテルと会場を往復していました。

今年は参加者数が約6,000人、投稿論文数3,000件以上と昨年同様過去最高を更新しています。
論文についてはさらにその中から979件が採択され、オーラル・スポットライト・ポスターのそれぞれの枠での発表となりました。

Best Paper Award は Taskonomy: Disentangling Task Transfer Learning [Zamir et al.] です。
コンピュータビジョンにおけるタスク間の転移学習の行いやすさについて分析し、グラフとして可視化。 関係の強いタスク同士は転移学習においてより少量の学習データで高い性能を出すことができ、学習の効率アップが期待できるとしています。

会場内はとても広く、目当ての発表を聴きに行くための部屋移動だけでかなりの時間がかかります。
特に巨大な展示ホールでは本会議ポスター発表や企業からの Expo ブースの出展が数多くされたのですが、それでもスペースが余ったのかソファやデスクなどの休憩所や卓球台まで。 議論の合間に軽く汗を流す参加者の姿が見受けられました。

さらに今年は会期とワールドカップの開催期間が重なっており、リアルタイム上映用の大スクリーンも設置。 試合中は大勢の参加者がスクリーンに釘付けになり、決定的瞬間の際には大歓声が会場内に響き渡ります。

そして本会議1日目の夜には会場からほど近い広場にて Social Event が開催。 料理やお酒を頂きつつパフォーマンスショーやバンド演奏がなされ、夜が更けるに連れてステージ前は曲に合わせて踊り出す方々で湧き上がりました。

研究紹介

CVPR 本会議にて発表された研究の中から我々が注目した発表を数件程度ピックアップしました。 簡単にコメントを添えて紹介いたします。

StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo

arXiv

論文より図１: StarGAN によるマルチドメインな Image-to-Image の結果例、入力画像に対し単一の Generator のみで複数のドメインへの画風転送に対応している

CycleGAN においての制約であった画像ドメインのペア制約を取り除きユニバーサルな Generator を配置したモデルを提案。 学習に ConditionalGAN の枠組みを取り入れることで、複数の Generator を学習することなくマルチドメインな Image-to-Image を実現しています。

CartoonGAN: Generative Adversarial Networks for Photo Cartoonization

Yang Chen, Yu-Kun Lai, Yong-Jin Liu

CVF Open Access

論文より図3: CartoonGAN によるアニメ調スタイル転送結果、多様なアニメスタイルに忠実な形で元の写真をアニメ調に変換できる

写真をアニメ調に変換する GAN の提案ですが、これまでの画風変換と異なるのはシンプルなテクスチャやくっきりとしたエッジなどアニメ調の画像が持つ特性をうまく再現するように損失関数を工夫していることが挙げられます。 実験においては「新海誠スタイル」や「宮崎駿スタイル」といった日本のアニメ映画作品に見られるような画風変換を行い結果画像を示しています。

ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

Chen-Hsuan Lin, Ersin Yumer, Oliver Wang, Eli Shechtman, Simon Lucey

プロジェクトページ

論文より図11(a): ST-GAN による顔写真とメガネの合成結果の生成過程、左の初期状態から反復的に推論し右のフィット状態へ至る

写真の中の顔に対しメガネを掛けさせるような画像合成を考えたとき、人間の眼の部分にフィットしていないと不自然なことは明らかです。 この論文では合成するオブジェクトの変形パラメータ+マスク画像を作成するモデルを学習することで、オブジェクトの変形を伴う画像の合成を行う GAN を提案しています。

Natural and Effective Obfuscation by Head Inpainting

Qianru Sun, Liqian Ma, Seong Joon Oh, Luc Van Gool, Bernt Schiele, Mario Fritz

arXiv

論文より図2: オリジナル顔画像あるいは黒塗り顔画像からランドマークを得る Stage-1 とそのランドマークと黒塗り画像を利用して擬似頭部を生成する Stage-2 というネットワークモデルを構築

ソーシャルサービスの拡がりに伴い、画像や動画におけるプライバシー保護がますます困難になっています。
画像内における顔部分を黒で塗りつぶすことは簡単ですが、隠蔽編集が施されていることがひと目で分かります。
この提案では代わりに写実的な擬似頭部を生成することにより、写真における自然な顔の挿げ替えを行っています。

Semi-parametric Image Synthesis

Xiaojuan Qi, Qifeng Chen, Jiaya Jia, Vladlen Koltun

プロジェクトページ

論文より図２，３: 最初に Semantic Layout と External Memory から Canvas を生成し、次のフェーズでさらに Semantic Layout と Canvas を利用して最終アウトプットを出力する２フェーズ構成

External memory と呼ばれるセグメント化済みの画像セットを合成することで、与えられた Semantic Layout から高精細な画像を生成する SIMS という手法を提案しています。
当日の口頭発表においては直前にも pix2pixHD という pix2pix の高精細化についての発表もなされましたが、こちらはよりリアルな結果を叩き出せていることを pix2pixHD と比較して主張しており会場が沸いていました。

AI Lab からの発表

それでは CVPR 2018 における我々の発表内容について紹介します。 今年の CVPR は本会議が3日間、チュートリアル・ワークショップが2日間ありました。 先日 PR ブログでも紹介されましたが、我々からは本会議にて1件の発表を行い、さらに2つのワークショップに参加しています。

本会議

本会議においては山口による以下の論文が採択されており、共著者と共にポスター発表を行いました。

Feedback-prop: Convolutional Neural Network Inference under Partial Evidence [Wang et al.]

複数のタスクを同時に推論するような DNN モデルにおいて部分的な正解ラベルが与えられた際に残りの未知ラベルの推定精度を向上させる汎用的な手法の提案を行っています。当日のポスターボード前には大勢の人だかりができ、盛んな議論が行われました。

Towards Automatic Understanding of Visual Advertisements ワークショップ

参加ワークショップ1つ目は広告画像理解のためのワークショップ。 与えられた広告画像に対し正しい説明文を選択するコンペが開催されました。

Towards Automatic Understanding of Visual Advertisements (ADS)

広告画像の自動生成・制作支援について研究している我々クリエイティブリサーチチームとしてはぜひ参加したいということで話が決まり、山口・大谷・岩崎の3名がコンペに向けてスコアの向上に努めてまいりました。
そして何と1位を獲得、大谷がワークショップ冒頭にて “Unreasonable Effectiveness of OCR in Visual Advertisement Understanding” というタイトルで Winner Talk を行いました。

コンペ内容や技術的詳細については下記のブログ記事をご参照ください。

[CVPR Workshop] Automatic Understanding of Visual Advertisementsコンペティション解説

また、このワークショップでは上記コンペに加えて広告画像にまつわるアブストラクト論文の募集も行われました。 こちらについては私大田より “Emotional Style Transfer for Stock Assets” というタイトルの論文を投稿し発表。 BAM データセット [Wilber 17] の感情スコア値に着目し、人々の画像に対して抱いた感情に基づく画像変換手法を CycleGAN [Zhu 17] を利用して提案しています。

Language and Vision ワークショップ

参加ワークショップ2つ目は言語と画像についてのワークショップ。こちらでは大谷が大阪大学にて学生時代より進めていた研究について “Visually Grounded Paraphrase Extraction via Phrase Grounding” というタイトルで発表しました。 画像において２つのフレーズが同じオブジェクトに関する言い換え表現かどうかを判定する提案を行っています。

おわりに

やはり今年も DeepLearning 祭りなのはもはや当然のことながら、昨年と比べるとグラフ情報に着目した提案が目立っていたように思います。個人的には GAN に関する発表が一度に沢山聞けたのも良い経験となりました。ちなみにオーラル・スポットライト発表の録画はこちらの YouTube チャンネルにて随時アップされておりますので気になった方は発表を聴いてみてはいかがでしょうか。

来年の CVPR 2019 はアメリカ合衆国ロサンゼルス・ロングビーチにて開催されます。機械学習のトップカンファレンス ICML と開催地・日程が重複しているということもあり、参加人数もさらに多くなることが予想されます。

私が CVPR に参加するのは昨年に続き2度目となります。 昨年は聴講だけでしたが、今回はワークショップとはいえ発表も兼ねました。 現地での自身の研究に関するフィードバックはやはり新鮮でより様々な意見が得られますし、今後も何らかの投稿をもって国際会議に参加していければと思っています。 引き続き我々 AI Lab では広告とコンピュータビジョンに関する研究を進め、権威ある国際会議への論文投稿も積極的に狙っていきます。

Automatic Understanding of Visual Advertisementsタスク概要

今回のコンペの課題は与えられた広告画像に対して、正しい説明文を選択するmultiple choice問題です．15個の説明文候補があり、そのうち３個だけが正しい文です．各画像について１つ説明文を選び、正答率で評価します．

問題例．正解説明文は緑で強調しています．

データセットでは以下のような画像が提供されています．

基本的にデザイナーが作成した画像です．イラストなども多数含まれています．また視覚的な比喩を使ってメッセージを表現している広告も多く、画像からの意味内容理解としては大変難しいデータセットです．

OCRを用いた広告画像説明文の関連度推定

アイディア

今回私たちのチームは画像に加え、文字認識技術（OCR）を使ってこの問題に挑戦しました．広告画像はテキストを含むことが多く、さらにテキストには重要な情報が明示的に記述されています．例えば、ブランド名や商品の具体的なアピールポイントなどはこのタスクを解く上で強力なヒントになります．

モデル概要

ここからは具体的に開発したモデルについて説明します．このモデルでは入力広告画像と説明文の関連度を推定します．関連度に基づき15個の説明文を順位付けし、最も関連度が高かったものを回答とします．このモデルは主に２つのコンポーネントで構成されています．１つ目は説明文とOCRで検出した単語の関連度を推定するtext2ocrモジュールです．ニューラルネットワークを用いて説明文とOCRで検出した単語群をそれぞれ特徴ベクトルに変換し、その距離を計算します．距離が近いほど関連度が高いとみなします．

OCRで検出した単語の中には重要でないものも多数含まれています．そこで説明文中の単語とOCRで検出した単語の意味の近さを計算し、重要そうな単語だけを反映した特徴量を抽出します．

具体的には図のように各単語をword2vecを用いたベクトル表現にします．次に説明文とOCRで検出した単語ベクトルの内積を計算し、OCRで検出した単語ごとに和をとります．最後にsoftmaxをとり単語ごとの重みとします．このとき単語のベクトル表現の重み付き和をOCR結果の特徴ベクトルとしています．このOCR結果に対する特徴抽出は単純なモデルですが、今回のデータセットでは広告画像のテキストと同じ語を使った説明文が多いためこれでもそれなりに機能します．

text2imgモジュールでは説明文と広告画像の視覚的な特徴から関連度を推定します．説明文はtext2ocrモジュールと同様CNNで特徴ベクトルに変換します．画像特徴抽出にはFaster RCNNを使います．Faster RCNNで複数の画像領域から特徴ベクトルを抽出し、説明文を使って領域ごとのattentionを計算しています．今回はattentionを使った画像領域の重み付き和を広告画像の視覚的な特徴としています．

前処理

このデータセットの説明文はactionとreasonで構成されています．actionは広告を見た人が「何をすべきか」、reasonは「なぜそうすべきか」を説明する文です．例えば「I should buy Old Navy jeans Because they make you feel like a Rock star」では、「I should buy Old Navy jeans」がaction、「they make you feel like a Rock star」がreasonです．actionとreasonは広告画像の異なる側面に着目しています．actionは広告に表示されている商品に関連する記述が多くなります．reasonなら広告の雰囲気や比喩表現を解釈したより高度な意味を記述しています．そこで、今回は説明文をこのactionとreasonに分割して別々のモデルを学習します．さらに入力文が短くなることで学習が容易になることが期待できます．

結果

いくつか推定結果を載せます．広告画像の右に選択された説明文とOCRで検出された単語を表示しています．また各単語の重みは色で可視化しています．青は低い値を、赤は高い値を表しています．

国際環境NGO Greenpeaceの地球温暖化に関する啓発広告です．正しい説明文が選ばれています．画像右上のテキストのうち「greenpeace」、「miss」が強調されているのが確認できます．

ビールの広告．ビールに関する単語が相対的に強調されているのがわかります．

考察

この広告画像データセットでは、画像に含まれるテキストが説明文の選択において強力なヒントとなっています．そこでOCRの性能が最終的な正答率にどれほど影響を与えるかを調べてみました．コンペではGoogle Cloud Vision OCRを使用しましたが、ここでは比較のためTesseract OCRを使い再度モデルを学習しました．

同じ広告画像に対してTesseract OCRとGoogle Cloud Vision OCRを適用した結果です．Google Cloud Vision OCRの方がより多くの単語を正しく認識できています．

上の表はGoogle Cloud Vision OCRとTesseract OCRを使った正答率の比較です．ただしvalidation setでの評価です．これまでの結果からtest setでの評価と大きな差は無いと考えられます．Tesseract OCRを使った場合、正答率が大幅に下がっており、最終的な正答率はOCRの性能に強く依存していることがわかります．

またこのタスクにおけるOCRと画像特徴の影響を調査しました．ocr2textのみを用いた場合の正答率は0.83、画像特徴も取り入れた場合は0.85となり、わずかに改善されていますが、このタスクにおいて画像特徴はあまり有効ではないようです．OCRのみを用いた場合でも正答率は８割を上回っており、この問題の多くは画像中のテキストを読み取ることで解けるものになっているということがわかります．

まとめ

今回CVPR workshopの広告画像理解のコンペに参加し、OCRを用いた手法で正答率１位を獲得することができました．広告画像理解は、視覚的なメタファーの解釈や、画像から想起される感情の推定など、コンピュータビジョンの問題として面白いサブトピックを含んでいます．しかし、今回のコンペでは広告画像のテキストを読むことで、正解説明文を当てることができるという結果になりました．この結果から、タスク及びデータセットのデザインと本来の研究目的との隔たりが明確になったように思います．現在のデータセットでは画像中のテキストから得られる情報が強すぎるように思います．これに対しては、テキストを除去するするなどの処理で画像理解の側面を強調することができるかもしれません．以上、簡単にですが今回のコンペで開発した手法と結果を説明しました．実装をGitHubで公開しているので、詳細についてはそちらをご参照ください．

先日、アドテクスタジオのAILabからバージニア大学の研究者らとの共著論文が、コンピュータビジョン分野の国際会議「CVPR」にて採択されたプレスリリースをお届けしましたが、今日はさらにHuman-Computer Interaction（HCI）研究における最重要国際会議であるCHI のワークショップAsian CHIに2本採択されたことをお知らせします！

アドテクスタジオはこれまでも、重要な国際的な技術カンファレンスへ積極的に参加してきていますが、AI Labをはじめとする研究分野に携わるメンバーは特に、各学術分野の国際会議への投稿にどんどん取り組んでいます。
今回、CVPR,CHIとそれぞれの国際トップカンファレンスにて採択された論文を執筆したメンバーに、論文発表にむけての意気込みをインタビューしてみました。
実はまだブログで紹介していなかったAI Labの専用オフィスとともにご紹介します！

山口：AI Lab研究員。
前職は東北大学助教、人工知能の中でもコンピュータビジョン分野を専門に、バナー画像などの広告クリエイティブの制作支援技術の研究に取り組んでいる

岩本：ロボットサービス事業部　主任研究員。
HCI、特に対面状態のコミュニケーション活性化の研究が専門。現在はロボットやスマートスピーカを用いたプロダクト開発を行なっている

三宅：AI Messenger データサイエンティスト。
昨年5月に海外の大学を卒業して10月に早期入社。サーバーサイドからデータサイエンスまで幅広い業務に取り組んでいる

アドテクスタジオのAI Labは、プロダクト開発を行うエンジニアとは別フロアに研究者専用のフロアがあります。
アドテクスタジオのメインオフィスは、

こういった雰囲気ですが、
AILabオフィスは全く別です！

大学の研究室のように、各研究分野のチーム毎に部屋に分かれ研究開発を行っています。

オープン当初最初はまっさらだった通路側のガラス面、ホワイトボード、、、
今はいたるところに議論のあとがみられます。

◆CVPR2018
まずは、先日のプレスリリースでもお知らせした
クリエイティブリサーチプロジェクト、主任研究員の山口さん！

山口さんは2017年3月まで東北大学にて助教をしていました！コンピュータビジョンの分野を専門に研究しており、
今はAI Labの研究メンバーと共にクリエイティブリサーチプロジェクトの専用研究室にて、
チームでバナー画像などの広告クリエイティブの制作支援技術の研究に取り組んでいます。

◆CVPR採択おめでとうございます！
現地での発表を控えていますが、この研究テーマについてどういった点が楽しみですか？

今回は数多あるディープラーニングの技法の中でも汎用的に使えるフィードバック型の推論技術をきちんと論文まで形にできたところはよかったと思っています。広告だと例えばクリック率の良い見出しを画像と記事本文から作るなんていうところに使えたら面白そうですね。
今回は前年のCVPRでディスカッションをしたところから研究が始まったという経緯もあって、ぜひ現地で新しいアイディアをたくさん議論して今後の研究につなげたいですね。

山口さんは入社してすぐ、積極的に国内・国外関わらずたくさんの学会に登壇・参加していたのですが、
昨年参加していたCVPRでのディスカッションがそもそもの始まりだったとは…！
現地での出会いや学びもすぐに反映される点、尊敬します…！

◆CHI2018
そして次に、Human-Computer Interaction（HCI）研究における最重要国際会議である、

CHI2018 のワークショップAsian CHIに採択された岩本と三宅です。

なんと２本出しており、両方採択！こちらもカンファレンス会場にて発表をいたします。

左：三宅　右：岩本

◆今回出した２本の論文についてぜひ教えてください！どんなことを研究しているのですか？
対面状態での理想と現実のギャップを緩和とは…？

三宅は2017年10月に早期入社し、AIメッセンジャーに配属。現在はデータサイエンスの業務を中心に担っています。
そのような中で、国際的なトップカンファレンスへの挑戦！
アドテクスタジオでは、業務時間の一部を研究活動に使うことができるスキルアップゼミの制度があり、
今回はHCI分野を研究する「HCIゼミ」のゼミ長も務める岩本と一緒に、スキルアップゼミ制度を活用してチャレンジした結果となります！

※関連リンク：好奇心とチャレンジがスキルを磨く「アドテクスキルアップゼミ」

◆三宅さん、今回国際カンファレンスへの論文投稿に初めてのチャレンジ！いかがでしたか？
現地での発表も控えてますが、今後やってみたいこともありますか？

人生初の論文を書くことができて、とてもいい経験になりました。
2017年5月に大学を卒業して10月に早期入社したのですが、岩本さんとは入社してすぐに意気投合したんです。その後、岩本さんがゼミ長をしているHCIゼミが2018年1月に始まるとともに自分がこの論文執筆をすることになりました。
入社したてだったのもあり、ほぼ勢いと好奇心でチャレンジしました！現地では、特にAI Messengerに活かせそうな情報を収集するつもりです。研究職ではないですが、今後もゼミ活動を活かして、面白そうなことにはどんどん首を突っ込んでいきます。

素敵な心意気ですね！なんと人生初の論文！！　勢いでのチャレンジ！
若いって素晴らしい。
これからまだまだたくさんの学術学会が世界各国で開催されます。

他のAI Lab研究員も、様々な国際学会の論文投稿・採択を一つの指標としながら研究に励んでおります  

どんどん進化していく広告の世界。
人工知能技術をプロダクトに取り入れて、もっともっと社会に役立てたり貢献していきたいと思っています！

AI Labや研究員の取り組み、今後もご紹介していきますのでお楽しみに！

————————————

サイバーエージェント AI Labではメンバーを募集しています。
カジュアルにランチに行きませんか？お問い合わせはこちらから。

・
MIRUは、画像の認識と理解技術に関する国内最大級の会議です。
研究者、技術者、次世代を担う学生が一同に集まり、基礎から応用まで最新の研究発表と討論がされています。

山口さんは2017年3月まで東北大学情報科学研究科にて助教として、
深層学習を用いたwebビジュアルデータの分析研究を行っていました！
AI Labにおいても広告クリエイティブにおいて重要な画像認識や自動生成などの研究を行っています

・
今回のMIRUにおいては、
オーラルセッションにて東北大学 岡谷教授、NTT 梅田氏、NTT 村崎氏、東邦大学 数藤教授と共同で行った、深層学習による構造的推論モデルを一貫学習する手法の研究について発表いたしました。

・
研究タイトル
「End-to-end Learning Potentials for Structured Attribute Prediction」
論文はこちらよりご覧いただけます。

入社後すぐに、人工知能学会誌への寄稿や社内向け論文であるWhite Paper Projectの執筆など
活躍している山口さん！
・

10月にはイタリアで開催されるコンピュータービジョン分野においてトップクラスの国際会議であるICCV2017にて併催される、ファッション関連技術のワークショップにて招待講演を予定しています

・
発表論文や、国際会議については山口さんをはじめ参加メンバーが別ブログにて執筆を予定していますのでお待ちください

・
それではまたメンバーの活躍をご紹介いたします！

＜関連リンク＞
<span style="font-size: 10pt;"><a href="https://cyberagent.ai/archives/3531">藤田社長にもお届け！アドテクスタジオのWPPを紹介します！</a>

<a href="https://cyberagent.ai/archives/3564">【AI Lab】人工知能学会の学会誌に寄稿いたしました！</a>
</span>