1月20日からNetSciと並ぶネットワークサイエンスの代表的なカンファレンスであるNetSciXが早稲田大学で開催されました。

私は聴講だったのですが、昨年夏のAI Lab博士課程インターンに参加していただいた南カリフォルニア大学の松井暉さんが初日にポスター発表をされました。

この研究は、消費パターンにどのようなデモグラフィックな（人口統計学的な）属性が現れているかを調べるために、テンソル分解という機械学習の手法を使って、データから消費パターンを抽出し、デモグラフィックな情報との関係性を分析していました。

また、サイバーエージェントからは、秋葉原ラボの高野や武内もポスター発表しました。

招待講演

今回の目玉はなんといっても３日めのバラバシ教授[wikipedia]の招待講演です。

バラバシ教授の名前は、ベストセラー「ザ・フォーミュラ」で一般にも知れ渡っていると思いますが、現在のネットワークサイエンスの隆盛の礎を築いた方です。講演は、ネットワークサイエンスの試みの中で特にネットワークをコントロールすることに重点をおいたものでした。ここでネットワークと言っているものは、自動車の数千もの部品に分解した図であるとか、企業間ネットワークであるとか、ニューロンのつながりであるとか、ありとあらゆるものを指します。

ネットワークをコントロールできるかどうか（＝制御可能性）というのは、小さいネットワークであれば理論的に特定できるそうですが、大きなネットワークだと計算コストがかかりすぎるため、近似的なアルゴリズムを用いる必要があります。バラバシ教授らのNature論文は、現実のネットワークにおける制御可能性の分析ツールを開発した上で、どのようなネットワークがコントロールしやすいのかを示しています。

バラバシ教授らは、さらにC.エレガンスという小さな線虫を用いた実験で制御可能性の理論を実証していました。C.エレガンスは非常に単純な生物で、外部から刺激を与えるとそこから逃げるように運動します。この刺激−反応の関係は、感覚器から受け取った入力をいくつかのニューロンを介して筋肉の動作として出力するまでの一連のネットワークと解釈できます。研究では、生物学者らとタッグを組んで、Cエレガンスの行動とニューロンのネットワークを実験によって分析していました。ネットワークという切り口でありとあらゆる現象を分析する観点だけでなく、情報系から生物系まであらゆる分野の研究者と共同して研究を進めてきたすがたに圧倒されました。

FinEcoNets

最終日の1月23日は、経済や金融におけるネットワークに関する研究をあつめたWork shop on Financial and Economic Networks (FinEcoNets)が開催されました。

冒頭にゲーム理論の大家である東京大学の神取道彦教授の講演がありました。

残念ながら私自身は最後の方しか出席できなかったのですが、松井さんが代わりにレポートを書いてくれたのでここに紹介します。

OLG繰り返しゲームが労働組合員間での協力メカニズムを説明するご自身(S. Obayashiと共著)の研究発表でした。

まず、ネットワークサイエンティストにゲーム理論の分野の１つである繰り返しゲームについて簡単な説明を行い、どのようにして理論を現実世界で説明するかという視点で研究を議論されていました。

現実社会の例として、労働組合において組合員同士の協力が行われている点を指摘され、実証的にどのようなメカニズムが協力を生み出すのかをいくつかの仮説を検証しながら分析していました。

いくつかの対立する仮説を分析した結果、OLG繰り返しゲームが労働組合員間での協力メカニズムを説明しうることを報告され、最後には聴衆からはネットワークサイエンスの視点から多くの議論/質問が行われました。

今回の発表では、サーベイとインタビュー調査によるデータ取得によって協力関係のネットワークデータを作った点、対立する仮説を丹念に検証されている点が印象に残りました。

 私は最後の質疑部分に間に合ったのですが、神取先生から会場に対してネットワークサイエンス的に刺さる研究はどのようなものかと逆質問していたのが印象に残りました。

このワークショップでは、他にも早稲田大学の戸堂康之教授から生産性や災害等のショックに対する強靱性などと、各企業や個人がもつネットワークとの関係性についての一連の研究が示されるなど、様々な経済、金融データをネットワーク的視点からみた研究が発表されており、非常に刺激になりました。

3日目のバンケットではバラバシ教授、大会委員長の佐山弘樹教授と写真をとってもらいました！

ネットワークサイエンスど素人の私と気軽に写真をとってくれるネットワークサイエンスコミュニティの温かさに感動したカンファレンスでした！

AI Labの大谷と山口(@kotymg)です。10月に韓国ソウルにて開催されたコンピュータビジョンの国際会議ICCV 2019に参加してきました。こちらの記事で簡単に参加報告させていただきます。

ICCVについて

ICCVはコンピュータビジョン研究の3大トップカンファレンスの一つに位置付けられる権威のあるカンファレンスで、隔年開催となっています。AI Labからは2017年に続いての参加となります。2019年のICCVは4303件の投稿、1075件の採択と、ここ数年の分野の人気に伴って過去最大規模になりました。規模こそ同分野トップカンファレンスのCVPRよりも若干小さいものの、会場となった巨大なCOEX展示場には7000人を超える参加者が集まりました。発表件数の増加に伴い、今回のICCVではCVPR 2019同様にショートオーラル形式による発表方式となり、その他は全てポスター発表という形態になりました。

ICCV 2019 オープニングセレモニー

写真は会議のオープニングセレモニーの様子です。オープニングセレモニーでは会議への投稿や参加者の統計について公表がある他、いわゆるベストペーパー賞に当たるMarr Prize他、各種の表彰が行われます。近年は人工知能分野の学会では中国と米国からの研究発表が圧倒的に多い傾向がありますが、ICCVもご多分に漏れずこの2国からの採択数が圧倒的に多く見られました。

AI Lab関連の研究発表

AI Labからは残念ながら今回本会議の発表はなく、併催のワークショップにて二件の研究発表をさせていただきました。

Adaptive Gating Mechanism for Identifying Visually Grounded Paraphrases

Mayu Otani, Chenhui Chu, Yuta Nakashima

Regularized Adversarial Training for Single-Shot Virtual Try-On

Kotaro Kikuchi, Kota Yamaguchi, Edgar Simo-Serra, Tetsunori Kobayashi

研究動向について

前回のICCV 2017に比べてICCV 2019で研究発表のタイトルに出現する割合の高くなったキーワードは以下のようなものでした。抽出方法は、ICCV 2019とICCV 2017論文タイトルからunigram/bigramを抜き出し、その出現頻度を会議全体の出現数で割った割合の変化が大きかったものから、目についたものを掲載しています。

• Object Detection
• Aware
• Guided
• Graph
• Point Cloud
• Person Re-Identification

ICCV 2017と比べてObject Detectionが多く見られるようになったことは意外に思えますが、単純な2D DetectionではなくVideoや3Dを対象にした手法や、ドメイン転移を考慮したDetectionのように、様々な環境でのDetection手法が提案されるようになったことが理由でしょう。AwareやGuidedはモデルの学習時に何らかの補助的情報を利用する手法によく見られるキーワードです。Graphが出てきたのはScene GraphやGraph Convolutionといったグラフ構造を考える手法が増えたためと見られます。Point Cloudは三次元点群を対象とした研究に出てきますが、ニューラルネットワークで三次元データを扱う研究はここ最近増えていることが反映していると考えられます。また、Person Re-Identificationは実応用にかなり近いタスクですがベンチマークデータも整備が進んだことで発表件数が増加しているようです。

この他にも全体の中の割合として大きな変化があったわけではありませんが、Image Synthesis、Domain Adaptation、Human Poseといったトピックでの研究発表が目につきました。

クリエイティブ制作に関連する研究紹介

AI Labではグラフィックデザインや動画制作などのクリエイティブ制作に関連のある研究に着目しています。今回のICCVでもクリエイティブ制作に関係がある研究発表がいくつもありました。特に我々が注目する研究発表を以下に数件紹介します。

InGAN: Capturing and Remapping the “DNA” of a Natural Image
Assaf Shocher, Shai Bagon, Phillip Isola, Michal Irani
[Paper] [Project] [Github]

InGANでは一枚の画像（赤枠）を入力として多様なサイズの画像を出力できる（論文中Figure 1より引用）

InGANは一枚の画像から敵対的生成モデルを学習する試みで、ICCV 2019でMarr Prizeを受賞したSinGANに設定は似ています。画像から小さなサイズの領域パッチをサンプルして生成モデルを学習することで、異なるサイズ、アスペクト比の画像を生成することが可能となります。広告制作でも異なるサイズのバナーデザインを制作することはよくありますが、テキストや飾りを載せる前の背景のような画像を使う際にデザイナーを強力に支援してくれそうです。

Controllable Video Captioning With POS Sequence Guidance Based on Gated Fusion Network
Bairui Wang, Lin Ma, Wei Zhang, Wenhao Jiang, Jingwen Wang, Wei Liu
[Paper] [Github]

POSタグによる生成キャプションの操作例（論文より引用）

POSタグ列を使って、動画キャプションの生成結果をコントロールする手法です。動画のキャプションと同時にPOSタグ列を予測するモデルですが、実験ではこの予測POSタグを操作することで多様なキャプションを生成する方法を提示しています。AI Labでは広告コピーの生成にも取り組んでいます。この論文で提案されたフレームワークを発展させることで、バナー画像/動画などのビジュアルコンテンツを考慮したコピーの生成が期待できそうです。特に異なるPOSタグテンプレートを用いた多様なキャプションの生成は、ユーザごとに様々なバージョンのコピーを作る必要があるインターネット広告では嬉しい性質です。

Seq-SG2SL: Inferring Semantic Layout From Scene Graph Through Sequence to Sequence Learning
Boren Li, Boyu Zhuang, Mingyang Li, Jian Gu
[Paper]

上から入力のscene graph、予測されたレイアウト、入力scene graphに対応する元画像。（論文より引用）

Scene graphからレイアウトを予測する手法です。Scene graphとレイアウトをタグの系列として表現することで、レイアウトの生成タスクをsequence to sequenceモデルの学習に落とし込んでいます。バナー画像自動生成において、このようなレイアウト予測は重要な要素技術です。オブジェクトや背景の相対的な位置を予測するこの手法は、与えられた素材画像やテキストなどの要素を自動で配置するバナーデザインシステムに応用できる可能性があります。

おわりに

ICCVではDetectionやSegmentationのような主要なコンピュータビジョンの研究トピックが継続して多く発表されていましたが、それに加えて画像生成のようにタスク自体が難しいものや、三次元点群のようなデータ構造を対象にニューラルネットワークを活用してend-to-endに課題解決する手法など、新しいことに果敢に挑戦する研究が多く見られたように感じます。

AI Labではコンピュータビジョンを活用してテキスト、グラフィックデザインなどの広告制作を支援する技術を研究開発しています。研究成果は会社事業に使われるだけでなく、ICCVをはじめとする学術会議で発表することを奨励しています。我々のチームに興味のある方は採用のページもぜひチェックしてください。

HAI2019

HAI (International Conference on Human-Agent Interaction)は日本が発祥で、「人間」と「エージェント」との「インタラクション」を対象とした研究領域の年次国際会議です。HAIという領域は、人間と擬人化エージェントやロボット、そしてエージェントを介した人間同士、が自然でうまく協調できるインタラクションのデザインを中心とした新しい研究領域です。

今年はこの会議の7年目です。最初の2013年に札幌で開催された時は参加者ほぼ全員日本人でしたが、2015年のソウルから海外に進出しており、この数回は海外の学生や研究者も沢山参加しています。今年の参加者人数は170名くらいで、歴代最多でした。更に、口頭発表の採択率も初めての40％以下（37％）となっており、これからは徐々にHAI分野のトップカンファレンスに発展していくだろうと期待しています。

そのHAI2019に、弊社のAI Labの対話エージェントチームはゴールドスポンサーとして参加しました。対話エージェントチームは、次世代のデジタルマーケティングの手段としてロボットやチャットボットなどの「対話エージェント」に着目しており、「対話エージェントによる接客」をテーマに研究開発をしています。前回の会議では、「ホテルおもてなしロボット」と「感情制御チャットボット」について発表をし、今回も「ホテルおもてなしロボット」に関するポスター発表をしました。対話エージェントチームの研究内容はHAI分野と緊密な関係があり、今後もどんどん投稿をする予定です。

ベストポスター賞の受賞

今回発表した、大阪大学の中西先生（特任助教、共同研究者）のポスター「How to Enhance Social Robots’ Heartwarming Interaction in Service Encounters」がベストポスター賞を受賞しました。

どのような対話ロボットが気遣いや心配りを通じた良い感情経験の提供をどの程度できるのかを調べるために、インタラクション中の “warmth” を計測し、どのようなインタラクションが良い感情経験に影響を与えるのかを考察しました。ポスターを聞きに来てくれる人が途切れず、多くの方と議論することができました。

スポンサーブース出展

スポンサーブースでは、AI Lab全体の研究と対話エージェントチームの研究プロジェクトを紹介しており、8月に「竹芝夏フェス」にて実証実験を行った「操作者の能力を向上させる遠隔操作ロボット」の遠隔操作ロボットシステムもデモとしてブースに2台展示しました。

この遠隔操作システムは、Sota（開発元：ブイストン株式会社）と呼ばれる可愛らしいロボットを使っています。特に、システムが操作者の発話した音声を認識し、その内容に応じてロボットの動作を制御するので、操作者は喋るだけでロボットを動作させることができます。更に、効果音やLEDライトの表現も発話に応じて自動的に制御するので、操作者の感情をより強く伝えることができ、ユーザーを楽しませることができます。当日は、コーヒーブレークやポスターセッションの時は弊社の人事メンバーがロボットを操作し、会議の参加者の方々に注目を浴びました。沢山の方がロボットと会話をしたり、システムの操作を体験したりして楽しみました。その人事メンバーも「ソータのお姉さん」と呼ばれて喜んでいました。

スポンサースピーチ

メイン会議の3日目の午後のセッションが終わった時、会議の主催者からスポンサーとして短いスピーチをする機会をいただきました。対話エージェントチームの宋が登壇し、サイバーエージェントはこれからもHAI分野に貢献していくこと、そして学生や若手研究者に弊社の研究の取り組みをお伝えしました。

おわりに

HAI研究領域は新学術領域としてまだ成長しています。私はHAI国際会議には、2016年以来毎回参加していますが、この数年間は研究テーマの範囲がどんどん広がっていくと共に、日本国内と国外の参加者の人数は増え、面白い研究が沢山発表されています。これからHAI領域の1つのトップカンファレンスになっていくだろうと思います。サイバーエージェントの対話エージェントチームは、今後もHAI領域に貢献できるように研究開発を推進していきます。

日本経済学会は春と秋の年２回年次大会を開催しており、日本全国そして海外から経済学研究者が集合し、２日間かけて多数の分野別のセッションや、企画セッション、特別講演などが行われます。

今回は、台風19号の影響で２日めの13日のみの開催となりました。

そのため事前に予定していたイベントのうち、弊社企画セッションは中止となりましたが、若手セッション、パネル討論「企業の中の経済学」での登壇、そしてブース出展を行うことができました。

ブース出展

ブースでは、大学教員、院生の方々に多数お越しいただき、弊社の研究活動やその内容について紹介、議論することができました。企業がどのようなデータを使って研究しているのか、また企業での研究に必要なスキルはなにか、などについてご関心をもっていただけたようでした。

若手セッション

若手セッションでは、AILab経済学チームリーダーの安井が登壇し、若手経済学者が国内テック企業で就職する際の現状について解説を行いました。企業における経済学徒の認識の現状などについて様々な質問を頂きました。

パネル討論

また、パネルセッション「企業の中の経済学」では、大阪大学の大竹文雄教授のファシリテーションの下、東京大学の渡辺安虎教授、Yale大学の成田悠輔助教授、ZOZO研究所の松谷恵ディレクター、弊社取締役内藤が登壇し、現状の経済学の企業内での立ち位置や今後さらに企業内で経済学の活用が進むために必要な条件について率直な意見交換がなされました。

成田先生からは、機械学習に比して低調な経済学の実ビジネスでの応用がどうすれば爆発的に広まるのかについてご提案があった一方、渡辺先生からはテックジャイアントでのご経験に基づき、経済学のスキルの活かせるのは、日々のオペレーションに直接的に関わる機械学習エンジニアとは違って、データが限定される中でも重要な判断をしなければならないといった、より上流の意思決定の場面にあるのではないかという指摘がありました。ZOZOの松谷さんと弊社の内藤からはビジネスサイドから実態について説明がありました。

「企業の中の経済学」というタイトルに沿ってまとめると、現状は一部のテックジャイアントを除けば、経済学（者）は使いどころがよくわからない存在になっているので、経済学側は企業サイドへのアピールが不可欠であり、企業側は説得的な実例を作っていくことが大事ということでした。我々企業内経済学系リサーチャーは実績を作るためにも頑張っていく必要があると思いました。全体を通して大竹先生の軽妙なファシリによって和やかで楽しい雰囲気のパネルになっていてとても楽しかったです。

おわりに

日経学会には、2016年の名古屋大学で発表して以来何度も参加していますが、毎回来るたびに日本の経済学コミュニティの密度の濃さ、暖かさを感じます。今回できなかった企画セッションについては日を改めて実施したいと思っております。どうぞよろしくおねがいします。

AI Lab の大田、大谷です。
6月にアメリカで開かれたコンピュータビジョンの国際会議、CVPR 2019 に参加してきました。
今年も簡単に参加報告をしたいと思います。

CVPR 2019

CVPR は ICCV、ECCV と並ぶコンピュータビジョン分野におけるトップカンファレンスです。AI Labは一昨年、昨年と参加しており、今年で3度目の参加となります。
今年はカリフォルニア州ロングビーチの Long Beach Convention Center にて6月16日〜20日の5日間での開催となりました。15日までは機械学習のトップカンファレンスである ICML 2019 も同会場で開催されており、現地に到着した際にはすでに会場付近が参加者で賑わっていたのが印象的でした。続けて参加された方も多かったのではと思います。その影響もあってか、今年の参加人数は9,227人と前年より2,000人以上増加しています。論文投稿数、採択数も5,160件、1,294件となっており、いずれも過去最高を更新しています。

今年の新しい取り組みとして、本会議でのショートオーラル発表が挙げられます。5分間での研究紹介を3件分行ったあと3件まとめて質疑応答というスタイルとなりました。288件ものオーラル論文を効率良く発表してもらうための工夫でしたが、研究内容の理解が少し難しかったようにも感じました。

併催されている Exhibition では世界各国の大企業や AI スタートアップがこぞってブースを出展。こちらも例年通りの盛況ぶりでしたが、自動運転車両の実車展示が特に目立っており、各社の実用への意気込みの高まりを感じます。

会場周辺はカリフォルニア州最大規模の水族館やアウトレットモールなどが揃う大きな港町です。会議終了後は軽い観光や食事も楽しむことができましたが、アメリカならではの大量で高カロリーな食事には未だに慣れません。

AI Lab からの発表

本会議には大谷による論文 Rethinking the Evaluation of Video Summaries が採択されており、ポスター前では多数の参加者と議論を交わしました。この研究では映像要約手法の評価指標と主要なデータセットを分析しています。より詳しい内容はブログ記事として公開されています。このポスターでは既存の映像要約指標と映像要約手法の一般的なパイプラインに潜在する課題を説明しています。研究者だけでなく映像配信サービスのビジネスサイドの人も議論に参加しており、産業界での関心の高さが伺えました。

本会議論文紹介

注目した論文についていくつか紹介します。

Semantic Image Synthesis With Spatially-Adaptive Normalization

Taesung Park, Ming-Yu Liu, Ting-Chun Wang, Jun-Yan Zhu

プロジェクトサイト
GauGAN

Semantic Map からの画像生成において、Normalization 後のスケーリング係数に Semantic Map から得られる特徴を利用した SPADE という手法を提案しています。画像生成モデル自体への入力は Semantic Map ではなくランダムノイズであり、これを操作することで多彩なスタイルの画像生成を可能としています。GauGAN と名付けられたデモも話題になったため、ご覧になられた方も多いかもしれません。

プロジェクトサイトより “Brief Description of the Method”

論文より Figure 9. 提案モデルによる多様なスタイルの画像生成

Image Generation from Layout

Bo Zhao, Lili Meng, Weidong Yin, Leonid Sigal

Semantic Map から画像を生成する手法はこれまでにも数多く提案されてきていますが、大まかなレイアウトからの画像生成はテキストやシーングラフなども利用した手法が主でした。この論文では Bounding Box のみで物体の大きさと位置を表現するとてもシンプルなレイアウト入力から画像を生成する手法を提案しています。

論文より Figure 1. Image generation from layout

論文より Figure 7. Examples of diverse images generated from same layouts

Homomorphic Latent Space Interpolation for Unpaired Image-To-Image Translation

Ying-Cong Chen, Xiaogang Xu, Zhuotao Tian, Jiaya Jia

画像を特徴ごとにドメイン分けしドメイン間における差異を学習することで画像の変換に用いる Unpaired Image-to-Image 技術は StarGAN や MUNIT などマルチドメイン・マルチモーダルなモデルの提案により、より多彩な振る舞いが可能となってきています。提案手法ではそれらに加え、変換過程の補間についても考慮しています。滑らかで自然な変換アニメーションの生成もできるモデルとなっています。

論文より Figure 2. Illustration of latent space interpolation along different paths

Image Deformation Meta-Networks for One-Shot Learning

Zitian Chen, Yanwei Fu, Yu-Xiong Wang, Lin Ma, Wei Liu, Martial Hebert

今年の本会議では {Zero, One, Few}-shot Learning というワードをよく目にしました。限られた学習データからの学習テクニックの一つにデータの水増しを行う Data-Augmentaiton がありますが、提案モデルはその Data-Augmentation を内包しているようなネットワークとなっており、少量のデータに対して End-to-End な学習を可能としています。

論文より Figure 2. The overall architecture of our image deformation meta-network

Efficient Video Classification using Fewer Frames

Shweta Bhardwaj, Mukundhan Srinivasan, Mitesh M. Khapra

同様に少量データからの学習ですが、こちらは動画分類に対するアプローチです。Distillation の仕組みを利用することで等間隔に間引かれた少数フレームによる学習を可能にし 、リソース消費の激しい動画分類のコスト軽減を図っています。

論文より Figure 1. Architecture of TEACHER-STUDENT network for video classification

GoodNews Everyone! Context driven entity aware captioning for news images

Ali Furkan Biten, Lluis Gomez, Marçal Rusiñol, Dimosthenis Karatzas

画像のキャプション生成の研究です。この手法では入力として画像だけでなく、画像に関連する文書を使って固有名詞などのキーワードを取り入れたキャプションを生成します。広告制作においてはコピー生成などに活用できそうなアプローチです。

論文より Figure 2

Complete the Look: Scene-based Complementary Product Recommendation

Wang-Cheng Kang, Eric Kim, Jure Leskovec, Charles Rosenberg, Julian McAuley

画像全体の雰囲気に合った商品を予測するモデルを提案しています。同様の構造を持ったタスクは広告バナーの制作にもあります。バナー画像の雰囲気に合ったフォントやテクスチャ素材などデザイン要素を提案するシステムなどにも応用できそうです。

論文より Figure 1

Less is More: Learning Highlight Detection from Video Duration

Bo Xiong, Yannis Kalantidis, Deepti Ghadiyaram, Kristen Grauman

映像から重要なシーンを抽出するハイライト検出の研究です。機械学習を用いた映像のハイライト検出では、学習データの収集コストが非常に高いという課題があります。そこでこの研究ではウェブ上の動画の長さを教師信号として活用する方法を提案しています。短い映像はより「ハイライトらしい」シーンで構成されている傾向にある一方で、長い映像はハイライトとしては適していないシーンを多数含んでいることが予想されます。この仮説に基づき、提案手法では短い動画と長い動画からハイライトらしい動画の特徴を学習しています。

論文より Figure 1

まとめ

CVPR は参加者・論文数共に爆発的な増加を続けており、もはや会議全体のトレンドを把握することは困難ですが、個人的には GAN や画像生成に関する研究の発展はやはり興味深く、質の高い研究について生で聴講できる機会はとてもありがたいです。引き続き広告やメディアデータに対するコンピュータビジョン・機械学習技術の応用に向けて今後も研究活動を続けていきます。

今年度、大阪大学との共同研究講座で進めてきた研究について、昨年12月に開催された HAI 2018、そして先週開催された HAI シンポジウム 2018 にて発表してきましたので、今回はその様子をレポートしたいと思います。

HAI 2018

HAI はその名の通り、ヒューマンエージェントインタラクションに関する国際会議です。あらゆる知的システムと人とのインタラクションにフォーカスした会議で、今回は6回目の開催です。海外での開催でしたが、日本から多くの研究者・学生が参加しており、とても活気のある会議でした。

今回の会議には、

• ホテルおもてなしロボットの研究 と、
  • “Can a Humanoid Robot Engage in Heartwarming Interaction Service at a Hotel?”
• 感情制御チャットボットの研究
  • “Conversational Agents to Suppress Customer Anger in Text-based Customer-support Conversations”

が採択されました。ここで、その研究について簡単にご紹介します。

ホテルロボット

AI Lab 接客対話グループでは、2018年4月から大阪大学と東急不動産R&Dとの共同研究を進めていて、ホテルでのおもてなしロボットの実証実験に取り組んできました。
ロボットがホテルで温かくもてなすことで、ホテルへの満足度の向上が期待できるだけでなく、そのロボットへの信頼から、ロボットが提供する情報を受け入れやすくなるのではないか、という仮説を立てています。

その基礎的な調査として、ホテルの共用部にロボットを置き、人を検知すると声かけをする、という実験を行いました。半プライベートな空間であるホテルで、ロボットから話しかけられることを宿泊客はどう感じるのかを調べることが目的です。
実験の結果、多くの宿泊客がロボットの声かけに対し肯定的に捉えていることがわかりました（下図）。

（発表スライドより引用）

特に面白かったのは、宿泊日数とアンケートの回答に正の相関が見られたこと。長く宿泊すればするほど、アンケートで良い回答をしていることになります。これは「ロボットがいる」という真新しさから良い回答をしているのではなく、長くロボットと接する人ほどその声かけに温かさを見出しているのだと考えることができ、ホテルへのロボット導入の可能性を見出せる結果だと感じています。

（発表スライドより引用）

（中西先生（特任助教）による発表 in HAI 2018）

感情制御チャットボット

カスタマーサポート業務は感情労働と呼ばれ、悪質なクレーマ対応などによりオペレータに精神的な負荷を強いることが多く、韓国では自殺が多発するなど社会問題に発展してきています。
また、これまでのカスタマーサポートは電話やメールが主流でしたが、2016年ごろからチャットによるサポートを提供する企業が増加しており、チャットボットを活用できる機会が増えてきました。
こうした背景から、感情、特にここでは怒りの感情に着目し、チャットボットによってユーザの怒りを軽減しようと考えました。怒っているユーザとなだめるオペレータという二者のやりとりにせず、そこにチャットボットを介入させ、一緒になって怒ったり途中で折れたりすることで、場の流れや認知的なバランスを変化させ、怒りを抑えてもらおうというアイデアです。
実験の結果としては、ユーザの怒りを有意に下げる効果は確認できませんでしたが、介入するチャットボットを味方だと思ってもらうことに成功しました。この技術は、二者間対話を三者間対話に自然に持っていく際に非常に有用なものになると考えています。

（発表スライドより引用）

（倉本先生（特任准教授）による発表 in HAI 2018）

HAI シンポジウム 2018

HAIシンポジウム（HAIS）は、2006年に開催されて以来、今回で13年目の実施になる会議です。
国際会議の HAI よりも歴史が古く、毎年150名近くのHAI研究者が参加しており、活発に議論できる環境でした。
空間全体とのインタラクションや、ロボット vs バーチャルエージェントの比較など、様々な先進的な研究が議論されました。

接客ロボットのための人の顔位置予測

顔位置予測のテーマは、博士課程向けインターンシップに参加してくれた岡藤くんに取り組んでもらっていたテーマで、今回はその成果をまとめてポスター発表してもらいました。

卓上型ロボットで通行人への声かけを行うためには、人の位置の検知が必要です。人の検知自体は深層学習の発展により高精度に高速で行えるようになりました。しかし、ホテルでの実験でもよく起きた現象なのですが、人を認識したタイミングで「声かけ開始！」とロボットに指示を出してから、ロボットが動き始め実際に発話を行うまでに時間がかかります。ひどい時には1秒程度かかってしまい、人が完全に通り過ぎてから挨拶をすることも多々ありました。これは、ロボットの機械的な遅れに起因するもので、動作の処理が複雑になればなるほど遅れが増えます。
そこで、ロボットの機械的な遅れは起きるものと考え、人の位置を予測し、未来の位置をロボットに与えることで、遅れを軽減させようというアイデアを実現したものが本研究です。

なるべく頑健に予測するために、OpenPose や YOLO など複数の人認識モデルを並列で用いて予測するモデルを組みました。結果として、ロボットの遅れを軽減することができ、その様子をポスター発表としてデモンストレーションしました。
非常に光栄なことに、全38件のポスター発表の中から最優秀ポスター賞を受賞しました。ロボットを実社会に入れる際に避けては通れない重要な課題であると共感してもらえた結果ではないかと考えています。

#HAIシンポジウム2018 にて最優秀ポスター賞受賞しました！

研究テーマは
「ヒューマノイドロボットのための顔位置予測を用いた人の顔追従制」

AI Labに来ていた博士インターン生の研究成果ですすごい

明日から始まる #HRI2019 ＠韓国での発表も期待です！

#HAI2019 #最優秀ポスター賞 pic.twitter.com/ehL61ReK5u

— CyberAgent アドテクスタジオ広報担当 (@ca_adtechstudio) March 10, 2019

おわりに

大阪大学との共同研究を開始してから取り組んできた研究たちを、国際会議や国内シンポジウムに研究論文として対外的に発表できるところまで持っていけて良かったと感じています。また、HAIコミュニティには温かく活発な研究議論の場を提供いただき、多大に感謝しております。運営の方々に改めてお礼申し上げたいと思います。

これからも社会実装に重きを置きながら実証実験を繰り返し、その成果を論文として発表し対外的なフィードバックをもらうサイクルを強めていきたいと思います。

先日開催されたAAAI 2019に参加してきました. 前半としてAI Lab 経済学チームの安井さんがバンディットと因果推論周辺についての記事を書いていましたが, 今回はその後半に当たる内容となっています. この記事では主にゲーム理論周辺における内容のレビューをしていきます.

自分は学部生だった頃に経済学部でゲーム理論のゼミに入っていたのですが， 内容は不完全私的観測の繰り返し囚人のジレンマゲーム(詳細はこちらの本を参照してください)の実験を行うというものでした． このゲームの均衡を解析するというゼミ教官の神取道宏先生の研究プロジェクト[1]に続く流れのもので， 学生はソフトを用いて実際に囚人のジレンマゲームを行ったり， 実験結果をディスカッションしたりということをしていた記憶があります. このような設定における均衡計算は非常に困難という理由もありその研究プロジェクトには九州大学の横尾先生や電通大の岩崎先生などComputer Science系の先生方も参加されていて， 学部生ながらそのような研究は当時としては(今も?)珍しい印象がありました. そのようなComputer ScienceとEconomicsの交差点に触れることができたことは幸運でした．

さて， AAAIの話に戻りますが， 感想としてはとにかくゲーム理論系のレベルの高い研究が多くて驚きました． 学部生の時に先述の経験をしておきながらCS系のゲーム理論の研究がここまで豊穣である事を知らなかったのは恥ずかしい話でした．

AAAIでゲーム理論関連の発表を聞いていた感想としてCS系のゲーム理論の研究とecon系のゲーム理論研究ではCS系の成果に驚くと同時になんとなく断絶があるように感じました． 実際， 帰国後に大学院でゲーム理論をやってる同期や後輩に聞いてみましたがAAAIで発表されているような話を知っていた人は皆無でした． 現地でもCS-econ系に興味のある学部時代の後輩と再会したので話をしたのですが， やはり彼も知らなかったようで, 先述の神取先生の研究プロジェクトで共著をされていた岩崎先生がこんなpostをなされていたので少なくとも経済学方面で殆ど知られていないのはある程度事実なのだと思います．

という事で経済学部で「ゲーム理論を学部生まで割と真面目に学んでいた身から見たAAAIのゲーム理論研究の感想」という趣旨での記事となります.記事に違和感や批判などあればご指摘いただけると幸いです．

Game Theory in AAAI

AAAIは個人的にはほぼゲーム理論系の学会でした． 上の画像のGame Theory and Economic Paradigmsというセッションがそれですが， 非常に高いAcceptance Rateで， Game Theory and Economic Paradigmsだけでも第10部までセッションがあり他の分野と比べ最大数でした． ここまで多かった理由は複数あると思いますが， 元々AAAIはCS系のゲーム理論研究が集まる場という経緯があるらしく非常にハイレベルの論文が集まる上に， 敵対的学習の論文もこの枠で複数採択されているという所にもよるかと思います．

特にゲーム理論系の研究者で目立っていたのがTuomas Sandholm先生でした． 彼は近年だとポーカーでトッププロ4人に大勝したAI “Libratus“の開発で有名です． トッププロに大勝したゲームAIというと囲碁におけるAlphaGoが有名ですが， 自分の手番においてその前に起きた情報(相手の取った手など)が全て観測可能な完全情報ゲームと違い， ポーカーは相手の取った手などのそれまで起きた情報の全てを把握できない不完全情報ゲームという違いがあります． このような不完全情報ゲームにおいてトッププレイヤーをAIが倒したというのが画期的なポイントでした． この不完全情報ゲームについての話は後の論文レビューでも触れていきます．

AAAIでのSandholm先生のスケジュールをまとめると

• 1日目 : Automated Mechanism DesignというメカニズムデザインのTutorial Session
• 2日目 : RL+ゲーム理論ワークショップ(Reinforcement Learning in Games)でパネルディスカッション登壇
• 3日目 : Honorable Mention Paperの発表(発表自体は共著者によるものでしたが)
• 5日目 : Invited Talk(動画)

と， 会議全日程を通じて非常に存在感がありました． ただ存在感があっただけでなく, 個人的にも最も鮮烈だったのはSandholm先生周りの研究でした． まずはゲーム理論が必要な理由について簡単に解説してから， Sandholm先生のペーパーなどを紹介したいと思います．

なぜゲーム理論が必要なのか

ナッシュ均衡

そもそもなぜゲーム理論がこれらの研究に必要なのかという話から入ります． たまにゲーム理論×ビジネスといったビジネス書を見ることがありますが， 実世界でも自分のことだけ考えて利益を最大化しようとしてもうまくいかないことは多くあります． 交渉において, 相手のインセンティブなどを考えず自分の利益だけを最大化しようとすれば, 交渉が決裂してしまう事がその最たる例と言えるでしょう. この様な状況では相手の出方を考えつつ自分がどうやったら利益を最大化を出来るだろうと考えるのが最終的に自己の利得を大きくする選択となるでしょう． このような「自分の利益が相手の行動に依存し， 相手の利益が自分の行動に依存する」といった相互依存的な状況をゲーム的状況といいます. この分析のために必要な概念がナッシュ均衡です． これは非常にざっくりいうと「お互いに，自分の戦略から逸脱しても利益を挙げられない状態(戦略の組)」， 要は「自分ひとりが戦略を変えても得ができない」安定した状態のことです. 経済学などではナッシュ均衡が成立しているという仮定のもとで実際の経済データを分析したり， CSの成果ではゼロサムゲームの条件下ですがナッシュ均衡をひたすら計算することでプロ4人に大勝するポーカーAI(Libratus)の作成が可能になったりしています． ゲーム的状況というのは実際に多くの人や意思決定主体が現実で直面しているはずですが， この中でどのようにすれば「合理的な」決定が可能かを導くツールであるというのがゲーム理論が必要な理由になってきます．

CS系とEcon系のギャップ

部分的にしか見ていない上に乱暴な区切りだとは思うのですが, AAAIでCS系のゲーム理論研究を見た上での感想です． 経済学はやはり社会科学なので， 近年だとどのように「合理的でない人間の行動を上手く説明できるだろうか?」とか「人間行動を説明できるようにゲーム理論を修正できるだろうか?」という方面に向かっていって, その流れの中で脚光を浴びているのが実験/行動経済学だと思っています． また,それとは別にゲーム理論のアプリケーションとしてメカニズムデザイン/マッチングといった領域がCS系とecon系のゲーム系研究者の融合先になっているのかなと思っています．

一方でCS系のゲーム理論研究として個人的に一番素晴らしいと思った成果がやはりLibratusです. 実はポーカーAIにはDeepStack というもうひとつ有名なものがあり， こちらは局面の評価をDeepLearningで行うというアプローチをとっています． Libratusの方はひたすらに部分ゲームというゲームの一部分を解く詳細化アプローチとゲームを抽象化して大雑把に解く抽象化アプローチで性能を挙げているため純粋にゲーム理論の成果の一つと言えると思いますが, これらの成果からは人間行動の説明とかどうでもいいからとにかく「合理的」なエージェントを作ってしまおうという気概を感じました． 実際， Sandholm先生がReinforcement Learning in Gamesワークショップのパネルディスカッションで「ゲーム理論は合理的なエージェントを表現することを担っている」というようなことを話していました． RLでは， 「最も合理的なエージェントが何をするのか?」というのは重要になってきますが, そのようなエージェントを獲得する事自体が難しいという状況があり， ゲーム理論の均衡概念はそれを示す一つの鍵になってくるのかもしれません. 個人的に「使える事に意味がある」CS系と「説明する事に価値がある」Econ系のゲーム理論研究に結構な断絶を感じたポイントはここだったと思います.以下の論文レビューではこの上記の「使える事に意味がある」という視点と「説明する事に価値がある」という両面から感想を述べていきたいと思います．

気になった論文レビュー

“Solving Imperfect-Information Games via Discounted Regret Minimization” (Link)

先述のHonorable Mention Paperで不完全情報ゲームにおけるナッシュ均衡の計算アルゴリズムについての論文です． 囲碁などの完全情報ゲームでは相手の取った手が全て観測可能なため，「実現している状態が一体何か」ということを考える必要はないのですが， ポーカーのような不完全情報ゲームだと相手が何を捨てて何の手札を引いたかということは見ることはできないので想定される状態が非常に多くなってしまいます． したがって， 例えば全てのありえる状態やパターンを考えて最適な戦略を求めるなどのことをすると必要な計算量が非常に大きくなってしまうので， この計算量をどのように抑えるかが大事になってきます．

そこで， Counterfactual Regret Minimization(CFR)というアプローチを取ります． Regretというのはざっくり言えば「最適戦略を選択したときと現在の戦略を選択した時の利得の差分」なのですが， ゼロサムゲームにおいてはりRegretの最小化問題を解けば近似的なナッシュ均衡(ε-ナッシュ均衡)を実現できるPolicyが得られることが定理[2]として知られています． これを不完全情報ゲームについて拡張したものがCFRなのですが， これの何が嬉しいかと言えば不完全情報ゲームでも上記のようなPolicyが得られる， つまり不完全な情報の中でも合理的な選択が可能ということです．

CFRでは平均戦略というものを更新していきます． そもそも戦略という言葉を曖昧に使ってきたのですが， ゲーム理論における戦略は， 自分が過去に得られている情報に対する行動の分布のことで, 行動計画書のようなものだと説明されたりもします． 平均戦略というものはその戦略をとった時にある状態が実現する確率で重み付き平均をとったもの(戦略は分布なのでこのような操作が可能なわけです)で, CFRはCounterfactual Regretが正， つまり現在得られている平均戦略より得をすることが可能なときにのみ平均戦略を更新するというアルゴリズムです． その後， CFR+[3]という改善手法が提案され, Counterfactual Regretが負の際は0にすることで更に計算量の抑制を実現しました．

本論文では， Linear CFR(LCFR)という新しいアルゴリズムを提案しています． これは， CFR+ではどうしても収束が遅くなってしまうゲームが存在するという問題を解決するもので， 「平均戦略の更新アルゴリズムにおいて時点tのiterationのたびにtで重み付けをする」というアルゴリズムになっています． 論文中では， 3つの行動に対応する報酬が0 , 1 , -1000000,というゲームにおいてはCFR+では収束まで471407回のiterationが必要な一方でLCFRだと970回でよいという結果を挙げています． これは, 初期のあまり良くないiterationを更新のたびにtで重み付けることで割り引くことができるため， 上記のような報酬が負の報酬が異常に高いゲームなどでは特に有効になるようです．

(Linear CFRの結果. 論文内より)

上記の図はポーカーでのパフォーマンスです．下に行くほどどれだけナッシュ均衡に近いかを示すグラフですが， LCFRがCFR+より早く正確に収束していることがわかります． しかし， LFCRだとゲームの設定によっては収束先がCFR+より悪くなったり, CFR+より遅い収束をすることがあるため， 論文内ではLCFRを一般化したDiscounted CFR（DCFR)というアルゴリズムを提案しています．　DCFRを用いた場合はあるパラメータ設定の下では常にCFR+よりoutperformしたそうです．

「使う」という視点だと純粋に収束が早くパフォーマンスもよいアルゴリズムの提案ということで当然嬉しい研究で， 論文中の定理２で2人ゼロサムゲーム下でのε-ナッシュ均衡への収束も保証されてるので実用的だとは思います. しかし， テクニカルセッションの初日で自分がこの発表をいきなり聞いた感想は今まで知っていたゲーム理論研究と文脈が違いすぎてどこが面白いのかわからずに非常に困りました． 今から思うとこの論文は「合理的なエージェントを作る」という文脈で捉えるべき話だったと思いますが， 「それならば非合理なエージェントにどう対応するか?」 という話が次に紹介する論文の内容になってきます．

“Quasi-Perfect Stackelberg Equilibrium”(Link)

均衡の精緻化というトピックについてあつかった論文です． ナッシュ均衡はプレイヤーの合理性を強く仮定しすぎるなどの理由から不自然なものが均衡とされてしまうことがあります． したがって， これらの不自然な均衡を取り除きたいというモチベーションが生まれるのですが, 均衡になんらかの制約を課すことで均衡の範囲を制限することで不自然な均衡を取り除く事ができます． この様な不自然な均衡を取り除く処理を精緻化と呼び、この論文ではシュタッケルベルグ均衡についての精緻化を行っています.

シュタッケルベルグ均衡というのは, シュタッケルベルグモデルという寡占市場モデルにおける均衡です． 企業1が生産量q1を先に選んだあとに企業2が生産量q2を後に選ぶという先攻後攻のある寡占市場における競争モデルをシュタッケルベルグモデルといいます． 他には先攻を警備側， 後攻を侵入者側としてモデル化した警備ゲーム理論という分野でよくこのモデルが用いられるそうで, AAAIのセッションでも警備ゲームに関する発表がいくつかありました． ここに準完全均衡という精緻化均衡の概念を適用して解を導出したものが, この論文内で準完全シュタッケルベルグ均衡(Quasi-Perfect Stackelberg Equilibrium)とよばれるものです． 準完全均衡は摂動完全均衡を更に精緻化したもので， 摂動完全均衡というのはざっくり言えばプレーヤーが僅かな確率で誤りを犯しても依然均衡になる均衡のことです. プレーヤーが完全に合理的ならば誤りは犯すことはないのですが， 実際は人間は完全に合理的ではないということで導入された均衡概念になります．

本論文では， この準完全シュタッケルベルグ均衡について， 種々の定義を行った後に成立についての定理の証明や計算アルゴリズムの提案などを行っています． 論文中ではSandholm先生たちはシュタッケルベルグ均衡の解析というよりかは, 準完全均衡を強調して重要性を主張しているように見えました． 個人的には均衡の精緻化周りの研究は経済学方面で盛んにやられていたイメージだったので, 特にシュタッケルベルグ均衡という学部生でも知っている均衡の精緻化というトピックがまだ残っていてしかもCS系でやられていることにかなり驚きを感じました． 「説明する」という文脈だと均衡の精緻化というトピックは大事で， 経済学方面でも準完全シュタッケルベルグ均衡を用いた応用研究が可能かもしれません.(そのまま使っても面白い研究にはならないかなと思いますが…) 「使う」という文脈だと先程も述べたように今は「合理的なエージェントを作る」という視点から「合理的ではないエージェントにどう対応するか」という視点にSandholm先生などは目を向け始めているのかなという感想をいだきましたが， 特にSandholm先生の研究の幅の広さは恐ろしいと思わされました．

“From Recommendation Systems to Facility Location Games”(Link)

こちらはSandholm先生のPaperではないのですが， アイディアが非常に面白かったので紹介します． 古くからゲーム理論にはホテリングゲームという2次元の店舗立地問題があり, 2店舗で行う場合は同じ真ん中の位置に立地することが均衡になることが知られています． 3店舗以上だとこの結論は成り立たないのですが， しばしば電気屋やコンビニが極めて近くに立地することの説明に使われたりします． 以下は2店舗のホテリングゲームの大雑把な解説図です． それぞれの店舗は0から100の間の位置に立地可能で， お客はこの0から100に均一に散らばっていて近い方のお店に行く(等距離の場合は1/2の確率でAかBに行く)という設定になっています． このとき， 店は下の2,3のプロセスを繰り返してどんどん近づくことで結局同じ真ん中の位置に立地することが均衡になります．(別の位置で同じ位置に立地しても少しズレるだけでお客がいきなり増えるので均衡にはなりません)

本論文では推薦システムをこのホテリングゲームで定式化しており， 推薦エンジンはコンテンツができるだけ多くのユーザーに表示されようとコンテンツ表示を最適化してしまうため， コンテンツ制作者はとにかく表示回数を増やすためにユーザーに”近く”なる様にコンテンツを作成するという戦略が考えられます. 結果， 前述の2店舗ゲームのように似通ったコンテンツが作成されてしまい， コンテンツはユーザーの効用はほぼ無視して作られることになるので、結果として社会的厚生が悪化してしまう（かもしれない）という問題があります． この問題に対処するために， いわゆる”仲裁者”を導入することを提案していて， この仲裁者による社会的コストをおさえつつ， より厚生を上げるような均衡に誘導するようなデザインを提案しています． 推薦システムをホテリングゲームで表現するという視点とメカニズムデザイン的な視点の組み合わせは非常に面白かったです．

経済学的な視点だとミクロ経済学の授業では「経済モデルをどのように上手く抽象化してモデリングするかが一番センスの見せ所だ」という教えを今まで受けていたのもあり， この論文ではそういう点で非常にセンスを感じました． 「使う」という意味ではこのホテリングゲームだと2次元のケースしか考えていないので理論的にはその拡張が大変そうだと思いましたが, この様な状況が実際の状況でも起こりそうなのであればそれを判断できそうなKPIを設定して観測・対処するなどのデータサイエンスのタスクによる対処を考えるのが良さそうかつ面白そうだと思いました.

アドテク企業におけるゲーム理論

最後に, 簡単にどうやってゲーム理論をアドテクビジネスに応用できるかなと考えた話をして終わります． 個人的には学生の頃からゲーム理論の”有用性”に関しては甚だ疑問でした． 人間行動の説明のための寓話(Fable[4])を語るツールとして面白いとは思っていましたし， 今になって思えばゲーム理論やミクロ経済学を学んだことで戦略的な思考や通常とは異なる視点といったものが身について得をしていると思うことはあるのですが， アドテク系の民間企業という中で企業にとって価値のあるような応用が可能なのかという点については全く見当がつきませんでした． 当然ネット広告はオークションなのでSSPにメカニズムデザインやマッチング理論を適用できるとは思いますが企業にとっても嬉しい研究というのは非常に難しいと思っていましたし， 少なくとも複数均衡や限定合理性のことを考えるとゲーム理論をWeb企業における予測ツールの一つとして使うのは厳しいと思っていました. そういう点ではゼロサムゲームのポーカーという条件下ではあるのですが， とにかく「合理的」であることでお金を稼ぐことに成功していたLibratusは直接お金になっているという点でわかりやすく嬉しいものを見たなと思っています.

「使う」という視点だと， Sandholm先生の先述の「ゲーム理論は合理的なエージェントを表現することを担っている」という発言を再度引きますが， アドテクにおいても合理的なエージェントを作ろうとする(例えばそれはbidderかもしれませんし他のなにかかもしれませんが)と重要になってくるはずで, アドテク外の他の分野でも関わってくるかもしれません． 「説明する」という視点だと, 3本目に紹介したホテリングゲーム論文のように鮮やかに推薦システムなどの現在のインターネットサービスで重要な位置を占めるシステムをモデリングしてサービス改善に繋がるような示唆を与えられる研究は非常に面白く感じました． 理論的に複雑なモデルに拡張するのは非常に難しいかもしれませんが， 企業だと実際にA/Bテストなどで検証も行いやすいためこのような形での活かし方も可能なのかなという事を思いました． 非常に素人考えですし一人で考えてても限界はあるのですが面白そうなことができる気はしているので「アドテク方面でゲーム理論使って面白いことをやりたい！」と考えているCS/Econ系の研究者+学生の方がいらっしゃったら冒頭の私のTwitterなどにお気軽に連絡していただけると幸いです．

引用

[1] “部分観測可能マルコフ決定過程を用いた私的観測付き繰り返しゲームにおける均衡分析プログラム”，ジョヨンジュン，岩崎敦，神取道宏，小原一郎，横尾真，情報処理学会論文誌，53(11), 1882-7764, 2012
[2] Zinkevich, Martin, et al. “Regret minimization in games with incomplete information.” Advances in neural information processing systems. 2008.
[3] Tammelin, Oskari. “Solving large imperfect information games using CFR+.” arXiv preprint arXiv:1407.5042 (2014).
[4] Rubinstein, Ariel. Economic fables. Cambridge, UK: Open Book Publishers, 2012 (和訳あり)

先日開催されたAAAI 2019に参加・発表してきましたので、気になった研究や発表した論文の内容について簡単に記事を書かせていただきます。

そもそも今回はじめてAAAIへ参加させていただいたのですが、経済学徒にもおなじみのゲーム理論の存在感に非常に驚かされました。内容に関しても非常に面白く、因果推論や計量経済学だけでなくゲーム理論においてもComputer ScienceとEconomicsの交差点があったのかと深く感心させられました。これに関しては一緒に参加した後輩の金子くんが別途ブログ記事を投稿する予定なので、しばしお待ちいただいてそちらを参照していただければと思います。

実はAAAIは因果関係を考える様な学習モデルが以前から発表されてきました。中でも操作変数法をオンライン学習の設定に持ち込んだ研究は非常に面白く、自分のブログでその驚きを報告したほどでした。[1]
この論文を発見した時からぜひ一度AAAIへ参加してみたいと思っていたので、今回AAAIに参加する事ができ非常に嬉しかったです。

気になった発表三つ

“Balanced Linear Contextual Bandits”(Link)

こちらはContextual Banditにおける報酬予測モデルで、Importance Weightを用いる事を提案した内容の研究です。NeuralIPS 2017のWhat If What Next Workshopで発表された”Estimation Consideration in Contextual Bandits”(Link)のカンファレンス版となっています。
共著者の一人であるSusan Atheyはテック企業での研究活動を行う経済学者の代表的な存在であり、”機械学習を用いた因果推論”や”因果推論を用いた機械学習”や”因果推論を用いた機械学習の評価”といったテーマでKDD,NeuralIPSといった様々なトップカンファレンスで論文を量産しています。まさに予測と因果の交わる部分の最先端をいく研究者だと思います。そんなSusan Atheyが関わっている研究だったのもあり、個人的には非常に注目していた研究です。

Contextual Banditは自己の決定に基づいて学習データが作られていきます。よって、学習データは予測したいデータの分布そのものではなく、そこでさらに自己の意思決定によるバイアスが発生する事になります。この様な状況に対応するために傾向スコアを用いて学習データを予測したいデータに近づけてあげて、その状態で報酬予測モデルを学習するといったことを行います。

理論パートではUCB/Thompson Samplingのそれぞれに対してこの提案手法を用いた場合についてのRegret Boundが示されており、Linear Thompson Samplingと結果がそう変わらないことを示しています。実験パートにおいては二つの実験結果が示されています。1つはシミュレーション環境における性能評価で、もう一つは300個ほどあるマルチラベルのデータセットにおける性能評価です。

このグラフは点一つ一つがデータセットでの結果となっており、縦軸が行に表示されている手法の報酬性能で、横軸が列に表示されている手法の報酬性能となります。点が青くなっている場合には列側の手法の報酬性能が高く、赤くなっている場合には行側の報酬性能が高いということを示しています。
ここでメインとなる様な提案手法はBLTSであるため、上から２番目の行の結果に着目します。比較対象であるLinTS, LinUCBに対してはほとんどの点が青くなっており、傾向スコアを用いたBLTSの報酬性能が平均的に
高い事がわかります。この結果バンディット自体がもたらすバイアスを取り除く機構を入れることで性能が改善する事が示されました。

バンディットの報酬予測モデルにおける学習データと予測データの分布の違いを考えるというテーマでは傾向スコア以外にも利用できる方法は多く存在するはずなので、今後もいくらか進歩がありそうだと思える研究でした。また実務的にも報酬性能が向上する事が期待できる上にモデルの学習部分のみを変更すれば良いというのは導入が楽なので取り組みやすいという印象を受けました。

“Dynamic Learning of Sequential Choice Bandit Problem under Marketing Fatigue”(Link)

こちらはユーザーが広告に対して思う不快感を考慮に入れた様なバンディットの提案を行なっている研究です。とあるプラットフォームにユーザーが何回か訪れる時に、そのプラットフォームがどの様な広告の出し方をするべきかを考えます。とりあえず広告を出し続ける場合、広告を表示する回数が増えるのでユーザーがクリックする確率はいくらか上昇し、クリックした事によって広告主から費用をもらえる場合には売り上げの期待値が増加する事になります。一方でユーザーが広告に嫌気がさしてプラットフォームの利用自体を停止してしまうという行動を考えると、広告を出し続けるとユーザーがあるタイミングで離脱してしまい、未来における収益をえるチャンスを失ってしまいます。

こちらの論文ではこの様な状況の時にオフラインでの広告表示最適化問題を考え、それをonlineの設定で解くという流れでバンディットを導入しています。この時広告収益から離脱によるコストを差し引いた効用が最大化される様に考えます。この効用のUCBは、広告を表示する場合の収益と離脱した際のコストが決まっていれば、広告をクリックする確率と離脱する確率のUCBが定義できれば得る事ができます。この様にして効用のUCBを定義し、広告表示を行なっていきます。

この研究で提案されている内容はプラットフォームからの離脱をコストとして想定していたり、そのコストが一定であることを想定していたりと、RTBの世界では扱わない様な設定があります。この辺りをうまく変更することでRTBで広告の不快感を考えた様な広告選択を考えることは可能な様に思えました。

“A Distillation Approach to Data Efficient Individual Treatment Effect Estimation”(Link)

ABテストで計測される様な因果効果がサンプルの特徴によって異なる事が想定される場合に、非実験データにおいてその条件毎に異なる効果（ITE）をどの様に推定・予測するか？という研究があります。最近であれば先ほど話に出たSusan Atheyが提案したGeneralized Random Forest(GRF)と呼ばれる手法がよくこのITEの推定に用いられる様になってきました。[2]

この研究では、ITEを推定・予測するモデルを実際にプロダクトに導入する際に、オフラインで使えるデータがオンラインで使えるデータよりもリッチであるという実務では比較的よく見る状況におけるITEの予測方法を提案しています。観測データにおけるGRFの役割はデータのもつバイアスを取り除き、その上でITEを推定する事にあります。この時バイアスを取り除くためにはGRFに投入するデータの中にバイアスを生み出す様な変数が含まれている必要があります。しかし、バイアスを取り除くための変数は必ずしもITEの学習には必要でないというケースがあります。

よって、提案手法ではまずオフラインのリッチなデータを使ってGRFの学習を行い、バイアスを軽減してITEの推定値を出力します。そして次にオンラインで利用可能な限定されたデータでITEをラベルにして教師あり学習を行います。これによりITEの”予測”をプロダクトで利用可能な現実的なデータのみで行える様になります。

ITEの予測は広告効果を考えるという観点で多くのアドテク企業において非常に興味のあるトピックになっています。しかし実際にはITEの予測モデルは学習方法などに多くの問題があり、実務的な使いやすさにおいては大きな問題がまだまだ残っています。この研究はそんな問題の一つであるリッチなユーザーデータが必要という状況をいくらか緩和してくれる様な方法を提案してくれています。

さて、やはり自分が最近興味のあるバンディットアルゴリズムと因果推論に内容が偏ってしまいましたが、気になった発表の紹介としては以上となります。もしこの辺りの研究に興味のある方がいらっしゃればtwitterのアカウントまでコメントを飛ばしていただければと思います。

発表内容について

Efficient Counterfactual Learning from Bandit Feedback(Link)

今回のAAAIは聴講だけでなく、共同研究の一環として執筆した論文を発表してきました。
この研究はバンディットアルゴリズムのオフライン評価に関する研究で、統計的により効率的な評価を試みるものとなっています。このオフライン評価の基礎的な内容については以前に投稿した記事や、社内カンファレンスで発表した資料などがあります。

上記の資料で紹介されている様に、これらのオフライン評価では基本的に傾向スコアを利用したInverse Probabilty Weightingが行われます。Off-Policy Evaluationの特殊系とも言える因果推論では、IPWを利用した際にはSeive EstimatorやSeries Logistic Regressionなどを用いる事で統計的に効率的、つまり推定される分散の値が最小になる様な推定量が得られることが知られています。[3]

今回は因果推論の様に一つの選択肢だけを選び続けるPolicyの評価ではなく、特徴量の値によって選択肢を変える様なPolicyの評価を行うOff-Policy Evaluationにおいてどの様にして統計的に効率的な評価が行えるのかを考え、機械学習を含む様なnonparametricなモデルによって傾向スコアを推定することで、効率的なが可能であることを証明しました。この結果として推定される評価値の分散は縮小し、より信頼度の高い評価と意思決定をオフライン評価で行えることが可能になりました。

ポスターセッションではバンディットに関心のある方や機械学習の側面から因果関係に興味を持つ様な研究者の方に来訪頂き、様々なディスカッションを行うことが出来ました。

最終日のCausal LearningのセッションではOralの発表も行われ、共著者の矢田さんによるプレゼンテーションが行わ、発表後には先ほど紹介した”Balanced Linear Contextual Bandits”の著者や因果推論に興味関心のある研究者が自然と集まり、30分ほど様々な議論が行われました。

人工知能系のコミュニティにおいては因果推論を考える様な研究者はまだまだ少数派ですが、皆それぞれがそこに価値があると考え様々なアイデアで挑戦していることが知れて非常によかったです。またアドテクスタジオ内で行われているバンディットアルゴリズムと因果推論に関する議論の内容が決してAAAIで発表を行う様な研究者たちに遅れをとっているわけでもなさそうだという事がわかったのも、自分としては大きな自信につながりました。

引用

[1]Venkatraman et al., Online instrumental variable regression with applications to online linear system identification, Thirtieth AAAI Conference on Artificial Intelligence. 2016.
[2]Athey et al., Generalized random forests, Annals of Statistics, January 2019
[3]Hirano et al., EFFICIENT ESTIMATION OF AVERAGE TREATMENT EFFECTS
USING THE ESTIMATED PROPENSITY SCORE , Econometrica, July 2003

SIGGRAPH Asiaのマスコットデザインは公募で選ばれたらしいです．

グラフィクス系でもニューラルネットワークを使った手法が広く採用されている印象があります．その中でもpaGAN: Real-time Avatars Using Dynamic TexturesはGANによる顔画像生成を上手くアプリケーションに落とし込んでいます．

（デモビデオ）

この研究ではアクターの表情に合わせて動くリアルなアバターをたった１枚の画像から生成する手法を提案しています．頭部のテンプレート形状をアクターの動きに合わせて変形し、作成したいアバターの顔テクスチャを貼り付けて基本となる見た目のレンダリングをしています．これだけでは細かいシワや目・口内のテクスチャを綺麗に再現することは難しいので、それらディテールをGANを使って生成しています．デモビデオでは歯や目がかなり自然に描画されていることが確認できます．モバイル端末で動かすための高速化テクニックも多数組み込まれており、この手法を使ったアバターアプリはすでにApp Storeで配布されています．

線画の自動着色手法についてのTwo-stage sketch colorizationもGANを使った研究です．この研究ではこれまでの自動着色でよく見られた色の滲みを修正するニューラルネットワークモデルを追加することでより高品質な着色を試みています．こちらは以前からウェブ上にツール公開しており、発表の最後にはインターネットから取得した画像でライブデモを披露していました．まだ論文化していないようですが、独特なライティング効果をつける機能も公開しています（style2paints プロジェクトページ）．

SCORES: Shape Composition with Recursive Substructure Priorsは２つのオブジェクトから別々のパーツを組み合わせて、新しい形状を生成する研究です．この研究ではパーツのレイアウトを表現するための特徴空間の学習法とその特徴表現を使ったパーツのレイアウト調整のテクニックを提案しています．アプリケーションとして、3Dパーツを組み合わせた新しい形状の生成をしていますが、このアプローチ自体は２次元の画像にも適用することができそうです．デザイナーの作例から多様なレイアウトパターンを生成するなど広告自動生成への応用に可能性を感じます．

プロジェクトページから．(a)と(b)の色のついたパーツをもとに新しい形状(e)を生成しています．

また、サイバーエージェントとしてはExhibitionにて企業ブースの出展も行いました．

白を基調としたブース内では、これまでAVATTAで撮影をしたスキャンデータやARコンテンツなどを展示しながら、
AI Labによる研究内容及びCGチェンジャーが持っている技術の紹介、タレントCGの広告活用についてなど
様々なテーマ内容にてプレゼンテーションをしました．AI Labからは6日に山口より「Research projects at CyberAgent AI Lab」というタイトルにて研究の紹介をさせていただきました．

今回初めてSIGGRAPH Asiaに参加しましたが、多くの研究発表が完成度の高いデモを用意していることが印象的でした．研究者だけでなく、広く一般のユーザが試せるように作り込まれたものも多く、実際に使える技術の開発を重視していることが伺えます．コンピュータビジョン分野でもソースコードやデータを積極的に公開する文化はありますが、どちらかといえば研究の透明性の担保や、後続研究のための技術詳細の公開といった研究開発用途の側面が強いように思います．今後AI Labの研究成果も論文だけでなく、実社会で活用できるような形でのアウトプットを目指していければと思います．