AI Labの大谷，阿部，森下です．2月に人工知能分野の主要国際会議であるAAAIに参加してきました．今年はニューヨーク開催でしたが，暖冬で気温は東京とほぼ変わらず過ごしやすい学会でした．他の国際会議同様，AAAIも投稿数が大幅に増加して7737件，そのうち1591が採択（acceptance rate 20.5%）だったそうです．全体的にトピックをみると機械学習がトップですが，コンピュータビジョンや自然言語処理などの応用分野が去年に比べて大きく数を伸ばしています．

今回はそれぞれが気になった研究発表について報告します．AI Labからは大谷が阪大のGarcia氏との共著でポスター発表，森下・阿部が強化学習のワークショップでポスター発表をしたのでその様子も報告します．

強化学習の研究発表

強化学習と言えば深層強化学習のアルゴリズムを改善し，Atari 2600 Gamesなどのドメインでstate-of-the-artな結果を出す，という研究が最近までは多かった印象でしたが，今回のAAAIではそのような研究はあまり見受けられませんでした．

深層強化学習に関する研究としては，text-based gameを対象ドメインとした研究がいくつか見られました．text-based gameは強化学習環境とのインタラクションを自然言語を用いて行うようなゲームであり，強化学習の新しい対象ドメインとして近年注目を浴びてきています．また，StarCraftなどのゲームで部分的に観測できる情報をもとに，ゲームの隠された状態を推定する研究についての発表もあり，特定のドメインで発生する問題を部分問題として捉えて解決するような研究がチラホラ見られたのが印象的でした．

AAAIでは古くからゲーム理論系の研究が多く投稿されていますが，今年はマルチエージェント強化学習に関する研究でもゲーム理論を応用したものも多く見受けられました．特に，ナッシュ均衡を始めとした均衡に収束する保証が理論的に与えられるようなマルチエージェント強化学習アルゴリズムを提案する研究や，各エージェントが利己的に学習するなかで協力関係を達成する方法を検討する研究が多かったように感じました．以下ではそれらの研究の中の一つを紹介したいと思います．

Partner Selection for the Emergence of Cooperation in Multi-Agent Systems Using Reinforcement Learning

マルチエージェント強化学習において，各エージェントが利己的に自分の報酬を最大化するように学習を行うと，ときとして自分以外のエージェントの報酬を搾取するように学習してしまい，全エージェントの獲得報酬の合計（社会的厚生）が悪化してしまう社会的ジレンマという状況が起こることがあります．これは各エージェントからすると他のエージェントの報酬を搾取するような戦略を取ることが合理的な選択肢に見えるために発生します．本来社会的厚生を最大化できるはずの協力関係を達成することができないジレンマを解決するということは，マルチエージェント環境において非常に重要な問題となっています．

この研究では，共にゲームをプレイするパートナーを複数のエージェントの中から選択できるPartner Selectionというフェーズを設けることによって，エージェントが協力するように学習することを実験的に示しています．Partner Selectionでは他のエージェントが直近数ゲームで取った行動を観測することができ，これをもとにどのエージェントとゲームをプレイするかを選択します．誰とプレイするかを選択できるようにした結果，各エージェントは搾取をしようとしてくるエージェントに対して報復的な行動を取るように学習するなどの段階を経て，最終的に協力的な行動を取るように学習することが実験的に示されています．

パートナーを選択するという非常に簡単な意思決定フェーズを追加することで，協力関係を達成するように学習することは興味深い結果だと思いました．このような簡単な仕組みの変更だけで実世界において発生している社会的ジレンマを解決できるのであれば，それは素晴らしいことだと思うので，より複雑なゲームでも同様に協力関係を達成できるかを検証することは一つの夢が広がる方向性だと感じました．

ゲーム理論の研究発表

阿部・森下でReinforcement Learning in Gamesと呼ばれるゲーム(ビデオゲームのゲーム + ゲーム理論のゲームの２つの言葉がかかっている)における強化学習に関するワークショップで発表を行いました．DeepMindの人たちが主催となっており，invited talker含め，かなり有名な方達がいらっしゃいました．例えば，去年，プロのポーカーに圧勝したアルゴリズムを開発したNoam Brown．その指導教員であり，コンピューターサイエンスにおけるゲーム理論研究者ではダントツの成果を挙げているCMUの教授 Tuomas sandholmなどです.

ポスターセッションでは，広告オークションにおける最適な入札額を決定するアルゴリズムの研究を発表しました．以下のリンクから，このワークショップのページに飛べます．そこから自分たちの論文も読むことができます.

 AAAI-20 Workshop on Reinforcement Learning in Games

本会議のゲーム理論のセッションでは，混雑ゲームにおける研究が目につきました．AAAIでは２本あったのですが，どちらも日本人で，池上氏ら(東京大学経済学部博士課程在籍)の研究と中村氏(NTT基礎研究所)の研究です．日本から混雑ゲームの研究が，AAAIというトップ会議に，２本も通っているというのは，非常に驚くべきことだと思います．

今回は，池上氏らの研究を少し紹介しようと思います．この研究では，エージェントから情報を聞き出し，混雑が緩和されるようなルートを提示するメカニズムを設計します．メカニズムデザインでは，虚偽の申告をしないようなメカニズムを設計するのが望ましいとされています．コンピューターサイエンスでは，differential privacyという性質を使って，虚偽の申告をしないようなメカニズムを設計することが多いです．しかし，混雑ゲームというクラスにおいては,  正直申告を担保するには，実はdifferential privacyの性質はいらないということを示したのがこの論文です．理論的には2人のみですが，実験的には，2人以上でも問題ないことを示しました．

経済学を研究してきた人たちがコンピューターサイエンスのメカニズムデザインに風穴を開けた良い研究だと思いました．

コンピュータビジョンの研究発表

今回は阪大のGarcia氏との共著”KnowIT VQA: Answering Knowledge-Based Questions about Videos”のポスター発表に参加しました．動画の質問応答に外部知識が必要な質問を取り入れる研究です．Garcia氏がかっこいいサイトを作ってくれたので興味があれば見ていってください．

プロジェクトページ

今回は欠席者が非常に多く，かなりのオーラル発表がビデオプレゼンテーションでした．今回は仕方のないことですがポスターも発表者なしが多かったです．コンピュータビジョンのセッションは動画の上映会になることが多かったのですが，その中でもこのフォントに効果をつける研究はプレゼン動画のクオリティの高さが印象に残りました．手法自体もうまいことテクニックを組み合わせて高品質な効果の付与を実現できているようにみえます．

他にはTransformerを利用したMultimodal encoderの事前学習があります．画像から抜き出したパッチ列と対応する文のペアデータから，vision&languageタスクに有効なモデルを事前学習しようというアイディアです．このアイディアに基づく研究が今回は２本（Unified VLP，Unicoder-VL）採択されています．調べてみると同時期に同じようなアイディアの論文がarXiv等に少なくとも５本出ており，ここ最近のvision&langauge分野の研究スピードの凄まじさを実感します．

イベント

今回はチューリング賞受賞者三人の講演とパネルトークがありました．このイベントは全編録画が公開されています．それぞれの講演では現在主流の深層学習手法の限界に触れ，今後の研究の方向性についての考えを紹介しています．G. Hinton氏は「次のCupsule Netこそいける！」と力説していて，ニューラルネットを諦めなかった研究者の情熱を見た気がしました．パネルトークでは大学での研究のあり方や研究成果が認められないときはどうしたらいいか？などの話題で盛り上がっています．

ニューヨークの思い出

AAAIの期間中，日本からの参加者の方達とステーキを食べに行きました．お肉の量もさすがアメリカ，巨大サイズでした．

またニューヨークといえば，ブロードウェイ．上演中のウィキッドを見に行きました．圧巻のパフォーマンスとアメリカ特有の観客の盛り上がりを経験できました．

さいごに

扱うトピックが広いので普段馴染みのない分野の研究発表をみれたのはよかったです．SNSやクラウドファンディングサイトなど多様なデータを使って問題解決を目指す研究プロジェクトは参考にしたいと思いました．来年はカナダのバンクーバー開催だそうです．１年後にどんな研究が議論されているのか楽しみです．