Interactive Agentチームは，デジタルマーケティングにおけるHCI (ヒューマン・コンピュータ・インタラクション)の研究開発に取り組んでおり，研究テーマの一つとして，ユーザの体験向上を目的とした新しい広告メディアの発明を行っています．

リサーチインターンシップにおいて，私は形状変化型の新しい広告メディアに取り組み，そして先日，研究成果がHCIに関する国際会議ACM ISS 2024にて採択されました．この記事では，リサーチインターンシップでの研究内容について紹介します.

Popping-Up Poster: 形状変化型ポスターデバイス

Popping-Up Poster: A Pin-Based Promotional Poster Device for Engaging Customers through Physical Shape Transformation
Kojiro Tanaka, Yuki Okafuji, Takuya Iwamoto
ACM International Conference on Interactive Surfaces and Spaces 2024 (ACM ISS 2024)

研究背景

商業施設では，商品の販売促進の一環としてポスターやデジタルサイネージが活用され，画像やアニメーションを用いた広告メディアが展開されています．しかし，こうした商業施設では，広告メディアや照明装飾といったビジュアル要素が溢れており，お客様が無意識のうちに広告を無視してしまう現象が広告研究で指摘されています．この現象は，特にディスプレイ装置において Display Blindness として知られています（図1）．

こうした課題に対応するため，過去の研究では映像や音声表現を工夫する手法が提案されてきましたが，商業施設のビジュアルやサウンド要素が飽和状態にある環境では，それらの効果が埋もれてしまう可能性があります．そこで我々は，商業施設でもお客様の注目を集めやすく，商品情報を効果的に伝えられる新しい広告メディアの創出を目指しました．

図1: Display Blindness

提案手法

映像や音以外の方法でお客様の注目を集める手段として，本研究では 「飛び出し機構」 に着目しました．例えば，図2のような鳩時計はその代表例です．何もない状態から鳩が飛び出すことで，それまで意識していなかった時計に反射的に注意が向きます．

図2: 鳩時計の飛び出し

このアイデアを応用し，文字や画像が飛び出すポスターデバイス Popping-Up Poster をデザインしました（図3）．ポスターにはドア状の切れ込みがあり，その裏側に配置された正方形のピンが飛び出す仕組みです（図4）．これにより，紙製のポスターながら物理的な形状変化を伴うアニメーションを実現し，注目を集めやすい広告メディアを実装しました．

図3: Popping-Up Poster

図4: Popping-Up Posterの内部構造

フィールド実験

提案するPopping-Up Poster が顧客の購買行動に良い影響を与えるかを検証するため，大阪の商業施設 グランフロント大阪内のカフェ「CAFE Lab.」 に設置してフィールド実験を実施しました．実験では，カフェで販売されている「さつま芋のクリームチーズケーキ」を推薦商品として，ケーキショーケース上に広告メディアを配置しました（図5）．

図5: フィールド実験の様子

従来の広告メディアと効果を比較するために，提案手法を加え，以下の条件のもと実験を行いました．

1. 通常の紙のポスター (Static Poster)
2. 静止画を表示するデジタルサイネージ (Static Digital Signage)
3. 動画を表示するデジタルサイネージ (Dynamic Digital Signage)
4. 提案手法 (Popping-Up Poster)

そして，各広告メディアごとのお客様の行動を，カメラで撮影した動画データと売上データを用いて評価しました．（なお，実験中はカメラ撮影を行っていることをお客様に周知しています．）

その結果，飛び出し機構を持つ Popping-Up Poster は，他の広告メディアと比較して顧客の注目を集めやすく，推薦商品を選ぶ機会を増やす効果があることが確認されました．図6に，広告メディア別のお客様の行動に関する実験結果をまとめています．ここでは，お客様の行動を 「気付きフェーズ → 関心フェーズ → 購入フェーズ」 の3段階に分類し，それぞれ 視認率・指差し率・推薦商品の売上率 を指標として評価しました．

気付きフェーズ・関心フェーズ においては，提案手法である Popping-Up Poster が他の広告メディアと比べて統計的に有意な差を示し，お客様の注目を集めやすいことが明らかになりました．一方で，購入フェーズ では，Popping-Up Poster と他の広告メディアとの間に有意差は見られませんでした．しかし，広告メディアを設置しない「No Media」の条件を追加した場合，Popping-Up Poster のみが No Media と有意な差を示しました．つまり，従来の広告メディアよりも Popping-Up Poster を設置した方が，お客様が推薦商品を選択する可能性が示唆されました．

図6: 実験におけるお客様の行動の実験結果

また，Popping-Up Poster で推薦された商品は，お客様の記憶にも残りやすい可能性 が示唆されました．図7は，カフェを利用していたランダムなお客様に協力いただいたアンケートの結果を示しています．このアンケートにおいてPopping-Up Posterの条件では，協力者全員が広告メディアの存在を認識し，さらに 8割の方が推薦されていた商品を記憶していることが分かりました．この結果は，一部の他の広告メディアの条件と比較しても，統計的に有意な差が確認されました．

図7: 実験におけるお客様へのアンケートの実験結果

この結果から，Popping-Up Poster は他の広告メディアと比べて推薦効果が高い可能性があることが示されました．ただし，この効果は 実験環境や推薦商品の種類によって変動する可能性があるほか，提案手法自体の新規性による影響も考えられます．そのため，より汎用的な効果を検証するには，さまざまな環境や商品を対象とし，長期間の実験を行うことが必要です．

まとめ

本研究では，従来のポスターに飛び出し機構を組み込んだ新たな広告メディア “Popping-Up Poster” を提案し，実験を通じて商品推薦効果の可能性を明らかにしました．形状変化による販促効果にはさらに発展の余地があり，今後も継続して検証を進めていきたいと考えています．

また，リサーチインターンシップの経験を振り返ると，自分の専門性を活かしながら研究を進められた点が良かったです．私の専門分野はHCIの中でも形状変化型メディアですが，インターン開始時点では広告研究への知識が浅い状態でした．しかし，メンターと議論を重ねる中で，自身の専門分野とサイバーエージェントが得意とする広告研究との接点を見出すことができ，新しい分野の経験を積むと同時に，自分の専門性に対する自信も深めることができました．

もし AI Lab のリサーチインターンシップに興味があれば，毎年募集が行われており，カジュアル面談も可能なので，ぜひ応募してみてください．

おまけ: ACM ISSのProceedingsについて

この研究で発表を行った国際会議ACM ISSは通常の国際会議とは少し異なる性質があり，今回おまけとして追記します．

ACM ISSの国際会議は他の国際会議とは異なり，採択された論文はProceedingsとしてパブリッシュされるのですが，このProceedingsはJournalとして扱われます．

これは，ACMから発行されるProceedings of the ACM (PACM)から由来しています．PACMとは，2017年から発行されているJournalシリーズです．情報系ならご存知の通り，研究成果がJournalよりもProceedingsの方が影響が強くなりがちですが，Journalの方が影響が強い他の研究分野に対しても研究成果のプレゼンスを強めるために，PACMが作られたようです．

Introducing Proceedings of the ACM: https://www.acm.org/publications/pacm/introducing-pacm

ACM ISSで採択された論文は，PACMの中でもHCIの領域にフォーカスを当てた，Proceedings of the ACM Human-Computer Interaction (PACMHCI)のISS特集号として掲載されます．他にもCSCWやCHI PLAYもこのPACMHCIに含まれています．

このPACMがJournalであるという根拠としてACMは，原稿の査読にJournalモデルを利用している点をあげており,ACM ISSは2月と7月の1年に2回論文募集を行っています．私の場合，図8のようなスケジュールで進んでいました．

図8: 論文投稿スケジュール

Proceedings形式ではありますが，Major Revisionを含むこのスケジュール感は確かにJournalに近い特徴を有しています．また参考までに，ACM ISS 2024の採択率もご紹介します．

• Overall
  • 120 Submissions
  • 29 Papers (24.2%) were accepted
• 1st Round (Feb.)
  • 51 Submissions
  • 11 Papers (21.6%) were accepted after a minor revision
  • 18 Papers (35.3%) got a major revision for 2nd Round
• 2nd Round (Jul.)
  • 69 Submissions
  • 18 Papers (26.1%) were accepted after a minor revision
  • 29 Papers (42%) got a major revision for the next ISS’25

以上，このACM ISSの情報が，今後投稿を検討される方々のお役に立てば幸いです．

27th Annual Conference on Intelligent User Interfaces (IUI2022)は、2022年3月21日（月）〜3月25日（金）に開催されました。今年はZoomやDiscordを活用したオンライン形式で開催されました。

本記事は、その参加報告となります。

開催概要

IUIはユーザインタフェースに関する国際会議で、主にヒューマンコンピュータインタラクション（HCI）と人工知能（AI）の融合点に位置する研究コミュニティのための会議です。2022年は全体で44の国から253件の投稿があり、62件のPapersが採択されました（採択率25%）。地域別の著者の割合は下図のようになっており、North Americaが半分以上を占めていました。また、26件のPoster and demosが採択されました。参加登録者は386名（America: 44%, Europe: 36%, Asia: 14%, Middle East: 5%, Other: 2%）でした。

(図は会議のOpening Ceremonyより引用)

会議のTechnical Programとして11セッションがあり、非常に幅広い研究トピックを扱っていました。さらに、Intelligent Healthy UI / Adaptive and Personalised Explainable UI / Human-AI Co-Creation with Generative Models / Humanize / Transparency and Explanations in Smart Systems / SocializeというWorkshopが設けられていました。また、Poster and demosセッションがあり、AI Labからは邱がこのセッションで研究発表をしました。

(図は会議のOpening Ceremonyより引用)

AI Labからの発表

AI Labからはクリエイティブ制作に向けた配色推薦に関する研究を発表しました。

本研究は「An Intelligent Color Recommendation Tool for Landing Page Design」というタイトルで、広告ランディングページ（LP）における広告効果を考慮した配色推薦と色変換に関する研究です。広告LPとは、検索結果や広告などを経由して訪問者が最初にアクセスし、商品の注文や問い合わせなどのアクション(Conversion) へと誘導するページです。本研究では、BERTのようなモデルを適用して、広告効果予測を伴う色推薦モデルを学習します。広告LPの色変換システムを通じて、元のカラーパレットに応じた推薦色を広告効果に基づいて取得し、推薦された色から新たなカラーパレットを生成してLPの配色を変換します。

オンラインマーケティングにおいて、フォームへの誘導や商品のカートへの追加などの行動を喚起するCall-to-Action (CTA)は、Conversionを最大化させる上で重要です。本研究では、ケーススタディとして、CTAエリアの色を調整するシステムを実装し、システムの使いやすさと色推薦及び色変換の有効性についてプロのデザイナーに評価してもらいました。結果として、ほとんどのデザイナーが推薦された配色案に使える色があると評価しました。

また発表の際には、Zoomを通して多くの方からご質問やコメントをいただきました。貴重なご意見を頂きありがとうございました！

関連研究・興味深かった研究

私が発表を聴講した／論文を読んだ研究の中で、特に興味深かった研究発表を紹介します。

Colorbo: Envisioned Mandala Coloring through Human-AI Collaboration

– Eunseo Kim, Jeongmin Hong, Hyuna Lee, Minsam Ko

(図は元論文より引用)

この論文は、Colorboというマンダラ塗り絵を着色するため、人間とAIのコラボレーションに基づくインタラクティブシステムを提案しました。ユーザーは進行中の色付きのマンダラを表示し、Colorboはユーザーの画像のパターンと色の組み合わせを分析して残りの領域を塗りつぶします。次に、Colorboは、ユーザーが着色している​​紙に完全なマンダラ画像を投影し、ユーザーはColorboからの画像に基づいて結果を想像することによって着色を続けます。

この研究では、上図のColor Selectionについて、自然言語処理のfastTextと同様の方法で色埋め込みモデルをトレーニングします。ここで、私たちの研究同様に、色の表現学習の問題では、色を単語として、 カラーパレットは文として扱います。この研究は、一つのカラーパレットでマンダラ画像全体の配色を表現しますが、私たちの研究では、複数のデザイン要素から抽出された複数のカラーパレットにおける色を分散表現に変換する点で異なります。

Interpretable Aesthetic Analysis Model for Intelligent Photography Guidance Systems

– Xiaoran Wu

(図は元論文より引用)

この論文は、ハイパーネットワークを使用して、各美的属性スコアの組み合わせとして全体的な美的評価を学習しています。さらに、属性スコア推定器に注意機構（attention mechanism）を導入しています。ユーザーが入力された写真のどの部分/要素が推定スコアにつながるかを正確に把握し、配色調和性や対称性などの詳細な評価、説明、提案を備えた写真ガイダンスシステムを次のように設計しています。

(図は元論文より引用)

Sponsor Session: Intelligent User Interfaces @ Meta Reality Labs

今回のプラチナスポンサー企業として、Meta Reality Labsから研究紹介がありました。ここでは、簡単に研究トピックをまとめます。主に、Intelligent InputとIntelligent Interfacesという二つのテーマがありました。

• Intelligent input

Wearable sensing

表面での2Dタップ検出できる手首に装着した音響センシングデバイス

Acustico: Surface Tap Detection and Localization using Wrist-based Acoustic TDOA Sensing. Gong et al. UIST 2020 (Paper, Video)

ElectroRing

指のピンチや指先と皮膚のタッチとリリースを検出できるリングベースの入力デバイス

ElectroRing: Subtle Pinch and Touch Detection with a Ring. Wolf et al. CHI 2021 (Paper, Video)

• Intelligent Interfaces

Intent to interact using gaze dynamics

VRでユーザーの視線データからユーザーの意図（アイテム選択）を予測するインタフェース

Towards gaze-based prediction of the intent to interact in virtual reality. John et al. ETRA 2021 (Paper)

Predicting Focus of Visual Attention

視線のダイナミックスに基づく将来の視線ターゲットを予測するモデル

Predicting visual attention using the hidden structure in eye-gaze dynamics. Lengyal et al. CHI 2021 workshop (Paper)

所感：

Metaverseは最近話題になっています。AR/VR分野におけるウェアラブルセンサーとユーザーインターフェースは非常に重要です。Meta Reality Labsは次世代のコンピューティング・プラットフォームを構築していくにあたり、ハードウェアとソフトウェアの研究開発をうまく進めています。VR/ARゴーグル市場を活性化させているといった報道も見られますが、手や体の動きを認識して機器の操作に利用するジェスチャー認識技術では、現時点で指でポイントとピンチしかサポートしているジェスチャーがまだ少ないと感じています。入力系システムの進化が期待されますが、メタバース事業を支えるVRやARの取り組みが軌道に乗る日はまだ遠そうです。

おわりに

IUIには今回初めて参加しましたが、人間とAIの協調に関する課題及びそのアプリケーションやツールの発表が多い印象でした。さらに、AIモデルの予測を人間に理解させるというモチベーションから、Explainable AIという説明可能なAIに関わる研究も多かったと感じました。また、企業からの研究発表ではその企業の技術的ビジョンが伺えるようなものもあり参考になりました。

AI Labでも基礎的な内容から実応用を強く意識したものまで幅広い研究プロジェクトに取り組んでいます。ご興味ある方はぜひ採用ページもご覧ください。

オンサイト会場の様子

SIGGRAPH Asia 2021全体概要

SIGGRAPH Asia 2021は冒頭でも書いた通り、オンサイトとオンラインのハイブリッド開催となりました。ハイブリッド開催はSIGGRAPHの歴史で初とのことです。オンサイトの会場は東京国際フォーラムで、ここは2018年のSIGGRAPH Asiaが開催された会場と同じです。会場内にはKeynote Talk、Technical Papers、Real-Time Live聴講のための部屋や企業展示、Emerging Technologiesなどの展示スペースが用意されていました。

Technical Papersのセッションでは、Zoomを用いて採択論文に関する紹介動画が流れた後、Zoomのチャット機能を用いて質問を受け付ける形で質疑応答が行われました。私が聴講したセッションに関しては、オンラインの参加者は多くても100名程度だったように思います。オンサイト会場も30-40名程度だったように思います。オンデマンドで発表動画が観れるようになっていると、多くの参加者は時差の問題もあるのでそれぞれが都合の良い時間帯に視聴するようになるんでしょうか。また、夏に開催されたSIGGRAPH 2021では各セッションの著者同士が議論する時間がありましたが、SIGGRAPH Asia 2021ではその時間はありませんでした。研究領域が近いトップレベルの研究者同士が色々と議論していることを聞くことはあまりないので、個人的に著者間でのパネルディスカッションは復活して欲しいなぁと思っています。

Emerging Technologiesの展示スペースでは、様々なデモ展示が行われていました。中でも高速に物体を追跡しながらプロジェクションマッピングを行う技術の展示が完成度が高く興味深かったです。というのも、これに関連する研究についてはいくつか論文を読んだことはあったのですが、実物を見るのは始めてで、実際に500fpsでプロジェクションが行われていると遅延をほとんど感じないということを実感でき感動しました。論文を出して満足するのではなく、実際に動くものを作って見せることでより説得力のある研究成果にすることが出来るのだと思いました。

上記のセッション以外にも様々なセッションがオンライン、ハイブリッドで開催されていましたが、特に良かったのは、各日に発表された内容について、座長を担当された日本の先生方が発表論文を解説する「Digging into the Technical Papers」のセッションです。これについては、配信無し、録画や撮影不可という条件で開催され、各発表に関して本音で印象などを語られていたのが新鮮でした。また、論文紹介をされた先生方のパネルディスカッションでは、「SIGGRAPHに論文を通すためには？」のようなお題で議論がなされており、とても参考になりました。ざっくりとまとめると、考え続けること、手を動かすこと、といった基本的なことを発表された先生方は当たり前のように行っているということだったかと思います。

スポンサー展示

冒頭にも書いた通り、SIGGRAPH Asia 2021でサイバーエージェントはゴールドスポンサーを務めました。スポンサー展示では、出張型3DCGスキャンカー「THE AVATAR TRUCK」を展示ブース内に持ち込み設備見学および予約制の撮影体験を実施しました。持ち込んだAVATAR TRUCKは会場内では一際目立っており、「あのトラックはなんだ？」と思って来た方が多くいらっしゃり集客効果抜群でした。また、用意した撮影体験の予約枠は全て埋まり、3日間で約30名ほどの方にスキャンの体験をして頂くことができました。体験して頂いた方の中には、国内の著名なコンピュータグラフィックスの先生方もいらっしゃり、スキャン技術に関する注目度の高さが伺えました。

展示ブースの様子

また、展示ブースでは、各日1‐2回、サイバーエージェントにおけるコンピュータグラフィックス技術の広告制作への応用に関する研究開発について紹介を行いました。コロナ禍で海外からの入国制限措置もとられている状況で来場者はかなり少ないんじゃないかと不安でしたが、各回10名ほどの方に集まって頂くことができ、誰も来ずに寂しい思いをするということが無く安心しました。ただ、久しぶりの対面での研究紹介だったこと、毎回知り合いの研究者が目の前に座っていること、でかなり緊張しました。。。

研究紹介の様子

研究発表ピックアップ

EyelashNet: A Dataset and A Baseline Method for Eyelash Matting

図は元論文より引用

論文タイトルの通り、まつげを検出するための方法の提案です。まつげなどはスキャンをした際にうまく復元することが難しくノイズになってしまうという問題があります。これは、我々のAVATAR TRUCKを使ったスキャンシステムでも同様の問題が生じており、この研究は我々のスキャンシステムの品質を向上させていく上でも重要な研究だと思いました。研究のアイデアはシンプルで、まつげに紫外線を当てた際に発行する物質を塗布しておき、通常の照明、紫外線照明の2種類の照明を当てて得られる画像の差分からまつげ領域を検出するというものです。この研究では、この撮影方法で取得したデータセットを用いて、まつげ領域のAlpha Matteを生成するネットワークについても提案しています。

Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control

図は元論文より引用

この研究では、多視点撮影した動画像から、アニメーション可能なフォトリアルなアバターを作成する方法を提案しています。人物の動きをCanonical spaceにマッピングするために人体のテンプレートモデルであるSMPLモデルを用いています。その上でNeural Radiance Fields (NeRF)を推定することで任意の視点の映像を生成しています。ただし、人体姿勢から形状・見た目へのマッピングは1対1対応でないため精細な映像を生成することが難しいという問題があります。この問題を解決するために、この研究では、中間表現として2Dのテクスチャマップを潜在変数として用いています。これにより、フォトリアルな映像の生成を達成しています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

図は元論文より引用

この研究では、動的なシーンに対するNeRF表現の提案を行っています。これまでにもNerfiesのように動的なシーンに対するNeRF表現は提案されているのですが、トポロジーが大きく変化するような場合（口を開くなど）にはうまくCanonical spaceへの変換ができないという問題がありました。そこで、このHyperNeRFでは、レベルセット法の考えを取り入れ、あらたにambient dimensionと呼ぶ新たな次元を追加した高次元空間でNeRF表現を学習しています。結果動画の中では、従来は困難であったクッキーが2つに割れるようなトポロジーが大きく変化するシーンに対しても高品質な新視点画像生成を実現できていることを確認できます。

おわりに

この2年間でオンライン開催の学会にはいくつか参加しましたが、移動の時間が無いため参加のし易さはあるもののなかなか他の参加者とコミュニケーションをとるのは難しいなと感じていました。今回、久しぶりにオンサイトで学会に参加して、知り合いの先生方などと他愛もない話をしたり、研究の話をしたり、近況について情報交換したりすることがあり、オンサイト参加ならではのメリットを再認識しました。また、デモ発表については、やはり画面越しに見るのに比べて圧倒的に実物を見た方がそれぞれの技術の良さが分かるように思います。COVID-19が早く収束し学会のオンサイト開催が復活することを願います。その際には、Technical Paperの発表者として登壇できるように、インパクトの高い研究課題にAI Labのメンバと取り組んで行こうと思います。

*1 AI Lab、マルチメディア分野のトップカンファレンス「ACM Multimedia」にて共著論文採択　ー最適化による制約を満たしたレイアウトの生成手法を提案ー

*2 AI LabのAntonio Tejero-de-Pablosと鈴木 智之が、広告動画解析コンペ「Tencent Advertisement Algorithm Competition」にて「Prize to the Best Overseas Team賞」を受賞

開催概要

ACMMM はマルチメディア分野のトップカンファレンスの一つです。いわゆる本会議である Main track の今年の投稿数は 1942 件、採択数は 542 件で採択率は 28% でした。そのうちオーラル発表は 179 件で投稿数された論文のうちの 9.2% となりました。他の情報系トップカンファレンス同様、投稿数は増加傾向にあり分野への関心が依然として高まっていることが伺えます。

(図は会議の Opening Ceremony より引用)

会議のハイライトの一つに「Scientific Diversity」を掲げているように、機械学習を用いて多様なデータモダリティの生成・認識を行う取り組みから新しいソフト・ハードウエアの開発に関するものまで非常に幅広い研究トピックが扱われていました。また、Main track の研究発表に加え、今回初めて設けられた Industrial track、その他 Demo session / Multimedia Grand Challenge / OSS competition など学術研究から産業応用的な内容の発表まで網羅されており、非常に聞き応えがありました。

上の図は Main track に採択された論文タイトルから抽出した上位50の頻出キーワードのヒストグラムです。データモダリティに着目すると Image / Video / Visual などのワードが目立ち、多様なデータモダリティを扱う研究が集まる ACMMM の中でも、画像・動画データへの注目度が高いことが伺えます。また手法に着目すると Attention / Transformer をキーワードに含む研究が多いことがわかります。Transformer は様々な入出力形式を扱うことができる汎用性の高いアーキテクチャであるため、扱うデータに関わらず使用している研究はとても多く見られました。

開催形式に関してですが、バーチャル開催であった昨年に対して今年はバーチャルとオンサイト (中国、成都市) 参加が選択可能なハイブリッド開催で、AI Lab からはバーチャル参加をしました。バーチャル参加者は基本的にオンサイトで行われるオーラルセッションのライブを見て、チャットで質問をするという参加スタイルです。ポスターセッションはオンサイトでしか実施されず、バーチャル参加者は事前に録画されたプレゼンテーション動画・ポスター・Proceedings にアクセスできるのみでした。Whova というイベント運営アプリを通して、チャット形式で著者に質問ができるようになってはいましたが、実際に質問や議論がされている発表はかなり少なく寂しい感じとなっていました。ハイブリッド開催によってオンサイト参加が選択できるようになったことは喜ばしい一方で、やはりバーチャル側の置いていかれている感という課題は出てくると感じました。早く情勢が落ち着き、気兼ねなくオンサイト開催ができるようになることを祈りたいです。

その他印象的だったのは、採択論文の著者のうち中国人著者が 74% 以上も占めていたことでした。中国開催ということで投稿数も多かったかもしれませんが、マルチメディア分野における中国の勢いを感じます。

(図は会議の Opening Ceremony より引用)

注目する発表

上述のように多様なセッションで多くの興味深い発表がされていましたが、ここでは Main track、Industrial track、Demo session の中から受賞論文を含むマルチメディアデータの生成・認識に関する注目発表を簡単に紹介していきます。

生成系

Video Background Music Generation with Controllable Music Transformer
[Best Paper Award] 
Shangzhe Di, Zeren Jiang, Si Liu, Zhaokai Wang, Leyan Zhu, Zexin He, Hongming Liu, Shuicheng Yan
Proceedings、arXiv、コード、プロジェクトページ

(図は元論文より引用)

Best Paper Award を受賞したのは映像に合うBGMの生成に関する研究でした。リズム・ジャンル・楽器の情報を条件とする音楽生成モデルに、映像の動きから計算したリズム情報とユーザが指定するジャンル・楽器情報を入力することで映像に合うBGMを生成します。音楽生成モデルは Transformer をベースとし、既存の公開データセット Lakh MIDI Dataset で学習しています。一方で映像の動きからリズムへの変換は hand-craft に設計された情報を用いたルールで行われます。生成されたサンプルはプロジェクトページで見ることができます。提案手法が考慮しているのは映像の動きとBGMのテンポの対応のみですが、BGM生成という難しい課題のできそうな部分に焦点を当て、学習とルールに上手く分けて解き、結果として高い品質で生成を実現したことが高い評価につながったのではないかと思います。

Learning Fine-Grained Motion Embedding for Landscape Animation [Main track]
Hongwei Xue, Bei Liu, Huan Yang, Jianlong Fu, Houqiang Li, Jiebo Luo
Proceedings、arXiv

(図は元論文より引用)

画像からタイムラプス動画を生成する研究です。隣接フレームから計算されたオプティカルフローを潜在表現に埋め込むエンコーダと潜在表現とフレーム画像からオプティカルフローを再構成するデコーダを学習します。ここで semantic segmentation により分割された領域ごとに潜在表現が抽出され、デコードの際にも領域ごとに異なる潜在表現が用いられます。こうすることで、画像全体に似た方向の動きを付与してしまう傾向にある従来の手法に対して、領域ごとに異なる動きの付与が可能となっています。また、高い生成品質を実現するために Flickr から 10000 件以上の高解像度なタイムラプス動画を学習データ用に収集しています。

(図は元論文より引用)

Diverse Multimedia Layout Generation with Multi Choice Learning [Main track]
David D. Nguyen, Surya Nepal, Salil S. Kanhere
Proceedings

(図は元論文より引用)

自己回帰ベースのレイアウト生成に関する研究です。自己回帰モデルは、これまでの出力結果（レイアウト生成の場合は要素の位置情報など）を元に次の出力をするステップを繰り返して全体に対する出力を行います。レイアウト生成における要素の配置のように本来多様な解が考えられる問題において、単一の教師に近づくように自己回帰モデルの学習を行うと平均的な生成を行うモデルとなり、結果として生成の品質と多様性が損なわれる問題が存在します。そこで、この研究ではモデルに複数の候補を出力させ最も教師に近い候補のみにロスをかける学習方法が提案されています。また、複数の候補を選択するモデルも学習しテスト時に使用しています。実験では従来手法と比較して、生成品質と多様性が共に改善されていることを示しました。出力の多様性を生かした要素配置の推薦とユーザによる選択を繰り返すインタラクティブなレイアウト生成システムのデモも行われています。

Move As You Like: Image Animation in E-Commerce Scenario [Demo session]
Borun Xu, Biao Wang, Jiale Tao, Tiezheng Ge, Yuning Jiang, Wen Li, Lixin Duan
Proceedings

(図は元論文より引用)

ECサイトに表示される商品画像中の商品に動きを付与 (motion transfer) する取り組みです。提案システムは基本的に既存手法の組み合わせですが、これまでの motion transfer の研究の多くは人や人の顔など限定されたものを対象としてきたのに対してこの取り組みでは幅広い種類の物体を対象としています。まず、商品画像が含まれる前景領域 (source image) を切り出し、残った画像は背景画像として補完しておきます。次に、データセットから動きがついた同じ種類の物体 (driving image) を抽出し FOMM [Siarohin +, NeurIPS2019] という既存の手法によって source image に動きを転移します。最後に背景画像に動きのついた source imageを貼り付けます。動かしたい対象と同じ物体カテゴリの driving image がデータセットに含まれる必要があり対応範囲のスケールに関しては厳しさがあるものの、生成されたサンプルは魅力的でECサイトなどで見かけたらついクリックしてしまいそうな気がします。実際の生成結果は Proceedings の Supplemental Material で見ることができます。

(図は元論文より引用)

認識系

PIMNet: A Parallel, Iterative and Mimicking Network for Scene Text Recognition
[Best Paper Candidates]
Zhi Qiao, Yu Zhou, Jin Wei, Wei Wang, Yuan Zhang, Ning Jiang, Hongbin Wang, Weiping Wang
Proceedings、aiXiv、コード（公開予定）

(図は元論文より引用)

画像からテキストを検出・認識する scene text recognition において精度と処理コストのトレードオフを大幅に改善した研究です。一般に、検出された領域のテキストを認識する際に各文字 (charactor) を自己回帰的に認識するモデルは、各文字を並列に認識するモデルに対して高精度な一方で処理コストが高い傾向にあります。そこでこの研究では並列モデルと自己回帰的モデルをバックボーンを共有する形でそれぞれ学習し推論は並列モデルのみを用いて行うことで、軽量な並列モデルに対して自己回帰的モデルの知識を転移させる方法を提案しています。

Once and for All: Self-supervised Multi-modal Co-training on One-billion Videos at Alibaba [Industrial session]
Lianghua Huang, Yu Liu, Xiangzeng Zhou, Ansheng You, Ming Li, Bin Wang, Yingya Zhang, Pan Pan, Yinghui Xu
Proceedings

(図は元論文より引用)

Alibaba からマルチモーダル動画データを用いた事前学習手法の提案と、自社で保有する大規模マルチモーダル動画データを用いた実験に関する発表です。提案する事前学習手法はあるモーダルのエンコーダから得られる特徴表現をクラスタリングし、その結果を擬似的なクラスラベルとしてその他のモーダルのエンコーダを学習する、というものです。超大規模な動画データセット (0.5 PB、1.4億 動画) での学習を実現するために行った、並列化を駆使した処理の効率化についても紹介されています。実験では動画行動分類、画像分類の公開データセット (UCF101、ImageNet) への転移学習による精度向上のみならず、Alibaba の実プロダクトにおける推薦システムへの応用によりA/Bテストで測定したビジネス指標 (PV数、CVR 等) が改善されたことまで示されています。

Alibaba はその他にも Main track でECサイトにおける商品の画像・テキスト・属性情報を用いたマルチモーダルモデルの事前学習に関する研究発表 [Zhu +, ACMMM2021] 、Keynotes で中国語テキストと画像のコーパスで学習された中国語版マルチモーダル学習済みモデル M6 [Lin +, KDD2021] とその派生研究 (M6-T [Yang +, 2021]、 M6-10T [Lin +, 2021]、 UCF-BERT [Zhang +, NeurIPS2021]) について紹介 [Zhou +, ACMMM2021] していたりと、大規模データを用いたマルチモーダル学習済みモデルの構築にかなり力を入れていることが伺えました。

Efficient Multi-Modal Fusion with Diversity Analysis [Main track]
Shuhui Qu, Yan Kang, Janghwan Lee
Proceedings

(図は元論文より引用)

マルチモーダルモデルの性能分析に関する研究です。各モーダルのエンコーダ (ブランチ) 単体の性能が高くそれらの多様性が大きいほどマルチモーダルモデルの性能が高くなることを理論的に示し、実験で確認しています。さらにこの定理を元に各ブランチの選択方法を提案し、マルチモーダルモデルの性能向上を達成しています。マルチモーダルモデルは入力がリッチになる一方で多様な形式のデータを一つのモデルで扱う必要があるため学習が難しいことが知られています。場合によってはユニモーダルモデルの方が高い性能を示すという結果も報告されており、ヒューリスティックな学習方法の工夫による対処等が提案されています [Wang +, CVPR2020]。この問題に対して本研究のような理論的な側面での分析も進んでいくことを期待したいです。

おわりに

ACMMM には今回初めて参加しましたが、実応用を意識した内容が多い印象で、CVPR や NeurIPS のような (ACMMM と比較して) 基礎的な内容の研究発表も多い会議とはまた少し違った学びが多かったように思います。特に実データ特有の問題を扱った研究やアプリケーションへの実装まで行っている研究は興味深いものが多くありました。また、企業からの研究発表ではその企業の技術的ビジョンが伺えるようなものもあり参考になりました。
AI Labでも基礎的な内容から実応用を強く意識したものまで幅広い研究プロジェクトに取り組んでいます。ご興味ある方はぜひ採用ページもご覧ください。

ICCV 2021全体概要

ICCVは隔年開催され、CVPR、ECCVと並んでこの分野では最も権威のある会議の一つです。2021年は全体で6,152件の投稿があり、1,612件の研究が採択されました（採択率26%）。採択されたもののうち210件はオーラル発表、残りがポスター発表になっていました。著者の所属を国別で見ると中国が全体の43.2%と最も多く、米国23.6%、英国3.6%と続き、日本からは2.0%があったようです。メインの研究発表の他にも基調講演やソーシャルイベントなど様々な催しが開かれ、２つあったパネルセッションでは古典的手法と新しい深層学習系手法についてどのように分野として関わっていくべきか、コンピュータビジョンにおける産業界の役割、といった議論が見られました。

図1: ICCV 2021の発表文献のタイトルから生成したワードクラウド。

研究トピックに着目すると、公式サイトで見られるように、Transfer/Low-shot/Unsupervised learning、Image and video synthesis、Recognition and classificationといったテーマが最も多く見られました。図1は発表タイトル一覧から作成したワードクラウドです。このほかに今年の特徴として個人的に目についたのは、NLP分野での流行からコンピュータビジョン分野でもよく見かけるようになったTransformerアーキテクチャを使った研究、大規模データセットでの自己教師あり学習に関する研究、そして3Dデータに対するニューラルネットワークの応用があったように思います。TransformerはMarr Prizeを受賞したSwin Transformerをはじめ、数多くの発表でモデルに採用されていました。自己教師あり学習はCLIPのように大規模データセットからの事前学習により汎用的なモデルが学習できることが近年示されていることから、トピックの流行が続くのではないかと思われます。また、昨年のECCV 2020の発表から引き続いて急速に研究が進展しているNeRFや3Dシーン復元、3Dデータセットに関する研究が受賞しています。

AI Labからの発表

AI Labからはクリエイティブ制作に関する2件の研究を発表してきました。

De-rendering Stylized Texts

図2: 入力となるラスタ画像からテキストのレンダリングに必要なベクトル情報を復元、再編集を可能にします。

ポスターやバナー広告などのデザインドキュメントは、一度ラスタ画像としてピクセルに描画されてしまうと再編集することが難しくなります。本研究ではラスタ化されたテキストをベクター形式に再構成するための手法を開発しました。ベクター形式に変換するにあたっては文字を認識するだけではなく、その文字を描画する際に指定されたスタイリング情報や位置情報を正確に予測し、さらにテキストの後ろに隠れている背景まで推定しなければなりません。本研究ではテキストのベクター形式の情報をフィードフォワードで推論するモデル、フィードバックで推定結果を調整するモデルを組み合わせ、高い精度でテキストをベクター形式に再構成する手法を提案しています。これにより、例えば既存の広告効果が高いバナー広告を再利用して、広告効果が高そうなデザインを迅速に制作するようなワークフローが可能となります。

• Wataru Shimoda, Daichi Haraguchi, Seiichi Uchida, Kota Yamaguchi, “De-rendering Stylized Texts”, ICCV 2021

CanvasVAE: Learning to Generate Vector Graphic Documents

図3: CanvasVAEはグラフィックドキュメントをランダム直接生成する他、中間的なデザインを補間して生成することもできます。

近年GANなどの生成モデルを用いて情景や顔の画像を生成する手法が提案されてきましたが、バナー広告などのベクター形式のドキュメントを直接生成するような手法は見られませんでした。本研究では初めてベクター形式のドキュメント構造を直接生成するようなモデルを提案、そしてその研究のためのデータセットを公開しました。CanvasVAEではランダムにドキュメントテンプレートを生成したり、複数のドキュメントの中間的なデザインを生成したりすることができます。この手法を発展させることで、例えばバナー広告のようなデザインドキュメントを自動生成することが可能になると期待されます。

• Kota Yamaguchi, CanvasVAE: Learning to Generate Vector Graphic Documents, ICCV 2021

注目する研究発表

AI Labからの発表以外にもICCVでは数々の興味深い研究発表が見られました。ICCVの発表の全部を紹介することはできませんが、クリエイティブに関する発表数件を以下に紹介したいと思います。

LayoutTransformer: Layout Generation and Completion With Self-Attention

図4: LayoutTransformerは自己再帰型で逐次的にレイアウトを生成する。（論文Fig 1より引用）

Maryland大学のGuptaらによる研究、自己再帰型のTransformerを利用して2Dドキュメントや3D物体の形状など様々なレイアウトを生成させています。

• Kamal Gupta, Justin Lazarow, Alessandro Achille, Larry Davis, Vijay Mahadevan, Abhinav Shrivastava, LayoutTransformer: Layout Generation and Completion with Self-attention, ICCV 2021

DocFormer: End-to-End Transformer for Document Understanding

図5: DocFormerによるシーケンスラベリング（要素のラベリング）の結果。（論文Fig 4より引用）

書類などのドキュメント画像を理解するため、Transformerベースのモデルで教師なし学習し、ドキュメント分類や要素抽出といった4種類のタスクで性能評価を行なった研究。テキスト、見た目、空間配置に関する相互作用をうまく扱うことで全てのタスクで高い性能を達成したことを報告しています。

• Srikar Appalaraju, Bhavan Jasani, Bhargava Urala Kota, Yusheng Xie, R. Manmatha, DocFormer: End-to-End Transformer for Document Understanding, ICCV 2021

Unsupervised Layered Image Decomposition Into Object Prototypes

図6: 画像をSpriteに分解（論文Fig 1より引用）

教師なしで画像をSpritesと呼ばれるレイヤー単位に分解する、ベクター化の手法の一種を提案しています。微分可能なSpriteの合成により再構成誤差を少なくするように学習を進めます。

• Tom Monnier, Elliot Vincent, Jean Ponce, Mathieu Aubry, Unsupervised Layered Image Decomposition Into Object Prototypes, ICCV 2021

おわりに

AI Labではクリエイティブ制作ワークフローを変革する研究開発に取り組み、研究成果の一部は極予測AI、極予測AI人間、極予測トリミングといったサービスに利用されています。CVPR 2021に引き続き、ICCV 2021でもクリエイティブ制作に関連する研究発表が複数見受けられました。AI Labはクリエイティブ制作に関わる研究をリードする存在として今後も難易度の高い研究プロジェクトに取り組んでいく予定です。

プレスリリース記事

• AI Lab、コンピュータビジョン分野のトップカンファレンス「ICCV」にて主著論文採択　グラフィックデザイン自動生成手法を提案　－ ICCVにて2本の論文採択へ －
• AI Lab、コンピュータビジョン分野のトップカンファレンス「ICCV」にて共著論文採択　画像に描画済みのテキストが再編集可能となる手法を提案 ーICCVにて2本の論文採択へー

AI Labの森脇@dmoriwakiとAI Shiftの友松@tomomatsu_yutaです。

今回、ウェブ系のトップカンファレンスであるWSDM2020（ウィズダム2020）に参加してきましたので概要を報告します。

開催地はNASAで有名なアメリカのヒューストンで、参加者400人弱で上位はアメリカ（235人）、中国（46人）、日本（14人）でした。コロナウイルスの影響で中国の方の欠席が多かったようです。採択率は15%（91/615）で、国別に投稿数を見るとアメリカと中国がともに全体の３割を占め２強という感じでした（日本は２％）。 

テーマ別に見ると、neural network, recommendation system, social network, data mining, knowledge graphといったものが多く、”ディープラーニングで推薦エンジンでSoTAや！”なペーパーが目に付きました。また、SNSデータなどネットワークを使った研究も多かったように感じます。ほかにはInformation retrieval, world wide web, collaborating filteringといったウェブ系に特有のものもありました。最近の流れですが、機械学習モデルにおけるバイアスの問題に着目した講演や論文も目立ちました。

Day 1(Monday 3 February)

Industry Day

初日は、企業の研究者やデータサイエンティストが発表するインダストリーデイが開催されていました。気になったセッションについて説明します。

[Keynote] Beyond Being Accurate: Solving Real-World Recommendation Problems with Neural Modeling

報告者: Ed Chi (Principal Research Scientist, Google, USA)

アイテム推薦(item) -> パーソナライズ推薦(user, item) -> Contextualパーソナライズ推薦(user, context, item)といったこれまでの推薦システムの流れを紹介した上で、最近の研究動向として、(1)マルチタスク学習, (2)時間と報酬の導入にRLのメソッド, (3)次元の呪いとコールドスタート対策として深層検索と表現学習, (4) スレート最適化として多様化モデリング, (5) 効率の最適化としてTPUモデルを用いたLerge Sparse Model (6) エコシステムとしてResponsible MLとML fairnessが紹介されました。

[Invited Talk 1] Search ML at Airbnb

報告者: Vanja Josifovski (CTO, Homes, Airbnb, USA)

Airbnbの検索におけるレコメンドについての話でした。Airbnbの性質上、ユーザが選んでもホスト側がRejectする可能性があり、それを考慮したレコメンド手法。Query Feature, Guest Feature, Listing Featureを用いてそれぞれDNNを構成しているそうです。リアルタイム性やバンディットでの最適化を行なっており実環境での動作を想定して作られていました。

Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments

同じく初日にA/Bテストのチュートリアルが開催されていました。A/Bテストは単純なようでクリーンに実施してうまく意思決定につなげるためには様々な工夫が必要となります。このチュートリアルでは、実際に現場でA/Bテストに携わってきた専門家によって考え方から具体的なお作法について解説されていました。資料が公開されているのでぜひ御覧ください。

なお、このチュートリアルは説明者の大半がマイクロソフト関係者でこの分野での圧倒的な存在感を再確認しました。

Web-scale Knowledge Collection Tutorial

上記チュートリアルと並列で情報抽出(IE; Information Extraction)のチュートリアルが開催されていました。こちらのチュートリアルでは情報抽出の手法が扱うデータごとに章立てされ、非構造化テキスト, 半構造化テキスト, 表形式のテキストからの抽出やマルチモーダル抽出について解説していました。
こちらも資料が公開されているので、ぜひご覧ください。

このチュートリアルでは、古典的な手法から画像を組み合わせたマルチモーダルな手法まで体系立てて細かく解説されており、日本に帰ってからも読み直したいと思いました。

Day 2(Tuesday 4 February)

２日めは、UCバークレーのBin Yu教授 [wikipedia]の基調講演から始まりました。自身の膨大な研究を背景にした機械学習モデルの解釈性や安定性を軸に丁寧な議論を展開されており、データにかかわるもの必聴の講演でした。教授の議論は非常に一般性のあるもので、データの質が問題になった例として、経済学におけるラインハート＝ロゴフ事件 （ロイターの解説記事）をあげていました。

統計学者でありながら様々なコラボレーションによりニューロンから宇宙まで幅広い分野を手掛ける姿勢はバラバシ教授との共通点を感じました。印象に残ったのは、パブリケーションを焦るなという主張でした。安定性や解釈性を確保するためには十分な時間が必要です。教授の主張はパブリケーションを焦るあまりすぐに結果に飛びついてしまう風潮に対しての批判であると感じました。

Paper Session

続いて、paper sessionでは採択された論文のなかで、さらに限られたリサーチの口頭発表が行われました。弊社にもインターンに来ている東京工業大学の齋藤優太さん（@moshumoshu1205）のUnbiased Recommender Learning from Missing-Not-At-Random Implicit Feedbackの口頭発表がありました。前二人が、本人が会場にこれなかったため、ビデオや代打発表だったので、事実上トップバッターでしたが、３ホールぶち抜きの大会場（WSDMはシングルトラック）で堂々と発表されていました。

齋藤さん

レセプション＆ポスター発表

夕方からは、レセプションとポスター発表がありました。採択論文のうち多くはポスターでしか話が聞けないので貴重な機会でした。

Yahoo! Research/VerizonのAd Close Mitigation for Improved User Experience in Native Advertisementsは、ユーザーに閉じられやすいネイティブ広告に対してペナルティを与えることで、ユーザー体験を改善する新たなオークションを提案しており興味深かったです。

Day 3(Wednesday 5 February)

３日めには、テキサスオースティン教授でもあるFaceBook AI ResearchのKristen GraumanからComputer Vision for Fashion: From Individual Recommendations to World-Wide Trendsと題してCV×ファッションに関する研究動向について1. Discovering latent styles, 2. Assembling outfits, 3. Forecasting  future trendsの3つのテーマについて基調講演がありました。

1では、トピックモデルを用いて教師なしのvisual style topicを推定する研究[Hsiao & Grauman, ICCV 2017]、データセットから自動でstyleを発見する研究[McAuley et al. 2015], [Kiapour et al.]、Style Summarizationに関する研究[Hsiao & Grauman, ICCV 2017]などが紹介されました。

2では、現在の服装から少ない変更でファッショナブルにしてくれるfashion++モデルの研究[Hsiao et al. ICCV 2019]などが紹介されました。

3では、8万アイテムのAmazon Datasetからトレンド予測をおこなう研究[Al Halah et al. SIGIR 2015]、都市間のファッションの影響を予測する研究[Al Halah & Grauman, 2019]などが紹介されました。

Paper Session

この日は、珍しくデータマイニング系のペーパーが多く、なかでもAddressing Marketing Bias in Product Recommendationsは機械学習モデルによる推薦が引き起こすマーケティングバイアスについての問題点を、属性によって推薦されるべきものがされないといったフェアネスの観点から指摘しており、データ分析からマーケティングバイアスの存在を指摘した上で新規手法を提案していました。新手法はフェアネスの観点だけではなく、潜在的なマーケットを掘り起こす上でも有用だという主張は説得的でした。

またWhy Do People Buy Seemingly Irrelevant Items in Voice Product Search?: On the Relation between Product Relevance and Customer Satisfaction in eCommerceはスマートスピーカーAlexaのデータから、本来買うべきものじゃないものが推薦されても買ってしまう人が一定数いることに着目し、関係ないもの（irrelevant）を推薦することについて研究していました。これはマーケティング・サイエンスにおける非計画購買の概念に通じるところがありますが、結果的にはirrelevantなものを推薦するのはそこまでよくないという結論でした。こういった、データマイニング系の論文は数は少ないものの非常に聞いてて楽しかったです。

Day 4(Thursday 6 February)

Best Paper Session

この日の前日の夕食会のときにBest Paper AwardおよびBest Paper Award Runner-Upが発表され、こちらのセッションでは受賞した2名の発表でした。

The power of pivoting for exact clique counting

こちらの研究はグラフ理論におけるクリークのカウントについて取り扱っています。大きな次元数のクリークを数えようとした場合に指数的に爆発するので困難です。この研究では新たなアルゴリズムであるPiviterを提案し、2時間以内に1億エッジを超えるソーシャルグラフのクリークをカウントすることに成功してSoTAを達成しています(以前は数日かかっていた)。またもう一つの特徴として、ローカルの頂点, エッジごとにすべてのkクリークをカウントすることができ、これまでにこのような研究はなかったようです。

HyperML: A Boosting Metric Learning Approach in Hyperbolic Space for Recommender System

こちらの研究は、HyperMLと呼ばれるMetric Learningという手法を使った推薦アルゴリズムです。Metric Learningを使うとtop-K推薦の解釈性と拡張性が上がる点、三角不等式を用いているため、同じアイテムが好きなユーザーと、同じユーザーが好きなアイテムを一緒にクラスター化することができる点の２点で有効です。ユークリッド空間と双曲線空間の間のembeddingの歪みを最小化する式を提案しています。

Day 5(Friday 7 February)

Workshops

最終日は、ワークショップが並行して開催されていました。ただ、同日にニューヨークでAAAIが始まったせいか人はまばらでした。

SUM 2020: Workshop on State-based User Modelling

State-aware User Modelingというテーマで３つの招待講演と３つの投稿論文が発表されました。WSDMの運営にも関わっているSpotify ResearchのディレクターであるMounia Lalmasからユーザー体験にかかわるこれまでの研究について紹介がありました。Spotifyのプレイリストは、その種類によって最適化するべき指標が違うそうで、たとえば睡眠用のものはユーザーが眠りにつく（クリックも何もしなくなる）ことに最適化しているようです。また、ユーザーの性質によって違った推薦をすべきで、雑多なものを好むGeneralistと特定のジャンルを好むSpecialistといった分類をしているそうです。講演を聞いていて思ったのは、Bin Yu教授と同様非常に丁寧にデータをみているなということでした。例えば、モバイル最適されていない文字がごちゃごちゃしたウェブサイトでは、ユーザーは理解するのに手間取るため滞在時間が長くなるが、決してユーザー体験がよいわけではないということなど、しっかりドメイン知識をもってないとできないストーリーの構成が非常にうまいと思いました。

本ワークショップでは森脇も慶應義塾大学の星野崇宏教授との共同研究の論文を発表しました。広告のクリエイティブ選択時に用いる文脈付きバンディットに、広告疲れという特徴量を加えることで、より飽きていない広告クリエイティブを選択させCTRを向上させたというものです。会場からは、オンライン実験に際してもともと動いていたアルゴリズムによる影響をどう考えるかといった質問がありました。

ConvERSe 2020: Workshop on Conversational Systems for E-Commerce Recommendations and Search

こちらのWorkshopではE-commerceにおける推薦と検索について取り扱っており,Invited talkやcontributed talk, パネルディスカッションなどが1日に渡って行われました。

招待講演のConversational agents for e-commerce: getting strong now ではAmazon AlexaのVUI(Voice User Interface)についての講演でした。Task-driven dialogを行うためのNatural Language Understanding, Dialog Manager, Natural Language Generationの各ユニットの説明や、動画でのデモ上映があったりしました。適用先としては商品一覧、商品検索、ユーザ同士のインタラクションなどに使われているようでした。

食事

近くには大型ショッピングモールのGalleria Mallがあり、各国のブランド店や飲食店、スケート場なども併設する超巨大施設でした。

会場から徒歩5分ほどで昼食で何度かお世話になりました。

食事は７日間滞在していたこともあり多くのテキサス名物の料理を食べることができました。
(ここからはグルメブログとなります)

こちらのステーキとロブスターはThe Capital Grillという店でいただきました。

ステーキは肉厚でおいしかったです。ロブスターは普段日本では食べれないのでとてもいい経験でした。

Texasはメキシコと隣ということもありタコスも非常に美味しかったです。Blanco Tacos + Tequilaで楽しめます。

The Peri Peri Factoryは南アフリカ料理が食べれる店でシュニッツェルをいただきました。(南アフリカ料理ではないです)

終わりに

今回初の参加でしたが、ウェブ系の学会だけあって実際のウェブサービスの課題感に立脚した研究が多く非常に参考になりました。難しい理論というより、データの捉え方、アーキテクチャの工夫などに焦点があたっており、企業の研究者/MLエンジニアからするととっつきやすく興味がもてました。

次回WSDM2021の開催地はドイツのハノーヴァーとのことです。ぜひまた行きたいです！

AI Labの森下，野村，インターンの齋藤です．

本稿では，2019年12月8日から14日にカナダのバンクーバーで開催された機械学習の国際会議，NeurIPS 2019についての参加報告を行います．なんと参加者数は12000人を突破しており，2018年の約8000人を大きく上回っていました．

会場からの風景

AI Labからの発表

AI Labからは残念ながら今回本会議の発表はありませんが，ワークショップとメンタリングセッション合わせて3件の研究発表をさせていただきました．

• Dual Learning Algorithm for Delayed Feedback in Display Advertising

              Yuta Saito, Gota Morishita, Shota Yasui

              http://tripods.cis.cornell.edu/neurips19_causalml/

• Warm Starting Method for CMA-ES

              Masahiro Nomura, Shuhei Watanabe, Yoshihiko Ozaki, Masaki Onishi

              http://metalearning.ml/2019/

• Simple and Scalable Parallelized Bayesian Optimization

              Masahiro Nomura

              https://nehzux.github.io/NewInML2019/

研究の動向（EconCS）

EconCSと呼ばれる経済学とコンピューターサイエンスの融合分野があります. NeurIPSではGame Theory and Computational Economicsと呼ばれるポスタートラックがあり, 18本ほどありました. その中で, テーマの内訳は以下のようです.

• Mechanism Design 8本
  • Auction関連
• Computation of Nash Equilibria 6本
  • 展開型ゲームのCorrelated equilibriaを求めるアルゴリズム
• Others 4本
  • Security GameやGANの評価方法

経済学でも花形であるMechanism Designの研究が多く, その中でもオークション理論に関するものが多かったです.

その中で１つ紹介したいと思います. 

Learning Auctions with Robust Incentive Guarantees

EconCSの文脈では, メカニズムデザイナーは入札者の価値の分布を標本から近似し, 最適なメカニズムを作ることを目的とすることが多いです. その中で, この論文では, 入札者が戦略的に嘘の入札額を申告して, 入札者にとって望ましいメカニズムを作るようなインセンティブが存在しないようにメカニズムを標本から学習するアルゴリズムを提案しました.

この論文の肝となるアイディアは, アルゴリズムのセキュリティを担保するdifferential privacyという性質を用いたことです. differential privacyとは, 標本の中のある特定の１つのサンプルが大きく変わったとして, アルゴリズムのアウトプットはほとんど変化しないという性質です. これをオークションの文脈で読み替えると, 入札者の中である特定の1人が嘘の申告をしたとしてもメカニズムの結果はほとんど変化しないという性質となります. この性質を持つようなメカニズムを学習するアルゴリズムは, 嘘をつくインセンティブを減らし, 結果として利益もある程度担保されることを証明しました. 

研究の動向（Causal Inference）

今回のNeurIPS本会議では因果推論関連の研究の存在感はあまりなかったように感じます (CausalML Workshopではたくさん議論されていますが). 特に近年乱立傾向にあった個別的因果効果予測の精度を追求するような研究は他の会議も含め（やられ尽くしたのか）少なくなってきていると思います. 一方で今年は操作変数と機械学習の融合のような研究がいくらか見られました. 以下はその一例です.

Kernel Instrumental Variable Regression

操作変数法の通常のアプローチは, 2段階最小二乗法と呼ばれるものです. これは, まず操作変数ZでX(Z)を回帰する. そのX(Z)を用いてYを回帰します. ただし, これには変数間に線型性を仮定しています. この論文では, 線形回帰の部分をKernel Ridgeに変えることで計算時間や実装コストの改善をしました. また実験的にデータが少ない時でも, 性能良く推定できたことも示しました. 著者のインタービュー動画も上がっています. 

Machine Learning Estimation of Heterogeneous Treatment Effects with Instruments

こちらは操作変数を使える状況で個別的因果効果を予測するためのメタ的な学習過程を提案している論文です. Lassoなどよく用いられる機械学習の手法と組み合わせることが可能であり, 実装が簡単であることや解釈性を担保できることが推されていました. 実際, 論文ではTripAdvisorのデータを活用し, 介入が効きそうな群をデータから解釈するような解析が載っています. そのそも著者がEconMLの開発グループなのですが, 実際にこの論文で提案されている手法もEconMLに実装されているようです.

研究の動向（Off-Policy Evaluation & Learning）

Off-Policy Evaluationとは, ある方策(policy)の性能を別のpolicyによって集められたデータを使って推定するための手法を開発する分野です. 強化学習よりもシンプルなcontextual banditの設定におけるOPEに関してAI Labから過去にAAAI2019で論文を発表したり, Blogにまとめるなどしています.  まだまだ日本ではメジャーな分野ではないのかなと思っていますが, ことNeurIPSにおいてはこのOPEが強化学習の中の1分野として確立されているんだなということを肌で感じました.  また因果推論ですでに知られた結果の強化学習への移植はだいぶ進みほかの分野との融合が動き始めた印象があります. 例えば今年はPositive-Unlabeled Learningの応用が存在しました(後述). 一方で, OPEの精度を実データで検証している論文はなく企業としては今後狙い目になってくるのかなと感じました. 

Semi-Parametric Efficient Off-Policy Learning with Continuous Action Spaces

Microsoft ResearchのEconMLのグループの研究. 連続的な介入空間に置いてofflineで最適な方策を学習する問題(例えば投薬量最適化)について, 報酬関数のsemi-parametric性を仮定した上でlossの構築方法 (doubly-robust like)の提案と理論解析を行う. 仮定が満たされない場合のrobustnessも証明しました.

Off-Policy Evaluation via Off-Policy Classification

Google BrainとDeep Mindの研究. Off-Policy Evaluationの基本はImportance Weightを用いてバイアスを除去する. しかし, この論文はImportance Weightを全く使わず報酬がbinaryの場合のOPEをPositive-Unlabeled Learningで定式化することで, importance weightを用いたときに発生する問題を回避しています.

研究の動向（AutoML）

本会議ではベイズ最適化についての研究もたくさんあったのですが，純粋なBlack-box最適化の研究の数はそれほど多くないと感じました．具体的には，以下のような一歩踏み込んだ問題設定についての研究が発表されていました．

• 多目的最適化問題
• 動的な探索空間における最適化
• Heavy-tailedなノイズの分布の仮定
• Contextualなベイズ最適化
• 組み合わせ最適化のためのベイズ最適化

その中から，いくつか私が気になった論文を以下に紹介します．

Bayesian Optimization with Unknown Search Space

通常，ベイズ最適化を実行する際は，Box制約を指定（各変数ごとに上限と下限を指定）した後に最適化を開始します．しかし，例えばハイパーパラメータ最適化を考えた時，ユーザが指定した探索空間に最適解（または良好解）が含まれているという保証はありません．こちらの論文では，状況に応じて段々探索空間を大きくすることで，上記の問題点に対処した方法を提案しています．アルゴリズムはGP-UCBをベースとしたアルゴリズムとなっています．論文内では，最適解までの接近条件に関する理論解析も行われています．

Bayesian Optimization under Heavy-tailed Payoffs

ベイズ最適化における多くの研究では，ノイズの従う分布が(sub-)Gaussianであることを仮定しています．しかし，金融や保険の分野などではノイズの従う分布がheavy-tailedな場合が多くあります．こちらの論文では，ノイズがheavy-tailedな分布に従っている場合でも適切に動作するアルゴリズムを提案しています．また，このような場合に緩い条件下でno regretを達成するという解析も行われています．

Practical Two-Step Lookahead Bayesian Optimization

従来のベイズ最適化は，one-stepの意味で最適な点を選択していました．例えば，最も頻繁に用いられる獲得関数であるExpected Improvement (EI) は，次の探索点がどれだけ基準点（多くの場合，最良点）の評価値を改善するかを計測する指標です．しかし，これは残り評価回数が1回よりも多く存在する場合にはgreedyな選択になるすぎるという傾向がありました．こちらの論文では，two-stepの意味で最適な点を選択する2-OPTという獲得関数を提案しています．また，2-OPTの勾配に関するunbiased estimatorの導出，効率的なモンテカルロ近似のためのvariance reductionなども提案されています．

Scalable Global Optimization via Local Bayesian Optimization

こちらの論文で提案されている手法は，ある定められたtrust region内にサンプルを生成するように制限をしています．具体的には，これまで得られている最良解の周りにtrust regionを形成し，その付近でbatch Thompson Samplingを実行しています．より良い解が見つかったら拡大，そうでなければ縮小することで，動的にtrust regionを更新していきます．これにより，有望領域に解が生成されやすくなり，良好な性能に繋がったとの報告がなされています．

Constrained Bayesian Optimization with  Max-Value Entropy Search

こちらはWorkshop on Meta Learningにて発表されていた，制約付き問題のためのベイズ最適化手法を提案している論文になります．明示的な制約のみでなく，”制約を満たしていない”ことだけがわかるbinary feedbackにも対応しているというのが一つの特徴です．従来手法としてExpected Improvement (EI) ベースの手法がありましたら，こちらの手法では基準点からの改善量を計算する必要があるため，実行可能解が存在しない場合には定義できない量となっていました．そこで，Max-Value Entropy Searchを用いることでこの問題を回避しています．Max-Value Entropy SearchはEntropy Searchを少ない計算コストで近似する手法です．

おわりに

参加者数としては非常に大規模となった今年のNeurIPSですが，ポスターセッションなどで分野の近い研究者と議論をすることができ，有意義な時間となりました．AI Labでは，機械学習を活用した研究開発を積極的に行っています．興味を持っていただいた方は，採用のページもぜひご覧ください．