AI Lab Media Fundamentalsチームの邱です。

27th Annual Conference on Intelligent User Interfaces (IUI2022)は、2022年3月21日（月）〜3月25日（金）に開催されました。今年はZoomやDiscordを活用したオンライン形式で開催されました。

本記事は、その参加報告となります。

 

開催概要

IUIはユーザインタフェースに関する国際会議で、主にヒューマンコンピュータインタラクション（HCI）と人工知能（AI）の融合点に位置する研究コミュニティのための会議です。2022年は全体で44の国から253件の投稿があり、62件のPapersが採択されました（採択率25%）。地域別の著者の割合は下図のようになっており、North Americaが半分以上を占めていました。また、26件のPoster and demosが採択されました。参加登録者は386名（America: 44%, Europe: 36%, Asia: 14%, Middle East: 5%, Other: 2%）でした。

(図は会議のOpening Ceremonyより引用)

会議のTechnical Programとして11セッションがあり、非常に幅広い研究トピックを扱っていました。さらに、Intelligent Healthy UI / Adaptive and Personalised Explainable UI / Human-AI Co-Creation with Generative Models / Humanize / Transparency and Explanations in Smart Systems / SocializeというWorkshopが設けられていました。また、Poster and demosセッションがあり、AI Labからは邱がこのセッションで研究発表をしました。

(図は会議のOpening Ceremonyより引用)

 

AI Labからの発表

AI Labからはクリエイティブ制作に向けた配色推薦に関する研究を発表しました。

本研究は「An Intelligent Color Recommendation Tool for Landing Page Design」というタイトルで、広告ランディングページ（LP）における広告効果を考慮した配色推薦と色変換に関する研究です。広告LPとは、検索結果や広告などを経由して訪問者が最初にアクセスし、商品の注文や問い合わせなどのアクション(Conversion) へと誘導するページです。本研究では、BERTのようなモデルを適用して、広告効果予測を伴う色推薦モデルを学習します。広告LPの色変換システムを通じて、元のカラーパレットに応じた推薦色を広告効果に基づいて取得し、推薦された色から新たなカラーパレットを生成してLPの配色を変換します。

オンラインマーケティングにおいて、フォームへの誘導や商品のカートへの追加などの行動を喚起するCall-to-Action (CTA)は、Conversionを最大化させる上で重要です。本研究では、ケーススタディとして、CTAエリアの色を調整するシステムを実装し、システムの使いやすさと色推薦及び色変換の有効性についてプロのデザイナーに評価してもらいました。結果として、ほとんどのデザイナーが推薦された配色案に使える色があると評価しました。

また発表の際には、Zoomを通して多くの方からご質問やコメントをいただきました。貴重なご意見を頂きありがとうございました！

 

関連研究・興味深かった研究

私が発表を聴講した／論文を読んだ研究の中で、特に興味深かった研究発表を紹介します。

Colorbo: Envisioned Mandala Coloring through Human-AI Collaboration

– Eunseo Kim, Jeongmin Hong, Hyuna Lee, Minsam Ko

(図は元論文より引用)

この論文は、Colorboというマンダラ塗り絵を着色するため、人間とAIのコラボレーションに基づくインタラクティブシステムを提案しました。ユーザーは進行中の色付きのマンダラを表示し、Colorboはユーザーの画像のパターンと色の組み合わせを分析して残りの領域を塗りつぶします。次に、Colorboは、ユーザーが着色している​​紙に完全なマンダラ画像を投影し、ユーザーはColorboからの画像に基づいて結果を想像することによって着色を続けます。

この研究では、上図のColor Selectionについて、自然言語処理のfastTextと同様の方法で色埋め込みモデルをトレーニングします。ここで、私たちの研究同様に、色の表現学習の問題では、色を単語として、 カラーパレットは文として扱います。この研究は、一つのカラーパレットでマンダラ画像全体の配色を表現しますが、私たちの研究では、複数のデザイン要素から抽出された複数のカラーパレットにおける色を分散表現に変換する点で異なります。

 

Interpretable Aesthetic Analysis Model for Intelligent Photography Guidance Systems

– Xiaoran Wu

(図は元論文より引用)

この論文は、ハイパーネットワークを使用して、各美的属性スコアの組み合わせとして全体的な美的評価を学習しています。さらに、属性スコア推定器に注意機構（attention mechanism）を導入しています。ユーザーが入力された写真のどの部分/要素が推定スコアにつながるかを正確に把握し、配色調和性や対称性などの詳細な評価、説明、提案を備えた写真ガイダンスシステムを次のように設計しています。

(図は元論文より引用)

 

Sponsor Session: Intelligent User Interfaces @ Meta Reality Labs

今回のプラチナスポンサー企業として、Meta Reality Labsから研究紹介がありました。ここでは、簡単に研究トピックをまとめます。主に、Intelligent InputとIntelligent Interfacesという二つのテーマがありました。

• Intelligent input

Wearable sensing

表面での2Dタップ検出できる手首に装着した音響センシングデバイス

Acustico: Surface Tap Detection and Localization using Wrist-based Acoustic TDOA Sensing. Gong et al. UIST 2020 (Paper, Video)

 

ElectroRing

指のピンチや指先と皮膚のタッチとリリースを検出できるリングベースの入力デバイス

ElectroRing: Subtle Pinch and Touch Detection with a Ring. Wolf et al. CHI 2021 (Paper, Video)

 

• Intelligent Interfaces

Intent to interact using gaze dynamics

VRでユーザーの視線データからユーザーの意図（アイテム選択）を予測するインタフェース

Towards gaze-based prediction of the intent to interact in virtual reality. John et al. ETRA 2021 (Paper)

 

Predicting Focus of Visual Attention

視線のダイナミックスに基づく将来の視線ターゲットを予測するモデル

Predicting visual attention using the hidden structure in eye-gaze dynamics. Lengyal et al. CHI 2021 workshop (Paper)

所感：

Metaverseは最近話題になっています。AR/VR分野におけるウェアラブルセンサーとユーザーインターフェースは非常に重要です。Meta Reality Labsは次世代のコンピューティング・プラットフォームを構築していくにあたり、ハードウェアとソフトウェアの研究開発をうまく進めています。VR/ARゴーグル市場を活性化させているといった報道も見られますが、手や体の動きを認識して機器の操作に利用するジェスチャー認識技術では、現時点で指でポイントとピンチしかサポートしているジェスチャーがまだ少ないと感じています。入力系システムの進化が期待されますが、メタバース事業を支えるVRやARの取り組みが軌道に乗る日はまだ遠そうです。

 

おわりに

IUIには今回初めて参加しましたが、人間とAIの協調に関する課題及びそのアプリケーションやツールの発表が多い印象でした。さらに、AIモデルの予測を人間に理解させるというモチベーションから、Explainable AIという説明可能なAIに関わる研究も多かったと感じました。また、企業からの研究発表ではその企業の技術的ビジョンが伺えるようなものもあり参考になりました。

AI Labでも基礎的な内容から実応用を強く意識したものまで幅広い研究プロジェクトに取り組んでいます。ご興味ある方はぜひ採用ページもご覧ください。