論文名：Practical Insights into Designing Context-Aware Robot Voice Parameters in the Wild

著者：Amy Koike, Yuki Okafuji, Sichao Song

はじめに

公共空間で働く対話ロボットにとって、声はインタフェースそのものです。聞き取りやすさや理解しやすさはもちろん、好ましさや話しかけやすさにも直結します。一方で、声の設計に関する知見はラボ実験に偏りがちで、実環境のノイズや人の流れ、多人数・立ち話といった現場のややこしさが入ると、同じ設定でも受け取られ方が大きく変わります。本研究は、ショッピングモールでの自然発生的な対話を対象に、音声パラメータ（音量・話速）がどのように知覚され、どのような文脈でちょうどよさが変わるのかを、①6名へのインタビューと、②8日間・725件のアンケート調査の大規模フィールド実験（3×3デザイン）で検証し、コンテキストに応じた声設計の実務的示唆をまとめたものです。

研究背景

たとえば、同じモールでも週末は騒がしく、平日は比較的静かです。周囲に人がいるか、ひとりで使っているか、グループで使っているかによっても、「大きい／小さい」「速い／遅い」の感じ方は変わります。論文には象徴的な場面が示されています。例えば、ロボットが同じパラメータで話していても、ひとりで使うユーザは「大きすぎる」とジェスチャーをする一方で、グループのユーザは「小さすぎて聞こえない」と身を乗り出します。つまり、音声設計は単なるデフォルト値ではなく、環境・社会的状況・関与の深さに応じて変えるべき制御対象だ、というのが本研究の問題意識です。

研究方法

本研究は2段階の自然実験で構成されます：
（1）事前インタビュー：ショッピングモールに設置した案内ロボットと実際に対話してもらい、6名の参加者に半構造化インタビューを実施しました。ここで「時間帯と環境ノイズ」「周囲の人の存在」「ひとり／同伴」「会話への関与の深さ」といった文脈要因が、声の好みを変えることが整理されます。
（2）フィールド実験：続く8日間のモール運用で、音量（V1–V3）×話速（S1–S3）の3×3デザインを被験者間で割り当て、対話後アンケートで「音量がどれくらいに聞こえたか（Q_V）」「話速がどれくらいに聞こえたか（Q_S）」を7件法で取得しました。最終的に725件の有効回答を分析しています。

実験設定

音量は、現場の環境ノイズ（ロボット以外で65–70dB程度）を踏まえて、S/N比で3水準を設計しました。V1はおよそ70–73dB、V2は79–80dB、V3は83–85dBです。話速はGoogle TTSの倍率として、S1=0.8（約120WPM）、S2=1.2（約150WPM：基準）、S3=1.6（約230WPM）を採用しました。

また、動画アノテーションにより年齢（若年層／中年層／高齢層）、平日/週末、周囲の人の有無、1人かグループか、会話が続いたか、動機（機能目的/実験/興味本位/教育目的）を付与し、音量・話速の知覚がどの文脈で変わるかを分析しています。

結果

本研究からまず分かったのは、ロボットの音声パラメータ（音量・話速）には「これが絶対に正しい」という固定の最適値があるわけではなく、置かれている状況によってちょうどよさが変わるということです。公共空間では周囲の騒がしさ、人の流れ、利用者が一人かグループかといった条件が常に変動します。そうした環境では、同じ設定でも「うるさい／小さい」「速い／遅い」の受け取られ方が変わり得ます。

音量については、基本的には環境ノイズに合わせた調整が重要ですが、それだけでは足りません。年齢によって聞こえ方・感じ方が変わることが示唆され、同じ音量でも受け止められ方が一様ではないことが分かりました。つまり、音量は「周囲がうるさいから上げる／静かだから下げる」だけで完結しない設計対象だと言えます。

話速については、特に周囲に人がいるかどうかや、会話がどれくらい深まっているかによって、ユーザがテンポに敏感になる場面があることが示されました。さらに、利用者が「何のために話しかけているか」（目的・動機）によっても、適切に感じる話速のレンジが変わる可能性があります。つまり話速は、単に“聞き取りやすい速度”を選ぶというより、場の空気や対話の進み方に合わせて設計する必要がある、というのが重要な結論です

考察

本研究が示す実務的なポイントは、音量と話速で「適応させるべき文脈」が少し違うことです。音量はまず環境ノイズに合わせるのが基本ですが、そこに年齢差が加わります。高齢者に配慮して大きくすれば聞き取りやすさは改善し得る一方で、周囲の人への外部性（うるささ、会話内容が周囲に漏れること）や、利用者本人の“目立ってしまう”気恥ずかしさを増やす可能性もあります。音量の単純な増幅は、効果と副作用が同時に出やすい「諸刃の剣」になり得る点が重要です。

一方、話速は周囲の人の存在や、対話の深まり方によって「敏感さ」が変わりやすいパラメータです。周囲に人がいると、利用者は無意識に「早く終わらせたい／待たせたくない」という社会的な圧力を感じやすくなり、テンポや“間”に対してシビアになります。逆に会話が深まるほど、ターンテイキングのリズムとしての話速が効いてきます。つまり話速は、環境ノイズというより社会的状況と対話フェーズに合わせて設計するのが合理的です。

これらを踏まえると、公共空間の音声設計は「一つの万能設定」を探すのではなく、(1) 環境ノイズ＋年齢を見て音量を調整し、(2) 周囲の人・会話の深さ・利用目的に応じて話速や間を調整するという二段構えの適応戦略が現実的だと考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment

著者：Sichao Song, Yuki Okafuji, Takuya Iwamoto, Jun Baba, Hiroshi Ishiguro

はじめに

小売領域では、サービスロボットの導入によって「通行人の注目を集める」「立ち止まりを増やす」効果が報告されてきました。一方で現場で本当に問われるのは、その注目が意味のある顧客体験や購買につながるプロセスに転換されるかどうかです。本研究は、数値（Metrics）として観測できるファネル指標と、現場スタッフの解釈・実務上の判断（Meaning）をつなぎ、ロボット導入の効果がなぜそのように現れるのかを、混合研究（Mixed-Methods）で解き明かします。

研究背景

小売店舗でロボットが担いやすい役割は、入口での声かけや存在感によるアテンション獲得です。実際、先行研究でも、立ち止まりや滞在時間の増加は比較的一貫して示されています。しかし、立ち止まりが増えても、店員による接客、入店、試用、そして購入といった下流工程が同じように伸びるとは限りません。さらに実店舗では、ロボットと顧客の二者関係だけでなく、店員がいつ・どのように介入するかという三者協調が結果を左右します。このため、KPIを追うだけでは見落とされる「現場で何が起きていたのか」を同時に捉える必要があります。

研究目的

本研究では、次の2つの研究目的を設定しています：

• RO1：実店舗におけるロボット導入（および入口演出としての什器の併用）が、顧客行動ファネルとサービス成果に与える影響を定量的に検証する。
• RO2：観測された定量パターンを、店舗スタッフの解釈を通じて説明し、実務導入に向けた論点と示唆を抽出する。

研究方法

寝具専門店にて実験を実施しました。高関与・高価格帯の商品を扱うため、来店者はなんとなく見るだけでなく、試用や説明を通じた意思決定が重要になります。実験は12日間で、次の3条件を4日ずつ実施しました。
（1）通常条件：ロボットなし（通常営業）
（2）ロボットだけの条件：入口に対話ロボットを設置
（3）ロボット＋什器の条件：ロボットを専用什器と組み合わせて入口演出を強化

データは2台のカメラで撮影し、通行人→立ち止まり→ロボットによる初期対応→店員への接客引き継ぎ→入店→接客→購入、というサービスファネルを動画アノテーションで定量化しました。加えて、実験直後に店舗スタッフ6名（店長1名＋店員5名）への半構造化インタビューを行い、数値の背景にある判断・規範・フリクションを抽出しました。

結果

定量結果

もっとも象徴的な結果は、「入口で立ち止まる人は増えるのに、店員さんが主導するその先の流れは減ってしまう」というねじれです。店の前を通った人数は、通常条件が 20,180人、ロボットだけの条件が 21,938人、ロボット＋什器の条件が 20,035人でした。通行人のうち「立ち止まった割合」は、0.73% （通常条件）→ 1.50%（ロボットだけ条件） → 2.48% （ロボット+什器条件）と段階的に増えており、条件による差は統計的にもはっきりしていました。

一方で、「立ち止まった人の中でその後どうなったか」を見ると、店員さんが関わる指標は全体として下がっています。

• 店員さんが声をかけた割合： 19.7% （通常条件）→ 13.4%（ロボットだけ条件） → 4.8%（ロボット+什器条件）
• 入店した割合は：32.0% （通常条件）→ 20.1% （ロボットだけ条件）→ 9.5%（ロボット+什器条件）
• 店内で接客を受けた割合： 18.4%（通常条件） → 6.1% （ロボットだけ条件）→ 4.0%（ロボット+什器条件）
• 立ち止まった人のうち購入した割合： 11.6% （通常条件）→ 5.5%（ロボットだけ条件） → 2.6% （ロボット+什器条件）

で、いずれも条件による差は有意でした。

なお、購入を「通行人全体あたり」に換算すると 0.08% （通常条件）→ 0.08%（ロボットだけ条件） → 0.07%（ロボット+什器条件） で、有意な差はありませんでした。つまり、入口で注目を集めても、それがそのまま売上の量（買う人の増加）につながるとは限らないことが示されました。

定性結果

インタビュー分析は、上記のねじれを説明する複数のメカニズムを提示します。

第一に、入口のロボットは強い視覚的アンカーとなり、特に子どもを中心に注意を引きました。その結果、家族連れが立ち止まる割合が増えますが、寝具の購入意思決定者である大人の購買意図と必ずしも一致しません。「子どもが会話して満足し、そのまま去る」という入口でニーズが閉じるパターンが報告されています。

第二に、店員側の「非侵入」規範が介入を遅らせます。ロボットが話している最中に割り込むことを避け、適切な間（会話の切れ目）を探す必要がある一方、応答生成の待ち時間や聞き返しなどの間が曖昧で、店員がタイミングを掴みにくいという指摘がありました。

第三に、什器は視認性を高め、試用（サンプルに触るなど）を促す一方で、入口に「小さなブース＝マイクロスペース」を形成し、そこで会話や試用が完結しやすくなる可能性があります。入口演出の強化は引き留める力を上げるが、店内へ誘導する力を同時に弱めることがあり得る、という含意です。

考察

本研究は、店にロボットを入れたときの効果を、ひとつの数字だけで見るのではなく、「流れ」として見ていく考え方を示しています。入口で人の目を引いて立ち止まってもらうだけでは足りません。ロボットが話しかけたあと、店員さんが評価や提案に引き継ぐ（Handoff）がうまく起きてはじめて、入店・接客・購入といった店内の行動が動き出します。

今回の運用では、店員さんの判断ややり方を尊重するために、「こういう手順で引き継ぐ」といった決まった型（台本）をあえて作りませんでした。現場の自然さは保てる一方で、引き継ぎの合図がはっきりしなくなり、店員さんが入るタイミングが遅れる → その先の行動が弱くなる、という可能性が考えられます。

本論文では、現場で導入していく上でのポイントを次のように整理しています。

（1）役割と入るきっかけをはっきりさせる

ロボットは入口での案内・呼び込み、店員さんは評価・提案・最後の後押し、という役割分担を言葉で明確にします。そのうえで、どんなときに引き継ぐか（会話が途切れたとき、サンプルに触れている時間が一定を超えたとき、など）を、重くならない範囲で決めておきます。

（2）引き継ぎを見て分かる形にする

ロボットのひと言（例：「スタッフがご案内します」）や、ライト・画面表示など、強すぎない合図で店員さんが入りやすくします。あわせて、店員さんが状況をつかみやすい配置（視線が届く、会話が聞こえる距離）も大事です。

（3）入口の見せ方は「見つけやすさ」と「店内への進みやすさ」を両立する

什器で目立つほど、入口の周りだけで完結してしまうリスクもあります。サンプルを少し店内側に置く、境目を作りすぎない、見通しを確保する、といった工夫で、「自然に中へ進める流れ」を設計します。

（4）見るべき指標を広げる

立ち止まりだけでなく、引き継ぎがうまく起きた割合（店員さんの介入が発生した割合）や、店内で評価・提案が始まった割合など、流れの途中の指標も、KPIとして持つことが重要です。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：What You Reward Is What You Learn: Comparing Rewards for Online Speech Policy Optimization in Public HRI

著者：Sichao Song, Yuki Okafuji, Kaito Ariu, Amy Koike

はじめに

対話ロボットを公共空間に設置すると、ロボットとインタラクションを行う利用者の年齢等の属性や、 対話目的は多種多様となります。こうした多様な環境に対して、オンライン学習（多腕バンディットなど）でロボットの振る舞いを現場適応させる試みは増えています。一方で現場導入で必ずぶつかるのが、「何を成功（reward）とみなして学習させるか」という設計です。満足度を上げたいのか、会話をきれいに終えたいのか、会話を続けてエンゲージメントを取りたいのか。どれも良さそうですが、実は報酬の置き方が変わると、学習される最適な話し方も変わってしまいます。本研究はこの点を、12日間・1,400件超の実地運用で比較検証しました。

研究背景

Thompson Sampling（TS）をはじめとする多腕バンディット(Multi-Armed Bandit; MAB)は、探索と活用のバランスを取りながら限られた試行で累積報酬を最大化でき、公共空間のように属性が多様な環境と相性が良いとされています。ただしMABは、最終的に「観測できる報酬」しか最適化できません。主観評価（ユーザアンケート）のように分かりやすい指標もあれば、会話の終わり方や継続といった行動指標もあります。それぞれが指す良い対話は異なるため、報酬の選び方がそのままロボットの人格・運用方針を規定します。本研究は、同一環境・同一行動空間・同一学習アルゴリズムのまま、報酬定義だけを切り替えて比較しました。

研究方法

本研究では、対話ロボットの話し方を2軸で離散化し、計6つのアーム（行動）から選ぶ問題として定式化します。
・話速：Slow（遅い） / Normal（普通） / Fast（速い）
・冗長さ：Concise（簡潔）/ Detailed（詳細）
6アームは SC（Slow-Concise）、SD（Slow-Detailed）、NC（Normal-Concise）、ND（Normal-Detailed）、FC（Fast-Concise）、FD（Fast-Detailed）です。

学習アルゴリズムはベルヌーイ報酬×Beta事前分布のThompson Samplingを採用し、各対話の終了後に報酬を受け取って事後分布を更新します。初期偏りを避けるため、各条件で30件のコールドスタート（各アーム5回ずつ）を行った上で、450件の学習フェーズへ移行しました。

実験

実験は商業施設にサービスロボットを設置し、12日間運用して実施しました。総インタラクションは1,400件超です。

比較した報酬条件は、運用上の目的が異なる3種類の二値報酬です。
（1）Ru（利用者評価）：対話後アンケート（7段階）で6以上を成功
（2）Rc（会話の締め）：ありがとう／さようなら等の明示的なクロージングに到達したら成功
（3）Rt（≥2ターン）：2ターン以上（ロボット1→ユーザー1→ロボット2→ユーザー2）が成立したら成功
Ruは満足度、Rcは効率的な完結、Rtは対話継続意欲をそれぞれ反映しています。

各報酬条件では、ユーザがインタラクションを行うごとにリアルタイムに報酬を与えました。Ru条件の場合は、インタラクションごとに利用者にアンケートを取って、アンケート評価を収集しました。RcとRt条件の場合では、裏にいる観測者が対話内容を観測しており、インタラクションが終わるタイミングで報酬評価を行いました。報酬のための評価が得られたタイミングで学習が回るようなシステムを組むことで、インタラクションごとに学習を回していく設計としました。

結果

結論から言うと、同じアーム集合でも、報酬定義が違うだけでTSが好むアームは明確に変わりました。満足度（Ru）では、選択率が最も高かったのはND（50.0%）で、成功率が最も高かったのはNC（63.3%）でした。学習の前半ではNDが強く選ばれ、後半でNCが伸びていくという学習途中での逆転も観察されています。会話完結（Rc）では、NCが選択率30.8%、成功率39.2%と最も良く、SC/ND/FCも近い水準で推移しました。一方でSDとFDは全期間で成功率0%となり、完結指標とは相性が悪いことが示唆されます。会話継続（Rt）では、選択率が最も高かったのはSC（42.4%）、成功率が最も高かったのはFD（59.8%）でした。ゆっくり簡潔と速く詳細という、異なるスタイルがそれぞれ継続に寄与する可能性が示されました。

考察

本研究では、全インタラクションを動画記録し、混雑、単独/グループ、案内要求、動機をアノテーションした上で、GLM（一般化線形モデル）でアーム×文脈の相互作用を分析しています。たとえばRuでは、単独ユーザはグループより高評価を得にくい一方で、単独場面ではNDが相対的に有利になる傾向が示されました。また教育目的の来訪者ではNC/ND/FDが高評価になりやすいなど、目的によって良い話し方が変わる可能性が示唆されています。Rtでは、混雑時にNDやFCが不利になるなど、同じ継続指標でも周辺状況で成否が変わる兆候が見られます。

本研究のメッセージは明快です。オンライン学習において「何を報酬とするか」は、最終的にロボットがどんな会話を学ぶかを決めます。満足度を取りたいならRuに寄せた設計が必要ですし、回転率や案内効率を重視するならRcが合います。会話を続けたいならRtが使えますが、その結果として生まれる話し方は、満足度最適化とは一致しないかもしれません。また、文脈によって最適アームが変わる以上、将来的には文脈付きバンディットのように「状況を見て話し方を切り替える」枠組みへ進むのが自然です。実運用におけるセンサー設計・ログ設計・公平性や社会的許容性なども含め、報酬と文脈を一体で設計することが重要になります。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

Title：Robust Multimodal Emotion Recognition from Incomplete Modalities via Query-Based Unimodal and Cross-Modal Learning

Authors：Ryo Miyoshi, Mayu Otani, Yuki Okafuji

はじめに

HRI（Human-Robot Interaction）では、ロボットが人と同じ空間で関わるため、相手の感情やストレス状態を把握し、声かけや動作の強度・タイミングを調整することが重要です。ユーザの感情を適切に捉えられないと、不適切な応答や過度な介入につながり、ユーザ体験や信頼に影響し得ます。こうした背景から、複数の手がかりを統合して人の状態を推定できる感情認識、とりわけマルチモーダルなアプローチが注目されています。一方で、ロボットを実際にフィールドに持っていくと、必ずしも理想的な条件でセンシングできるとは限りません。人の動きや遮蔽で映像が欠けたり、環境雑音で音声が取りづらかったり、通信やデバイス都合で一部の信号が落ちたりと、結果としてデータ欠損が生じやすくなります。そのため、欠損を前提にしても安定して動く感情認識が求められます。マルチモーダル感情認識（MER）は、テキスト・音声・映像といった複数モダリティを組み合わせて人の感情状態を推定するタスクです。単一モダリティよりも多面的な手がかりを活用できる一方で、現実には次のような理由で入力が欠損することが少なくありません。

• センサー故障や通信エラーで 音声が途切れる／映像が欠ける

• プライバシー要件で 特定モダリティが利用できない

• 収録環境の制約で 品質が悪い（実質的な欠損）

しかし、多くの既存研究は学習時も推論時も全てのモダリティが揃うことを仮定しており、欠損が起きると性能が大きく落ちやすい、という課題があります。そのような課題に対して、ロバスト性を向上させる手法も提案されていますが、学習時には欠損のないデータを必要としています。一方で、実世界で収集されるデータに欠損を含めないことは困難であるため、そのようなデータでもロバストに動作する必要があります。

既存手法の課題

欠損に頑健にするために、従来は主に次の方向性が採られてきました。

1. Reconstruction：観測できたモダリティから欠損モダリティを生成・補完し、完全入力に近づける方法。ただし、感情推定に不要な情報まで生成してしまったり、復元タスクがボトルネックになる可能性があります。

2. Knowledge Distillation：完全モダリティで学習した Teacher を用意し、不完全入力の Student を Teacher に近づける方法。ただし、Teacher 学習のために完全データが必要になりやすく、現場では用意できないケースがあります。

本研究では、「完全モダリティに依存せず、不完全入力だけで頑健な表現学習ができる」ことを狙った手法を提案します。

提案手法

本研究では、欠損（不完全）なモダリティ入力だけで学習できる頑健なMERフレームワーク Dual-Query Fusion（DQF）を提案します。DQFは復元（reconstruction）や蒸留（distillation）に頼らず、学習可能なクエリを用いて「特徴抽出」と「モダリティ融合」を安定化します。

(1) 事前学習エンコーダで特徴抽出：テキスト/音声/映像の埋め込みを取得（エンコーダは固定）。

(2) Q-UA（単一モダリティの頑健化）：各モダリティに対してクエリを自己注意で更新し、入力特徴に注入してTransformerで表現を抽出。欠損やノイズがあっても重要な手がかりを拾いやすくします。

(3) Q-CA（モダリティ融合の安定化）：モダリティ対（ta/tv/av）ごとに共有クエリを介した注意で融合し、強いモダリティへの過度な依存を抑えながら補完情報を統合します。

(4) 多粒度の学習：単一・2モダリティ・3モダリティの各粒度で予測損失を入れ、欠損パターンが変わっても性能が崩れにくいように学習します。

実験

実験条件

本実験では、CMU-MOSEIというセンチメントに関するデータセット、MELDという7感情の分類タスクに関するデータセットの2つの公開データセットを用いて評価しました。これらのデータセットには欠損が含まれていないため、各モダリティの系列に対してランダムにマスクし、欠損フレームをゼロベクトルに置換します。欠損率は 0〜1 の範囲で変化させ、幅広い欠損状況を評価します。また、実験では欠損のない入力に対する評価、欠損のある入力に対する評価を実施しました。

実験結果

欠損のない入力および欠損のある入力のいずれの評価において、提案手法は比較手法を上回る性能を達成しました。特に欠損なし条件では、DQFは欠損入力のみで学習しているにもかかわらず、完全モダリティを前提に学習する代表的手法（MulT / MISA / DMD など）を含む complete-modality系ベースラインを上回る結果となりました（表1）。

また欠損あり条件でも、復元系・蒸留系といった従来のロバスト手法を一貫して上回り、特に3モダリティ全てに欠損が入る最難条件でも改善が確認されています（表2・表3）。

おわりに

論文中でも述べている通り、現時点の評価は主にシミュレーション欠損と2つのベンチマークに基づいています。今後は、実運用に近い欠損データでの検証や感情認識以外のより広いアフェクティブ（affective）タスクへの展開などを進めていきたいと考えています。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

なぜ研究組織に知財戦略が求められるのか？

冒頭では、なぜ研究組織が知財戦略を遂行するのか、ビジネスと特許法の基本と照らし合わせながら必要性を解説しました。そのうえで、研究成果の新規性だけを強調して特許出願しても事業貢献に値する知的財産は形成できず、事業部門および知財部門と連携しながら研究成果を戦略的に出願することの重要性を解説しました。

ただ「コミュニケーションを頑張る」では失敗する

講義で特に強調したのは、仕組みや制度設計レベルの工夫をしなければ適切な部門連携は実現できない点です。単に定期的に会議室に集まったり、「コミュニケーションを頑張る」といった姿勢だけでは、前提知識のギャップを埋められず、的確な意思決定にもつながらないことを警告しました。その上で、現場で実際に機能する実践的な組織設計とルールメイキングを紹介しました。

受講生から届いた学びの声

• 経営学とは理論の集合ではなく、理論と実践が結びついた学問だと改めて実感しました。
• 経営学を学ぶ意義をより強く感じました。今後は「技術を活かす仕組みづくり」が経営戦略において重要であることを念頭に置いて、学びを深めていきたいです。
• 企業の研究現場はどうなっているのか疑問でしたが、研究がどのように社会価値や事業成長に繋がるのかを説明して頂きイメージが湧きました。
• 研究と事業の橋渡しができる人材がこれからの社会に必要だと気づき、自分自身がそのような人材になりたいという目標を立てられました。
• 新たな役割を定義したり、仕組みを設計していく「ルールメイキング」の重要性を実感し、今後さらに深く学びたいと感じました。

こうした声から、現場に根ざした実践的な視点が受講生にとって新鮮かつ刺激的だったことがうかがえます。研究と経営をつなぐ視座を得たことで、将来のキャリアや学びへの意識が変わったという感想も見られました。

おわりに

今回の講演を通じて、経営やマネジメントを学ぶ学生にとって、研究活動が単なる技術や学問の話にとどまらず、企業の競争力や成長戦略といった“経営そのもの”に直結していることを実感して頂けたのは大きな成果でした。あわせて、研究成果を事業成果へとつなげるうえで、知財戦略が不可欠であるという点を理解して頂けたことも非常に意義深いものでした。

AI Labでは今後も、AI技術の研究から社会的価値の創出まで一気通貫で推進する新しい研究組織の在り方を確立し、実務に根ざした知見を社会に還元していきます。

論文名：Design Pitfalls in Interactive Sales Robots: A Systematic Analysis and Framework

著者：Yuki Okafuji, Takuya Iwamoto, Sichao Song

AI Labの中でも接客対話領域を担っている研究チームでは、実際の店舗や施設内に対話ロボットを設置して有効性を検証する、数多くのフィールド実験を実施してきました（2017年〜、フィールド実験数 約80回、査読論文64本）。その中でも対話型販促ロボットの実証実験も多くを占めており、それらの経験を踏まえた上で、対話型販促ロボットを実運用する上で気をつけるべき点を体系化してまとめることで、実証実験や実運用をする上でのチェックポイントになり得るものを作成とすることを目的とした研究になります。

はじめに

店舗で接客ロボットを活用する際には、外観やふるまいが顧客体験を大きく左右します。本研究は、インタラクティブ・セールスロボットの“設計上の落とし穴 (Design Pitfalls)” を網羅的に整理し、今後のロボット設計を支援するフレームワークを提案したものです。

研究背景

従来の HRI（Human-Robot Interaction）の研究では、ロボット導入の成功事例に焦点を当てる傾向があり、失敗や課題は暗黙知として扱われることが少なくありません。本研究は、こうした課題を形式知化し、実運用で再発しがちな問題点を事前に除去することを目的としています。

研究方法

以下の3つ段階の流れによって研究を実施しました。

1. アイディア収集：ロボット研究者13名によるオンラインワークショップ（5回）に加え、補助的にGPT-4*を活用。全部で423件の「ユーザから見てロボットの望ましくない振る舞い」の収集。
2. 結果分類：著者らによって、5つの主要カテゴリ・26のサブカテゴリに整理
3. 妥当性検証：オンラインサーベイを活用して、一般利用者98名によるカテゴリ別の評価

代表的な落とし穴（カテゴリ別抜粋）

実務への示唆

1. チェックリストとしての活用
   設計段階で 26 サブカテゴリを照合することで、潜在的な失敗要因を早期に検出できます。

2. ユーザ評価スコアによる優先度付け
   各サブカテゴリの“不快度”スコアを用いれば、改善優先度が定量的に判断できます。

3. 文化・業種横断での応用可能性
   本フレームワークは小売以外の公共施設やサービス業にも適用範囲を拡張できると考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持って頂けた方は是非一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）
• リサーチインターンシップ2025夏期

*GPT‑4 は、OpenAI 社が開発した大規模言語モデル（生成 AI）の名称です。

こんにちは、AI Labの岩崎です。普段はResearch Engineerとして他チームの実験サポートや研究成果の社会実装などをしています。タイトルの通り、CyberAgentにあるAI Labという研究機関で技術研修を行った話をします。

AI Labは現在インターンを含めて100名近いメンバーが在籍しており、これはメガベンチャーである弊社の中でも大規模な組織です。このように規模が拡大する中で、他社での経験があるメンバーはもちろんのこと、先月まで大学で研究を行っていたメンバーであっても、入社後すぐに共著や社会実装を通じてプロダクトと連携できる程度の技術力が求められます。 小規模な組織であれば技術力の高いメンバーが他のメンバーをフォローすることも可能でしたが、現在の組織規模ではチームや個人間で研究開発力に差が生じつつあります。そうした背景があるAI Labではオンボーディングは用意されているものの、新卒向けのような基礎的な技術研修は行っていませんでした。そこで研究開発力の底上げやナレッジのオープン化・スケール化を目指し、研究者向けのスキルアップ研修を開催しました。

図1. AI Labには新卒と違い技術研修がない

どんな研修を行ったか

研修運営としての所感は後述するとして、まずは各資料を表にまとめたのでご活用ください。弊AI Labの技術スタックに寄せているため新卒研修ほど一般化できていませんが、コードレビューからライセンス・わかりやすい図の作り方など、研究で必要とされる技術テーマを網羅しました。技術のキャッチアップや研究室の新入生・新入社員へのオンボーディングなどの参考にして頂けるとうれしいです。

どうやって進めたか

ここからは初めて研修運営をした上で気をつけたことの備忘録になるので、適宜読み飛ばしてください。

研修コンテンツ作成

冒頭に述べた内容に関連して、研究者のスキルアップのために繰り返し見てもらえる研修資料を提供することが本プロジェクトの目的の1つでした。そのため、どんな研修を行ってほしいか・普段どんなことに困っているかをアンケート調査し、その意見を元に需要の高いものを研修コンテンツとしました。

図2. Google Formで事前アンケートを実施、研修に対する意見を集めた

講師の依頼

新卒研修では全社から講師を募りますが、Labメンバーの技術的なスポットライトや講師自身の成長を促すことも兼ねて研修講師もLab内で募集しました。社内複業的に準備を進めてもらうため、余裕を持ってオフライン開催2ヶ月前にはテーマの確定・依頼まで済ませるようにしました。

図3. 議事録の一部。複業かつ長丁場なプロジェクトになるので、ダレない程度に隔週で研修運営定例を実施

オフライン研修の開催

AI Labではインターンや通年採用の影響で毎月人の出入りが起こり得ますが、毎月研修を行うことは現実的ではありません。そのため元々は研修資料を展開するだけの予定でしたが、情報過多なご時世なので受動的なやり方では資料も読まれずスケールしないと考えました。これらの前提を考慮し、大きく夏・冬のインターンに資料共有を合わせられるよう6月・12月に社内のセミナールームを貸し切りオフライン研修を開催することにしました。

図4. 研修当日の様子。12月回はコンテンツが1日で収まらず、2days開催となった

やってみてどうだったか

参加者へ事後アンケートを行い、6段階のリッカートで5-6が8割以上と概ね高評価でした。

図6. 研修後アンケートの結果。この他にも運営全体に対するコメントや、研修を受けてなお新規で聞きたいテーマなどを募った

更に研修資料を社内のwikiにまとめた上で、Google Analyticsで閲覧数などをトラッキングしました。オフライン研修の参加者が50人前後なのに対し資料サイトのユニークユーザが200人以上と、AI Labの枠を超えて社内で多くの方に参照されました。

図7. 資料サイトのGoogle Analytics。オフライン開催によりViewが大きく増加した

このような良い結果の傍ら、反省点もたくさんあります。中でも参加者全員の満足度を考慮した難易度のバランスに苦労しました。AI Labは中途メインということもありスキルレベルにばらつきがあります。そこで研修の難易度をBegineerとAdvancedに分けた上でタイムテーブルを事前に共有しておき、各々必要な講義を選んで参加してもらう方針を取りました。それでも講義によってはBegineerすぎる、Advancedすぎるといった意見がありました。

他にも講師目線で、BegineerよりはAdvancedな講義を作るほうが講師自身のチャレンジングなキャッチアップに繋がるため、講義をAdvancedな内容に寄せたがるといったことがありました。そのため研修としてのとっつきやすさと講師としてのモチベーションのトレードオフを依頼前に納得できる形にしておくことが重要だと認識しました。

おわりに

立ち上げ期でこの形になるまで多くの試行錯誤がありましたが、運営委員と受講者の皆さんの協力で1年走り切ることができ、本当にありがとうございました。今年も新たなテーマを仕込んでおり、いつでも見返せる研修資料の研鑽を毎年繰り返すことで、枯れたテーマ・新しいテーマ含めその時の需要に応じて最適化されていくことでしょう。組織に足りないスキルを補い合う仕組みは弊AI Labに限らず使えるスキームとして良い文化形成になったかなと思います。4月に入って研究室や会社のチームに新メンバーが増えてくる頃だと思いますので、本公開資料が少しでも参考になればうれしいです。

Interactive Agentチームは，デジタルマーケティングにおけるHCI (ヒューマン・コンピュータ・インタラクション)の研究開発に取り組んでおり，研究テーマの一つとして，ユーザの体験向上を目的とした新しい広告メディアの発明を行っています．

リサーチインターンシップにおいて，私は形状変化型の新しい広告メディアに取り組み，そして先日，研究成果がHCIに関する国際会議ACM ISS 2024にて採択されました．この記事では，リサーチインターンシップでの研究内容について紹介します.

Popping-Up Poster: 形状変化型ポスターデバイス

Popping-Up Poster: A Pin-Based Promotional Poster Device for Engaging Customers through Physical Shape Transformation
Kojiro Tanaka, Yuki Okafuji, Takuya Iwamoto
ACM International Conference on Interactive Surfaces and Spaces 2024 (ACM ISS 2024)

研究背景

商業施設では，商品の販売促進の一環としてポスターやデジタルサイネージが活用され，画像やアニメーションを用いた広告メディアが展開されています．しかし，こうした商業施設では，広告メディアや照明装飾といったビジュアル要素が溢れており，お客様が無意識のうちに広告を無視してしまう現象が広告研究で指摘されています．この現象は，特にディスプレイ装置において Display Blindness として知られています（図1）．

こうした課題に対応するため，過去の研究では映像や音声表現を工夫する手法が提案されてきましたが，商業施設のビジュアルやサウンド要素が飽和状態にある環境では，それらの効果が埋もれてしまう可能性があります．そこで我々は，商業施設でもお客様の注目を集めやすく，商品情報を効果的に伝えられる新しい広告メディアの創出を目指しました．

図1: Display Blindness

提案手法

映像や音以外の方法でお客様の注目を集める手段として，本研究では 「飛び出し機構」 に着目しました．例えば，図2のような鳩時計はその代表例です．何もない状態から鳩が飛び出すことで，それまで意識していなかった時計に反射的に注意が向きます．

図2: 鳩時計の飛び出し

このアイデアを応用し，文字や画像が飛び出すポスターデバイス Popping-Up Poster をデザインしました（図3）．ポスターにはドア状の切れ込みがあり，その裏側に配置された正方形のピンが飛び出す仕組みです（図4）．これにより，紙製のポスターながら物理的な形状変化を伴うアニメーションを実現し，注目を集めやすい広告メディアを実装しました．

図3: Popping-Up Poster

図4: Popping-Up Posterの内部構造

フィールド実験

提案するPopping-Up Poster が顧客の購買行動に良い影響を与えるかを検証するため，大阪の商業施設 グランフロント大阪内のカフェ「CAFE Lab.」 に設置してフィールド実験を実施しました．実験では，カフェで販売されている「さつま芋のクリームチーズケーキ」を推薦商品として，ケーキショーケース上に広告メディアを配置しました（図5）．

図5: フィールド実験の様子

従来の広告メディアと効果を比較するために，提案手法を加え，以下の条件のもと実験を行いました．

1. 通常の紙のポスター (Static Poster)
2. 静止画を表示するデジタルサイネージ (Static Digital Signage)
3. 動画を表示するデジタルサイネージ (Dynamic Digital Signage)
4. 提案手法 (Popping-Up Poster)

そして，各広告メディアごとのお客様の行動を，カメラで撮影した動画データと売上データを用いて評価しました．（なお，実験中はカメラ撮影を行っていることをお客様に周知しています．）

その結果，飛び出し機構を持つ Popping-Up Poster は，他の広告メディアと比較して顧客の注目を集めやすく，推薦商品を選ぶ機会を増やす効果があることが確認されました．図6に，広告メディア別のお客様の行動に関する実験結果をまとめています．ここでは，お客様の行動を 「気付きフェーズ → 関心フェーズ → 購入フェーズ」 の3段階に分類し，それぞれ 視認率・指差し率・推薦商品の売上率 を指標として評価しました．

気付きフェーズ・関心フェーズ においては，提案手法である Popping-Up Poster が他の広告メディアと比べて統計的に有意な差を示し，お客様の注目を集めやすいことが明らかになりました．一方で，購入フェーズ では，Popping-Up Poster と他の広告メディアとの間に有意差は見られませんでした．しかし，広告メディアを設置しない「No Media」の条件を追加した場合，Popping-Up Poster のみが No Media と有意な差を示しました．つまり，従来の広告メディアよりも Popping-Up Poster を設置した方が，お客様が推薦商品を選択する可能性が示唆されました．

図6: 実験におけるお客様の行動の実験結果

また，Popping-Up Poster で推薦された商品は，お客様の記憶にも残りやすい可能性 が示唆されました．図7は，カフェを利用していたランダムなお客様に協力いただいたアンケートの結果を示しています．このアンケートにおいてPopping-Up Posterの条件では，協力者全員が広告メディアの存在を認識し，さらに 8割の方が推薦されていた商品を記憶していることが分かりました．この結果は，一部の他の広告メディアの条件と比較しても，統計的に有意な差が確認されました．

図7: 実験におけるお客様へのアンケートの実験結果

この結果から，Popping-Up Poster は他の広告メディアと比べて推薦効果が高い可能性があることが示されました．ただし，この効果は 実験環境や推薦商品の種類によって変動する可能性があるほか，提案手法自体の新規性による影響も考えられます．そのため，より汎用的な効果を検証するには，さまざまな環境や商品を対象とし，長期間の実験を行うことが必要です．

まとめ

本研究では，従来のポスターに飛び出し機構を組み込んだ新たな広告メディア “Popping-Up Poster” を提案し，実験を通じて商品推薦効果の可能性を明らかにしました．形状変化による販促効果にはさらに発展の余地があり，今後も継続して検証を進めていきたいと考えています．

また，リサーチインターンシップの経験を振り返ると，自分の専門性を活かしながら研究を進められた点が良かったです．私の専門分野はHCIの中でも形状変化型メディアですが，インターン開始時点では広告研究への知識が浅い状態でした．しかし，メンターと議論を重ねる中で，自身の専門分野とサイバーエージェントが得意とする広告研究との接点を見出すことができ，新しい分野の経験を積むと同時に，自分の専門性に対する自信も深めることができました．

もし AI Lab のリサーチインターンシップに興味があれば，毎年募集が行われており，カジュアル面談も可能なので，ぜひ応募してみてください．

おまけ: ACM ISSのProceedingsについて

この研究で発表を行った国際会議ACM ISSは通常の国際会議とは少し異なる性質があり，今回おまけとして追記します．

ACM ISSの国際会議は他の国際会議とは異なり，採択された論文はProceedingsとしてパブリッシュされるのですが，このProceedingsはJournalとして扱われます．

これは，ACMから発行されるProceedings of the ACM (PACM)から由来しています．PACMとは，2017年から発行されているJournalシリーズです．情報系ならご存知の通り，研究成果がJournalよりもProceedingsの方が影響が強くなりがちですが，Journalの方が影響が強い他の研究分野に対しても研究成果のプレゼンスを強めるために，PACMが作られたようです．

Introducing Proceedings of the ACM: https://www.acm.org/publications/pacm/introducing-pacm

ACM ISSで採択された論文は，PACMの中でもHCIの領域にフォーカスを当てた，Proceedings of the ACM Human-Computer Interaction (PACMHCI)のISS特集号として掲載されます．他にもCSCWやCHI PLAYもこのPACMHCIに含まれています．

このPACMがJournalであるという根拠としてACMは，原稿の査読にJournalモデルを利用している点をあげており,ACM ISSは2月と7月の1年に2回論文募集を行っています．私の場合，図8のようなスケジュールで進んでいました．

図8: 論文投稿スケジュール

Proceedings形式ではありますが，Major Revisionを含むこのスケジュール感は確かにJournalに近い特徴を有しています．また参考までに，ACM ISS 2024の採択率もご紹介します．

• Overall
  • 120 Submissions
  • 29 Papers (24.2%) were accepted
• 1st Round (Feb.)
  • 51 Submissions
  • 11 Papers (21.6%) were accepted after a minor revision
  • 18 Papers (35.3%) got a major revision for 2nd Round
• 2nd Round (Jul.)
  • 69 Submissions
  • 18 Papers (26.1%) were accepted after a minor revision
  • 29 Papers (42%) got a major revision for the next ISS’25

以上，このACM ISSの情報が，今後投稿を検討される方々のお役に立てば幸いです．

Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding [Code]
Ukyo Honda, Tatsushi Oka, Peinan Zhang, Masato Mita

はじめに

自然言語理解タスクの主要なデータセットでは、アノテータの偏好や経験則、あるいは自然言語の構成的な特性などの影響により、ラベルと相関する単純な特徴量が存在していることが知られています。図1で例を見てみましょう。

図1：ショートカットの例。

図1では含意関係認識を例にとっています。含意関係認識は、前提文Pに対して仮説文Hの内容が含意（entailment）、矛盾、無関係（図1ではまとめてnon-entailmentと表記）のどの関係（ラベル）であるかを判別するタスクです。図1上部は、学習データにおいてPとHの単語の一致率（a1, a2）やHの文長（a3, a4）がラベルと相関している様子を表しています。これらの特徴量は、学習データとそれと同一の分布から得られたデータにおいてはラベルに対する予測力を持つことになります。しかし、当然これらはラベルを決定する本質的な情報ではありません。図1下部のように、学習データと異なる分布から得られたデータにおいては、これらの特徴量とラベルとが同様には対応しない事例が容易に見つけられます。

このような単純な特徴量はショートカットと呼ばれ、機械学習における問題のひとつとなっています [1, 2]。これが問題であるのは、上で見たようにショートカットとラベルとの相関は簡単に変動してしまい、モデルがこれに依存すると予測の頑健性が損なわれるためです。加えて、単純であるがゆえにモデルにとって捉えやすく、学習・予測時に依存しやすいということが問題を深刻にしています。また、ショートカットは意図的にデータに混入されたものではないため、何がショートカットになっているのかわからないという問題もあります。

そこで、ショートカットへの依存を抑制して頑健な予測を行おうという研究がなされてきました [3, 4]。

提案手法

本研究では、この分布外データにおける予測の問題を、不確実性下の意思決定の問題と考えます。ショートカットを含む自然言語理解データでは、ラベル予測に本質的な特徴量に加えていくつかの特徴量がラベルと相関しています。ただし、それらの詳細は通常わかりません。今回対象とする分布外データで問題となるのは、いずれかの特徴量についてラベルとの相関が変動するがどの特徴量について変動するのかはわからない、ということです。そこで、どの特徴量に依拠して予測すればいいのかわからない不確実性のもとで最適な意思決定を行おうということを考えます。この目的のために提案する手法は、学習時と推論時の2つのパートから成っています。

図2：提案手法概要。

学習時は、複数の特徴量がラベルと相関するというデータ構造をモデル化するため、mixture-of-experts (MoE) モデル、特にmixture-of-softmax (MoS) モデル [5] を用います 。それぞれ異なるパラメータを持つexpert (\(E^k\)) が入力事例\(x\)のラベルを予測し、router (\(\pi\)) が事例ごとにどのexpertの予測を用いるかの重みを決めます。また、各expertがそれぞれ異なる特徴量に基づいて予測するよう促進するため、自己注意機構 [6] にヒントを得たペナルティ項を提案しました。ここでは詳細は省きますが、異なる事例は異なる特徴を持つと仮定し、事例ごとに異なるexpertに割当てられるよう促進します（図3）。

図3：理想的な事例割当ての例。

推論時は、どのexpertの予測を用いるべきかわからないという想定のもとで、最適な意思決定を行います。決定理論に基づいた2つの手法を提案しており、いずれもexpertの割当てを決定する\(\pi\)を、ルールベースの重み\(\pi^*\)に置き換えてexpertの予測の統合します（図2右）。1つ目のuniform weightingでは、どのexpertに依拠すべきかわからないが、どのexpertも同等によく予測できると仮定して、expertの予測の平均をとります。2つ目のargmin weightingでは、より悲観的な状況を考えます。各選択肢について不正解となるリスクが最も高い状況を想定し、そのような最悪の場合でも最も良い結果が得られる選択肢を選びます（図4）。直感的には、各ラベルで最も慎重なexpertの意見を聞いて判断するような選択となります。

図4：Argmin weightingの例。

提案手法の詳細や既存手法との違いについてはぜひ論文をご覧ください。

実験

実験では、含意関係認識（MNLI）、言い換え同定（QQP）、事実性検証（FEVER）の3つの自然言語理解タスクにおいて、提案手法を適用することで分布外データ（OOD）において頑健な予測が可能になることを示しました（表1）。実験設定や比較手法の詳細は論文をご覧ください。また、論文では推論時操作の適応的な使い分けの可能性や、expertが捉えた特徴量の解釈性、要素技術ごとの影響などについても実験・議論しています。

表1：主な実験結果。

おわりに

本研究では、MoEモデルと決定理論を用いることで頑健な予測を可能にする手法を提案しました。このような決定理論を用いた予測の後処理には、今後さらなる発展の可能性があると考えています。今回の研究は、NLPチームと、研究開始当時にAI Lab経済学チーム所属であった岡達志教授（慶應大）との研究議論から始まったものです。NLPチームでは、今回の研究や強化学習チームとの共同研究などのように、異なる専門領域との共同研究を進めてきました。今後も連携を深めつつ、広告文生成や関連する基礎研究について幅広く取り組んでいきます。毎年、博士課程の学生を対象にリサーチインターンシップを募集していますので、興味を持たれた方はぜひお声がけください。

参考文献

[1] Causally Motivated Shortcut Removal Using Auxiliary Labels (Makar et al., AISTATS 2022)
[2] Causal Inference in Natural Language Processing: Estimation, Prediction, Interpretation and Beyond (Feder et al., TACL 2022)
[3] Don’t Take the Easy Way Out: Ensemble Based Methods for Avoiding Known Dataset Biases (Clark et al., EMNLP-IJCNLP 2019)
[4] Unlearn Dataset Bias in Natural Language Inference by Fitting the Residual (He et al., 2019)
[5] Breaking the Softmax Bottleneck: A High-Rank RNN Language Model (Yang et al., ICLR 2018)
[6] A Structured Self-attentive Sentence Embedding (Lin et al., ICLR 2017)

Striking Gold in Advertising: Standardization and Exploration of Ad Text Generation [paper][data]
Masato Mita, Soichiro Murakami, Akihiko Kato, Peinan Zhang

はじめに

我々NLPチームでは、「広告テキストの自動生成」や「広告表現の理解」の基礎研究に取り組むとともに、人工知能（AI）で効果の出せる広告テキストを予測・自動生成する自社プロダクト「極予測TD」への技術・知見導入を通じた社会実装に取り組んでいます。広告テキストの自動生成（以下、広告文生成）に関する研究は、インターネット広告の著しい市場規模拡大に伴い、ますます活発化している一方で、分野全体として重大な課題に直面しています。それは、分野全体で享受できるベンチマークデータが欠如しているため、各研究者が自社（非公開）データを用いて個々の検証に留まっていることです。さらには、ベンチマークがないゆえに、モデルの入出力などが研究間で共有されていません。このような状況下では、当然研究を超えた手法間の精緻で公平な評価は難しく、また研究への参入障壁が高いことも相まって、分野全体として広告文生成のための技術や知見の正しい積み上げが困難といえます。そこで本研究では，広告文生成を応用横断的なタスクとして既定し、初のベンチマークデータセット「CAMERA」を構築することで分野全体が抱えるこれらの課題の解決を図りました。

広告文生成タスクの既定

広告文生成がタスクとして十分に既定されていなかった要因の一つとして、広告のバリエーションの多さがあると考えています。例えば、インターネット広告と一口に言っても、ユーザの検索クエリに関連した広告文を検索結果に表示する「検索連動型広告」や，Webサイトやアプリの広告枠にテキスト形式やバナー形式で表示される「ディスプレイ広告」など多種多様です。それゆえ、既存研究ではそれぞれの関心のある広告媒体、あるいは広告配信プラットフォーム（Google, Bingなど）に準拠した問題設定にて独立的に取り組んでいた、という経緯がありました。ここで、広告文生成とは結局のところ何か、といった広告文生成の本質的な課題について考えてみたいと思います。広告について辞書などを引いてみると、おおよそ広告の目的は、ある商材（取引の対象となる物品やサービス）があったとき、広告の受け手である消費者（ユーザ）の態度や行動に影響を与えること、のようなことが書いてあります。したがって、広告文生成の目的は、ユーザの購買行動を促す文を生成することになります。このように考えると、広告の媒体や形式は様々ありますが、広告文生成のコアな課題は、「ユーザの潜在的なニーズや関心を捉えたうえでいかにユーザの行動や態度に影響を与えるような訴求性のあるテキストを生成するか」であることがわかります。このような経緯から、本研究では、広告文生成タスクを下図にあるように、応用横断的なタスクとして規定することにしました。この標準化の利点は、産業応用においては広範囲な応用先を想定して柔軟性を維持しつつ、学術研究においては広告文生成のコアな課題に焦点を当てた探究が可能となることです。

CAMERA: 広告文生成ベンチマーク

本研究では、広告文生成のための初のベンチマーク「CAMERA（CyberAgent Multimodal Evaluation for Ad Text GeneRAtion）」を構築しました。本ベンチマークは、日本語の検索連動型広告に基づく包括的なデータセットとなっており、広告文生成タスクの特性を考慮して次の3つの特徴を有するよう設計しました:

1. マルチモーダル情報の活用が可能
2. 業種毎の評価が可能
3. マルチリファレンス評価が可能

特徴（1）については、検索連動型広告を含め多くの広告形態では商材の特徴や訴求ポイントをユーザにより直感的に伝えるために、テキストだけでなくLPなどの視覚情報を併せて用いており、これらのマルチモーダル情報を活用することがクリックを促す重要な役割を果たすと知られているからです。また、特徴（2）については、効果的な訴求戦略は商材や業種毎に異なることが知られているからです [1]。例えば、EC 系の広告では品揃えや値段に関する訴求が響きそうですが、車のような高い商品は品質などの項目も重要視されます。最後に、特徴（3）ですが、CAMERA構築に用いた元データにはすでに運用実績のある広告文（リファレンス）が１つ付与されていますが、同一商材に対する妥当な広告文は本質的に多岐にわたると考えられるため、本ベンチマークには、広告アノテーションの専門家により新たに追加で作成した3つのリファレンスと合わせて合計4つのリファレンスを含めています。

広告文生成の現状と今後の課題

広告文生成の現在の到達点と今後の課題を明らかにするために、古典的なモデルから、マルチモーダルモデルや大規模言語モデル（LLM）を含む、9つの多様な広告文生成モデルを用いた包括的なベンチマーク実験を行った結果、BARTやT5のようなfinetunedモデルは自動評価スコアの最大化や忠実性・流暢性の観点では重要な役割を担う一方で、広告誘引性（人間にとっていかに魅力的な広告を生成するか）の観点ではGPT-4を始めとした強力なLLMを用いた広告文生成モデルのポテンシャルの高さを観察しました。

おわりに

本研究では、広告文生成を学術研究としてより発展させることを目的にそのための研究基盤（タスクの既定、ベンチマーク構築、学術的意義の訴求、ベンチマーク実験など）を整備しました。弊社では、今回の研究に続き、広告文生成関連で多数の研究成果 [2-4]を発表しているほか、広告に限らず幅広い応用を見据えた基盤研究 [5-7] も行っています。毎年、博士課程の学生を対象にリサーチインターンシップを募集していますので、興味を持たれた方はぜひお声がけください。

参考文献

• [1]  Aspect-based Analysis of Advertising Appeals for Search Engine Advertising (Murakami et al., NAACL-HLT 2022 Industry Track)
• [2] An Empirical Study of Generating Texts for Search Engine Advertising (Kamigaito et al., NAACL-HLT 20221 Industry Track)
• [3] CAMERA³: An Evaluation Dataset for Controllable Ad Text Generation in Japanese (Inoue et al., LREC-COLING 2024)
• [4] FaithCAMERA: Construction of a Faithful Dataset for Ad Text Generation (Kato et al., arXiv 2024).
• [5] Cross-lingual Transfer or Machine Translation? On Data Augmentation for Monolingual Semantic Textual Similarity (Hoshino et al., LREC-COLING 2024)
• [6] A Single Linear Layer Yields Task-Adapted Low-Rank Matrices (Kim et al., LREC-COLING 2024)
• [7] Not Eliminate but Aggregate: Post-Hoc Control over Mixture-of-Experts to Address Shortcut Shifts in Natural Language Understanding (Honda et al., TACL 2024)