論文名：Practical Insights into Designing Context-Aware Robot Voice Parameters in the Wild

著者：Amy Koike, Yuki Okafuji, Sichao Song

はじめに

公共空間で働く対話ロボットにとって、声はインタフェースそのものです。聞き取りやすさや理解しやすさはもちろん、好ましさや話しかけやすさにも直結します。一方で、声の設計に関する知見はラボ実験に偏りがちで、実環境のノイズや人の流れ、多人数・立ち話といった現場のややこしさが入ると、同じ設定でも受け取られ方が大きく変わります。本研究は、ショッピングモールでの自然発生的な対話を対象に、音声パラメータ（音量・話速）がどのように知覚され、どのような文脈でちょうどよさが変わるのかを、①6名へのインタビューと、②8日間・725件のアンケート調査の大規模フィールド実験（3×3デザイン）で検証し、コンテキストに応じた声設計の実務的示唆をまとめたものです。

研究背景

たとえば、同じモールでも週末は騒がしく、平日は比較的静かです。周囲に人がいるか、ひとりで使っているか、グループで使っているかによっても、「大きい／小さい」「速い／遅い」の感じ方は変わります。論文には象徴的な場面が示されています。例えば、ロボットが同じパラメータで話していても、ひとりで使うユーザは「大きすぎる」とジェスチャーをする一方で、グループのユーザは「小さすぎて聞こえない」と身を乗り出します。つまり、音声設計は単なるデフォルト値ではなく、環境・社会的状況・関与の深さに応じて変えるべき制御対象だ、というのが本研究の問題意識です。

研究方法

本研究は2段階の自然実験で構成されます：
（1）事前インタビュー：ショッピングモールに設置した案内ロボットと実際に対話してもらい、6名の参加者に半構造化インタビューを実施しました。ここで「時間帯と環境ノイズ」「周囲の人の存在」「ひとり／同伴」「会話への関与の深さ」といった文脈要因が、声の好みを変えることが整理されます。
（2）フィールド実験：続く8日間のモール運用で、音量（V1–V3）×話速（S1–S3）の3×3デザインを被験者間で割り当て、対話後アンケートで「音量がどれくらいに聞こえたか（Q_V）」「話速がどれくらいに聞こえたか（Q_S）」を7件法で取得しました。最終的に725件の有効回答を分析しています。

実験設定

音量は、現場の環境ノイズ（ロボット以外で65–70dB程度）を踏まえて、S/N比で3水準を設計しました。V1はおよそ70–73dB、V2は79–80dB、V3は83–85dBです。話速はGoogle TTSの倍率として、S1=0.8（約120WPM）、S2=1.2（約150WPM：基準）、S3=1.6（約230WPM）を採用しました。

また、動画アノテーションにより年齢（若年層／中年層／高齢層）、平日/週末、周囲の人の有無、1人かグループか、会話が続いたか、動機（機能目的/実験/興味本位/教育目的）を付与し、音量・話速の知覚がどの文脈で変わるかを分析しています。

結果

本研究からまず分かったのは、ロボットの音声パラメータ（音量・話速）には「これが絶対に正しい」という固定の最適値があるわけではなく、置かれている状況によってちょうどよさが変わるということです。公共空間では周囲の騒がしさ、人の流れ、利用者が一人かグループかといった条件が常に変動します。そうした環境では、同じ設定でも「うるさい／小さい」「速い／遅い」の受け取られ方が変わり得ます。

音量については、基本的には環境ノイズに合わせた調整が重要ですが、それだけでは足りません。年齢によって聞こえ方・感じ方が変わることが示唆され、同じ音量でも受け止められ方が一様ではないことが分かりました。つまり、音量は「周囲がうるさいから上げる／静かだから下げる」だけで完結しない設計対象だと言えます。

話速については、特に周囲に人がいるかどうかや、会話がどれくらい深まっているかによって、ユーザがテンポに敏感になる場面があることが示されました。さらに、利用者が「何のために話しかけているか」（目的・動機）によっても、適切に感じる話速のレンジが変わる可能性があります。つまり話速は、単に“聞き取りやすい速度”を選ぶというより、場の空気や対話の進み方に合わせて設計する必要がある、というのが重要な結論です

考察

本研究が示す実務的なポイントは、音量と話速で「適応させるべき文脈」が少し違うことです。音量はまず環境ノイズに合わせるのが基本ですが、そこに年齢差が加わります。高齢者に配慮して大きくすれば聞き取りやすさは改善し得る一方で、周囲の人への外部性（うるささ、会話内容が周囲に漏れること）や、利用者本人の“目立ってしまう”気恥ずかしさを増やす可能性もあります。音量の単純な増幅は、効果と副作用が同時に出やすい「諸刃の剣」になり得る点が重要です。

一方、話速は周囲の人の存在や、対話の深まり方によって「敏感さ」が変わりやすいパラメータです。周囲に人がいると、利用者は無意識に「早く終わらせたい／待たせたくない」という社会的な圧力を感じやすくなり、テンポや“間”に対してシビアになります。逆に会話が深まるほど、ターンテイキングのリズムとしての話速が効いてきます。つまり話速は、環境ノイズというより社会的状況と対話フェーズに合わせて設計するのが合理的です。

これらを踏まえると、公共空間の音声設計は「一つの万能設定」を探すのではなく、(1) 環境ノイズ＋年齢を見て音量を調整し、(2) 周囲の人・会話の深さ・利用目的に応じて話速や間を調整するという二段構えの適応戦略が現実的だと考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment

著者：Sichao Song, Yuki Okafuji, Takuya Iwamoto, Jun Baba, Hiroshi Ishiguro

はじめに

小売領域では、サービスロボットの導入によって「通行人の注目を集める」「立ち止まりを増やす」効果が報告されてきました。一方で現場で本当に問われるのは、その注目が意味のある顧客体験や購買につながるプロセスに転換されるかどうかです。本研究は、数値（Metrics）として観測できるファネル指標と、現場スタッフの解釈・実務上の判断（Meaning）をつなぎ、ロボット導入の効果がなぜそのように現れるのかを、混合研究（Mixed-Methods）で解き明かします。

研究背景

小売店舗でロボットが担いやすい役割は、入口での声かけや存在感によるアテンション獲得です。実際、先行研究でも、立ち止まりや滞在時間の増加は比較的一貫して示されています。しかし、立ち止まりが増えても、店員による接客、入店、試用、そして購入といった下流工程が同じように伸びるとは限りません。さらに実店舗では、ロボットと顧客の二者関係だけでなく、店員がいつ・どのように介入するかという三者協調が結果を左右します。このため、KPIを追うだけでは見落とされる「現場で何が起きていたのか」を同時に捉える必要があります。

研究目的

本研究では、次の2つの研究目的を設定しています：

• RO1：実店舗におけるロボット導入（および入口演出としての什器の併用）が、顧客行動ファネルとサービス成果に与える影響を定量的に検証する。
• RO2：観測された定量パターンを、店舗スタッフの解釈を通じて説明し、実務導入に向けた論点と示唆を抽出する。

研究方法

寝具専門店にて実験を実施しました。高関与・高価格帯の商品を扱うため、来店者はなんとなく見るだけでなく、試用や説明を通じた意思決定が重要になります。実験は12日間で、次の3条件を4日ずつ実施しました。
（1）通常条件：ロボットなし（通常営業）
（2）ロボットだけの条件：入口に対話ロボットを設置
（3）ロボット＋什器の条件：ロボットを専用什器と組み合わせて入口演出を強化

データは2台のカメラで撮影し、通行人→立ち止まり→ロボットによる初期対応→店員への接客引き継ぎ→入店→接客→購入、というサービスファネルを動画アノテーションで定量化しました。加えて、実験直後に店舗スタッフ6名（店長1名＋店員5名）への半構造化インタビューを行い、数値の背景にある判断・規範・フリクションを抽出しました。

結果

定量結果

もっとも象徴的な結果は、「入口で立ち止まる人は増えるのに、店員さんが主導するその先の流れは減ってしまう」というねじれです。店の前を通った人数は、通常条件が 20,180人、ロボットだけの条件が 21,938人、ロボット＋什器の条件が 20,035人でした。通行人のうち「立ち止まった割合」は、0.73% （通常条件）→ 1.50%（ロボットだけ条件） → 2.48% （ロボット+什器条件）と段階的に増えており、条件による差は統計的にもはっきりしていました。

一方で、「立ち止まった人の中でその後どうなったか」を見ると、店員さんが関わる指標は全体として下がっています。

• 店員さんが声をかけた割合： 19.7% （通常条件）→ 13.4%（ロボットだけ条件） → 4.8%（ロボット+什器条件）
• 入店した割合は：32.0% （通常条件）→ 20.1% （ロボットだけ条件）→ 9.5%（ロボット+什器条件）
• 店内で接客を受けた割合： 18.4%（通常条件） → 6.1% （ロボットだけ条件）→ 4.0%（ロボット+什器条件）
• 立ち止まった人のうち購入した割合： 11.6% （通常条件）→ 5.5%（ロボットだけ条件） → 2.6% （ロボット+什器条件）

で、いずれも条件による差は有意でした。

なお、購入を「通行人全体あたり」に換算すると 0.08% （通常条件）→ 0.08%（ロボットだけ条件） → 0.07%（ロボット+什器条件） で、有意な差はありませんでした。つまり、入口で注目を集めても、それがそのまま売上の量（買う人の増加）につながるとは限らないことが示されました。

定性結果

インタビュー分析は、上記のねじれを説明する複数のメカニズムを提示します。

第一に、入口のロボットは強い視覚的アンカーとなり、特に子どもを中心に注意を引きました。その結果、家族連れが立ち止まる割合が増えますが、寝具の購入意思決定者である大人の購買意図と必ずしも一致しません。「子どもが会話して満足し、そのまま去る」という入口でニーズが閉じるパターンが報告されています。

第二に、店員側の「非侵入」規範が介入を遅らせます。ロボットが話している最中に割り込むことを避け、適切な間（会話の切れ目）を探す必要がある一方、応答生成の待ち時間や聞き返しなどの間が曖昧で、店員がタイミングを掴みにくいという指摘がありました。

第三に、什器は視認性を高め、試用（サンプルに触るなど）を促す一方で、入口に「小さなブース＝マイクロスペース」を形成し、そこで会話や試用が完結しやすくなる可能性があります。入口演出の強化は引き留める力を上げるが、店内へ誘導する力を同時に弱めることがあり得る、という含意です。

考察

本研究は、店にロボットを入れたときの効果を、ひとつの数字だけで見るのではなく、「流れ」として見ていく考え方を示しています。入口で人の目を引いて立ち止まってもらうだけでは足りません。ロボットが話しかけたあと、店員さんが評価や提案に引き継ぐ（Handoff）がうまく起きてはじめて、入店・接客・購入といった店内の行動が動き出します。

今回の運用では、店員さんの判断ややり方を尊重するために、「こういう手順で引き継ぐ」といった決まった型（台本）をあえて作りませんでした。現場の自然さは保てる一方で、引き継ぎの合図がはっきりしなくなり、店員さんが入るタイミングが遅れる → その先の行動が弱くなる、という可能性が考えられます。

本論文では、現場で導入していく上でのポイントを次のように整理しています。

（1）役割と入るきっかけをはっきりさせる

ロボットは入口での案内・呼び込み、店員さんは評価・提案・最後の後押し、という役割分担を言葉で明確にします。そのうえで、どんなときに引き継ぐか（会話が途切れたとき、サンプルに触れている時間が一定を超えたとき、など）を、重くならない範囲で決めておきます。

（2）引き継ぎを見て分かる形にする

ロボットのひと言（例：「スタッフがご案内します」）や、ライト・画面表示など、強すぎない合図で店員さんが入りやすくします。あわせて、店員さんが状況をつかみやすい配置（視線が届く、会話が聞こえる距離）も大事です。

（3）入口の見せ方は「見つけやすさ」と「店内への進みやすさ」を両立する

什器で目立つほど、入口の周りだけで完結してしまうリスクもあります。サンプルを少し店内側に置く、境目を作りすぎない、見通しを確保する、といった工夫で、「自然に中へ進める流れ」を設計します。

（4）見るべき指標を広げる

立ち止まりだけでなく、引き継ぎがうまく起きた割合（店員さんの介入が発生した割合）や、店内で評価・提案が始まった割合など、流れの途中の指標も、KPIとして持つことが重要です。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：What You Reward Is What You Learn: Comparing Rewards for Online Speech Policy Optimization in Public HRI

著者：Sichao Song, Yuki Okafuji, Kaito Ariu, Amy Koike

はじめに

対話ロボットを公共空間に設置すると、ロボットとインタラクションを行う利用者の年齢等の属性や、 対話目的は多種多様となります。こうした多様な環境に対して、オンライン学習（多腕バンディットなど）でロボットの振る舞いを現場適応させる試みは増えています。一方で現場導入で必ずぶつかるのが、「何を成功（reward）とみなして学習させるか」という設計です。満足度を上げたいのか、会話をきれいに終えたいのか、会話を続けてエンゲージメントを取りたいのか。どれも良さそうですが、実は報酬の置き方が変わると、学習される最適な話し方も変わってしまいます。本研究はこの点を、12日間・1,400件超の実地運用で比較検証しました。

研究背景

Thompson Sampling（TS）をはじめとする多腕バンディット(Multi-Armed Bandit; MAB)は、探索と活用のバランスを取りながら限られた試行で累積報酬を最大化でき、公共空間のように属性が多様な環境と相性が良いとされています。ただしMABは、最終的に「観測できる報酬」しか最適化できません。主観評価（ユーザアンケート）のように分かりやすい指標もあれば、会話の終わり方や継続といった行動指標もあります。それぞれが指す良い対話は異なるため、報酬の選び方がそのままロボットの人格・運用方針を規定します。本研究は、同一環境・同一行動空間・同一学習アルゴリズムのまま、報酬定義だけを切り替えて比較しました。

研究方法

本研究では、対話ロボットの話し方を2軸で離散化し、計6つのアーム（行動）から選ぶ問題として定式化します。
・話速：Slow（遅い） / Normal（普通） / Fast（速い）
・冗長さ：Concise（簡潔）/ Detailed（詳細）
6アームは SC（Slow-Concise）、SD（Slow-Detailed）、NC（Normal-Concise）、ND（Normal-Detailed）、FC（Fast-Concise）、FD（Fast-Detailed）です。

学習アルゴリズムはベルヌーイ報酬×Beta事前分布のThompson Samplingを採用し、各対話の終了後に報酬を受け取って事後分布を更新します。初期偏りを避けるため、各条件で30件のコールドスタート（各アーム5回ずつ）を行った上で、450件の学習フェーズへ移行しました。

実験

実験は商業施設にサービスロボットを設置し、12日間運用して実施しました。総インタラクションは1,400件超です。

比較した報酬条件は、運用上の目的が異なる3種類の二値報酬です。
（1）Ru（利用者評価）：対話後アンケート（7段階）で6以上を成功
（2）Rc（会話の締め）：ありがとう／さようなら等の明示的なクロージングに到達したら成功
（3）Rt（≥2ターン）：2ターン以上（ロボット1→ユーザー1→ロボット2→ユーザー2）が成立したら成功
Ruは満足度、Rcは効率的な完結、Rtは対話継続意欲をそれぞれ反映しています。

各報酬条件では、ユーザがインタラクションを行うごとにリアルタイムに報酬を与えました。Ru条件の場合は、インタラクションごとに利用者にアンケートを取って、アンケート評価を収集しました。RcとRt条件の場合では、裏にいる観測者が対話内容を観測しており、インタラクションが終わるタイミングで報酬評価を行いました。報酬のための評価が得られたタイミングで学習が回るようなシステムを組むことで、インタラクションごとに学習を回していく設計としました。

結果

結論から言うと、同じアーム集合でも、報酬定義が違うだけでTSが好むアームは明確に変わりました。満足度（Ru）では、選択率が最も高かったのはND（50.0%）で、成功率が最も高かったのはNC（63.3%）でした。学習の前半ではNDが強く選ばれ、後半でNCが伸びていくという学習途中での逆転も観察されています。会話完結（Rc）では、NCが選択率30.8%、成功率39.2%と最も良く、SC/ND/FCも近い水準で推移しました。一方でSDとFDは全期間で成功率0%となり、完結指標とは相性が悪いことが示唆されます。会話継続（Rt）では、選択率が最も高かったのはSC（42.4%）、成功率が最も高かったのはFD（59.8%）でした。ゆっくり簡潔と速く詳細という、異なるスタイルがそれぞれ継続に寄与する可能性が示されました。

考察

本研究では、全インタラクションを動画記録し、混雑、単独/グループ、案内要求、動機をアノテーションした上で、GLM（一般化線形モデル）でアーム×文脈の相互作用を分析しています。たとえばRuでは、単独ユーザはグループより高評価を得にくい一方で、単独場面ではNDが相対的に有利になる傾向が示されました。また教育目的の来訪者ではNC/ND/FDが高評価になりやすいなど、目的によって良い話し方が変わる可能性が示唆されています。Rtでは、混雑時にNDやFCが不利になるなど、同じ継続指標でも周辺状況で成否が変わる兆候が見られます。

本研究のメッセージは明快です。オンライン学習において「何を報酬とするか」は、最終的にロボットがどんな会話を学ぶかを決めます。満足度を取りたいならRuに寄せた設計が必要ですし、回転率や案内効率を重視するならRcが合います。会話を続けたいならRtが使えますが、その結果として生まれる話し方は、満足度最適化とは一致しないかもしれません。また、文脈によって最適アームが変わる以上、将来的には文脈付きバンディットのように「状況を見て話し方を切り替える」枠組みへ進むのが自然です。実運用におけるセンサー設計・ログ設計・公平性や社会的許容性なども含め、報酬と文脈を一体で設計することが重要になります。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

Title：Robust Multimodal Emotion Recognition from Incomplete Modalities via Query-Based Unimodal and Cross-Modal Learning

Authors：Ryo Miyoshi, Mayu Otani, Yuki Okafuji

はじめに

HRI（Human-Robot Interaction）では、ロボットが人と同じ空間で関わるため、相手の感情やストレス状態を把握し、声かけや動作の強度・タイミングを調整することが重要です。ユーザの感情を適切に捉えられないと、不適切な応答や過度な介入につながり、ユーザ体験や信頼に影響し得ます。こうした背景から、複数の手がかりを統合して人の状態を推定できる感情認識、とりわけマルチモーダルなアプローチが注目されています。一方で、ロボットを実際にフィールドに持っていくと、必ずしも理想的な条件でセンシングできるとは限りません。人の動きや遮蔽で映像が欠けたり、環境雑音で音声が取りづらかったり、通信やデバイス都合で一部の信号が落ちたりと、結果としてデータ欠損が生じやすくなります。そのため、欠損を前提にしても安定して動く感情認識が求められます。マルチモーダル感情認識（MER）は、テキスト・音声・映像といった複数モダリティを組み合わせて人の感情状態を推定するタスクです。単一モダリティよりも多面的な手がかりを活用できる一方で、現実には次のような理由で入力が欠損することが少なくありません。

• センサー故障や通信エラーで 音声が途切れる／映像が欠ける

• プライバシー要件で 特定モダリティが利用できない

• 収録環境の制約で 品質が悪い（実質的な欠損）

しかし、多くの既存研究は学習時も推論時も全てのモダリティが揃うことを仮定しており、欠損が起きると性能が大きく落ちやすい、という課題があります。そのような課題に対して、ロバスト性を向上させる手法も提案されていますが、学習時には欠損のないデータを必要としています。一方で、実世界で収集されるデータに欠損を含めないことは困難であるため、そのようなデータでもロバストに動作する必要があります。

既存手法の課題

欠損に頑健にするために、従来は主に次の方向性が採られてきました。

1. Reconstruction：観測できたモダリティから欠損モダリティを生成・補完し、完全入力に近づける方法。ただし、感情推定に不要な情報まで生成してしまったり、復元タスクがボトルネックになる可能性があります。

2. Knowledge Distillation：完全モダリティで学習した Teacher を用意し、不完全入力の Student を Teacher に近づける方法。ただし、Teacher 学習のために完全データが必要になりやすく、現場では用意できないケースがあります。

本研究では、「完全モダリティに依存せず、不完全入力だけで頑健な表現学習ができる」ことを狙った手法を提案します。

提案手法

本研究では、欠損（不完全）なモダリティ入力だけで学習できる頑健なMERフレームワーク Dual-Query Fusion（DQF）を提案します。DQFは復元（reconstruction）や蒸留（distillation）に頼らず、学習可能なクエリを用いて「特徴抽出」と「モダリティ融合」を安定化します。

(1) 事前学習エンコーダで特徴抽出：テキスト/音声/映像の埋め込みを取得（エンコーダは固定）。

(2) Q-UA（単一モダリティの頑健化）：各モダリティに対してクエリを自己注意で更新し、入力特徴に注入してTransformerで表現を抽出。欠損やノイズがあっても重要な手がかりを拾いやすくします。

(3) Q-CA（モダリティ融合の安定化）：モダリティ対（ta/tv/av）ごとに共有クエリを介した注意で融合し、強いモダリティへの過度な依存を抑えながら補完情報を統合します。

(4) 多粒度の学習：単一・2モダリティ・3モダリティの各粒度で予測損失を入れ、欠損パターンが変わっても性能が崩れにくいように学習します。

実験

実験条件

本実験では、CMU-MOSEIというセンチメントに関するデータセット、MELDという7感情の分類タスクに関するデータセットの2つの公開データセットを用いて評価しました。これらのデータセットには欠損が含まれていないため、各モダリティの系列に対してランダムにマスクし、欠損フレームをゼロベクトルに置換します。欠損率は 0〜1 の範囲で変化させ、幅広い欠損状況を評価します。また、実験では欠損のない入力に対する評価、欠損のある入力に対する評価を実施しました。

実験結果

欠損のない入力および欠損のある入力のいずれの評価において、提案手法は比較手法を上回る性能を達成しました。特に欠損なし条件では、DQFは欠損入力のみで学習しているにもかかわらず、完全モダリティを前提に学習する代表的手法（MulT / MISA / DMD など）を含む complete-modality系ベースラインを上回る結果となりました（表1）。

また欠損あり条件でも、復元系・蒸留系といった従来のロバスト手法を一貫して上回り、特に3モダリティ全てに欠損が入る最難条件でも改善が確認されています（表2・表3）。

おわりに

論文中でも述べている通り、現時点の評価は主にシミュレーション欠損と2つのベンチマークに基づいています。今後は、実運用に近い欠損データでの検証や感情認識以外のより広いアフェクティブ（affective）タスクへの展開などを進めていきたいと考えています。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：Design Pitfalls in Interactive Sales Robots: A Systematic Analysis and Framework

著者：Yuki Okafuji, Takuya Iwamoto, Sichao Song

AI Labの中でも接客対話領域を担っている研究チームでは、実際の店舗や施設内に対話ロボットを設置して有効性を検証する、数多くのフィールド実験を実施してきました（2017年〜、フィールド実験数 約80回、査読論文64本）。その中でも対話型販促ロボットの実証実験も多くを占めており、それらの経験を踏まえた上で、対話型販促ロボットを実運用する上で気をつけるべき点を体系化してまとめることで、実証実験や実運用をする上でのチェックポイントになり得るものを作成とすることを目的とした研究になります。

はじめに

店舗で接客ロボットを活用する際には、外観やふるまいが顧客体験を大きく左右します。本研究は、インタラクティブ・セールスロボットの“設計上の落とし穴 (Design Pitfalls)” を網羅的に整理し、今後のロボット設計を支援するフレームワークを提案したものです。

研究背景

従来の HRI（Human-Robot Interaction）の研究では、ロボット導入の成功事例に焦点を当てる傾向があり、失敗や課題は暗黙知として扱われることが少なくありません。本研究は、こうした課題を形式知化し、実運用で再発しがちな問題点を事前に除去することを目的としています。

研究方法

以下の3つ段階の流れによって研究を実施しました。

1. アイディア収集：ロボット研究者13名によるオンラインワークショップ（5回）に加え、補助的にGPT-4*を活用。全部で423件の「ユーザから見てロボットの望ましくない振る舞い」の収集。
2. 結果分類：著者らによって、5つの主要カテゴリ・26のサブカテゴリに整理
3. 妥当性検証：オンラインサーベイを活用して、一般利用者98名によるカテゴリ別の評価

代表的な落とし穴（カテゴリ別抜粋）

実務への示唆

1. チェックリストとしての活用
   設計段階で 26 サブカテゴリを照合することで、潜在的な失敗要因を早期に検出できます。

2. ユーザ評価スコアによる優先度付け
   各サブカテゴリの“不快度”スコアを用いれば、改善優先度が定量的に判断できます。

3. 文化・業種横断での応用可能性
   本フレームワークは小売以外の公共施設やサービス業にも適用範囲を拡張できると考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持って頂けた方は是非一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）
• リサーチインターンシップ2025夏期

*GPT‑4 は、OpenAI 社が開発した大規模言語モデル（生成 AI）の名称です。

論文名：Pseudo-eating behavior of service robot to improve the trustworthiness of product recommendations

著者：Yuki Okafuji, Takumi Ishikawa, Kohei Matsumura, Jun Baba, Junya Nakanishi

研究背景

我々は日常的に購買をしながら生活をしています。一般的に、購買をしている人は推薦によって商品を購入しやすくなることが知られており、ソーシャルロボット（対話ロボット）を使った商品推薦の研究も数多くされています （例 [1]）。しかしながら、ソーシャルロボットによる商品推薦は、様々な問題を抱えていることが知られています。

例えば、商品推薦を行う時にロボットが「この商品は美味しいよ」と主観的な発言させてしまうことです。これは、ロボット自身は商品を食べられないことが自明であるため、ロボットの主観的発言に対して嘘っぽさが出てしまい、発言の信頼感が低下していまうことが問題となります [2]。ロボットの発言の信頼性が低下することで、お客さんは商品を購入してくれなくなるため、商品推薦する場面においては致命的となってしまいます。このようにロボットの主観的な発言を商品推薦の場面に活用できないとなると、販売促進の役割のロボットには制限がかかり、なかなか普及しにくい状況となります。

そこで本論文では、食品の商品推薦の場面において、ロボットの主観的発言の信頼性を向上させる手法を提案し、主観的発言を商品推薦に活用可能なことをオンラインサーベイとフィールド実験で示しました。

提案手法

本論文では、ロボットの主観的発言の信頼性を向上させる手法として、擬似的な食事行動を提案しました。擬似的な食事行動とは、下図に示すように、ロボットが手につけた商品のかけらを口元に近づけ、その際「ガブッ」という咀嚼音と一緒に「美味しいよ」と発言をする行動のことです。

ロボットの主観的発言の信頼性が向上しない原因の1つとして、リアリティの欠如が挙げられます [3]。そのため、ロボットの擬似的な食事体験を明示的に共有することで、ロボットの主観的発言の信頼性を向上させる可能性があります。お客さんはロボットが実際に食品を食べたフリを直接見ているので、ロボットからの「美味しい」という主観的発言が許容されることを狙っています。ロボットの主観的発言の信頼性が向上することで、商品推薦の効果を向上させることにも繋がり、販売促進の場面におけるソーシャルロボットの制限がなくなることも意味しています。

実際のロボットの擬似的な食事行動のシーン

実験内容

本論文では、2回のオンラインサーベイと、フィールド実験を行いました。オンラインサーベイからは、擬似的な食事行動を伴うことにより、ロボットの主観的発言の信頼性が向上し、購買意欲も向上することが示されました。オンラインサーベイの詳細な方法や結果についてはぜひ論文をご参照ください。

動画を見てアンケートに回答するという単純なオンラインサーベイ内では購買意欲が向上することが示されましたが、実際の店舗においても販売促進の効果があるのかは分かりません。そのため、大学内のベーカリーにロボットを設置して商品推薦をするフィールド実験を通して、提案手法の有効性を検証しました。

比較条件としては下記の3つを用いました。

• 食事推薦（Eating Recommendation）: 提案手法。擬似的な食事行動が伴った主観的発言「美味しいよ！」を用いて商品を推薦する。
• エキスパート推薦（Expert Recommendation）: 先行研究で有効性が示されている比較手法 [4]。商品の人気度合いや効能など、客観的な指標に基づいて推薦する。
• 組み合わせ推薦（Combination Recommendation）：食事推薦とエキスパート推薦を組み合わせて、擬似的な食事行動と客観的な指標に基づいて推薦する。

実験は各条件5日ずつ実施して、それぞれの日で推薦する商品を変更しました。また、ロボットの推薦効果を比較するために、実験前後のそれぞれ10日分のデータも取得しました。平均来店人数、パン平均販売数、推薦商品平均販売数、推薦商品販売割合（推薦商品の販売数/全ての商品販売数）を評価指標としています。

実験結果・議論

実験結果を下記の表に示します。ロボットによる推薦効果を示す販売商品販売割合を統計検定した結果、実験前後合計期間と比較して、食事推薦とエキスパート推薦は高い推薦効果が示されました。つまりは、食事推薦ではロボットが主観的発言を用いて商品推薦をしているにも関わらず、先行研究で示されている手法と同等の推薦効果を持つことを示します。

一方で、組み合わせ推薦は実験前後期間よりは推薦商品販売割合が高いものの、他の2条件よりも減少する結果となりました。これは、オンラインサーベイで示されていたことですが、擬似的な食事行動「ガブッ」と客観的な発言（人気度合いなどの情報）を組み合わせることで、ロボットに対して違和感や嘘っぽい、といった印象を与えていることが起因していると考えられます。ロボットの行動に一貫性がなく、不自然さが含まれていたため、推薦能力が低下したと考えられます。

おわりに

本論文では、ロボットの主観的発言の信頼性を向上し、推薦能力を向上させるために、擬似的な食事推薦という手法を提案しました。オンラインサーベイとフィールド実験の結果から、擬似的な食事推薦は先行研究と同等の推薦能力を持つことが示されたため、ロボットの表現が制限されない可能性を示しています。

今回はベーカリーにおける食品の推薦をすることを想定していたため、ユーザとロボットの体験共有をするために、擬似的な食事行動という手法を提案しました。しかしながら、食品以外の商品推薦の場合の体験共有の手法などは不明であり、今後は他の商品群の推薦場面なども検証していく必要があります。また組み合わせ推薦の結果で見られたように、日常生活における自然なロボットの行動生成はより一層重要な研究テーマとなりつつあり、大規模言語モデルと非言語動作の統合などが今後の課題としてあげられます。

本ブログで紹介した内容は一部であるため、ご興味のある方はぜひ論文（オープンアクセス）に目を通してみてください。論文内にはより詳細な手法や効果の確認範囲（リミテーション）、結果の考察などが含まれています。

最後に、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニアを募集しています。本ブログを見てご興味を持って頂けた方は是非一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

参考文献

[1] S. Song, et al., Out for In!: Empirical Study on the Combination Power of Two Service Robots for Product Recommendation, In Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction (HRI’23), pp. 408-416, 2023. doi: 10.1145/3568162.3577005

[2] J. Sytsma and E. Machery, Two conceptions of subjective experience, Philosophical Studies, vol. 151, pp. 29-327, 2010. doi: 10.1007/s11098-009-9439-x

[3] H. Cho, et al., Perceived Realism: Dimensions and Roles in Narrative Persuasion, Communication Research, vol. 41, no. 6, pp. 828-851, 2014. doi: 10.1177/0093650212450585

[4] S. Andrist, et al., Rhetorical robots: Making robots more effective speakers using linguistic cues of expertise, In Proceedings of the ACM.IEEE International Conference on Human-Robot Interaction (HRI’13), pp. 341-348, 2013. doi: 10.1109/HRI.2013.6483608.

チーム概要

AI Labはサイバーエージェント内にある研究組織です。企業の組織ですが学会発表などの学術貢献も積極的に行っています。2016年に設立された比較的若い組織でありますが、AI研究をリードする企業として日本で4位、世界で49位として評価されています[1]。

AI Labには大きく分けて5つの研究領域を対象に複数のチームが存在し、約70名のリサーチサイエンティストが在籍しています。私が所属するInteractive Agentチームでは「ヒトが信頼したくなる対話エージェント」の開発を目指し、自律的な接客対話エージェントや遠隔操作ロボットを用いた遠隔接客、ユーザの行動を変えるインタラクションについての技術開発に挑戦しています。　チーム紹介ページ

メンバーはAI技術の社会実装を目指すリサーチエンジニアと、トップカンファレンスや事業に貢献する研究を行うリサーチサイエンティストが約10名所属しています。 複数のプロジェクトに従事していますが、今回のブログでは、販売促進を行うエージェントの研究に絞って紹介します。実際の店舗にエージェントを設置して販売促進をする研究は、世界的に見ても数少ない研究事例であり、実際のビジネス事情も考慮した研究を実施できていることは、我々のチームの特徴でもあり強みでもあります。

そしてもう一つの特徴として2017年から大阪大学大学院基礎工学研究科の石黒浩教授と共に、ロボットなどの対話エージェントによる接客・広告技術の確立や科学的知見の獲得を目的とした共同研究に取り組んでいます。メンバーの多くが大阪大学に招聘研究員として参画し、大学内の研究室でも活動をしています。

販促とHCI

販売促進は、消費者の購買意欲を高めてもらうために行う活動のことを指します。身近なところでは、POP、デジタルサイネージ、クーポンやサンプル配布、実演販売、などが挙げられます。これらは「セール情報」「商品情報」などのメッセージを様々な形で伝達し、商品の良さをユーザに伝えます。 しかし、販促を行ったからと言って、ユーザに情報が適切に伝わるとは限りません。ユーザは頻繁に目にする広告やプロモーションコンテンツに対して無意識に無視する傾向があると言われています[2]。また気がついてもらうために派手な演出や大きな音を使ってしまうと、不快感を与えてしまうなどの問題や課題が存在します。

我々はこのような現実世界での販売促進の課題を解決するためにHCIやAIロボットなどの最新技術の研究を行っています。販促に関する実験のほとんどは営業している店舗内で実験し、リアルなデータを分析しています。これまでにスーパーマーケット、空港内のお土産屋、雑貨店、ECサイト、パン屋、コンビニエンスストア、高級寝具展などで実験を行い、その結果を論文などで報告しています。

研究紹介

Interactive Agentチームでは、主にロボットなどのエージェントを使って販促の実験を行っています。ロボットは人のような振る舞いを行うことで、対話相手と認識されやすく、他の広告媒体では難しかった対話や信頼関係を構築したり、注意を向けられたりしやすいといった特徴が確認されています。 これまでの研究では、ロボットによる販促がどのような特性を持ち、可能性があるかを明らかにしてきました。今回はその中から3つ概要を紹介します。

研究１

タイトル：Influence of collaborative customer service by service robots and clerks in bakery stores　リンク

学会/論文誌名：Frontiers in Robotics and AI

概要：近年ではソーシャルロボットを用いた商品推薦の研究事例が増えており、効果の高いロボットの対話戦略や動作の調査がされています。一方で顧客への推薦能力は、ロボット自身の振る舞いだけでなく、店舗スタッフなどロボットの周囲にいる人々によっても影響を受ける可能性があります。そこで本研究では、ロボットと店舗スタッフが協業した接客をすることによって、社会的影響力が向上し、結果としてロボットによる推薦能力が向上する可能性を検証しました。店舗スタッフとの協業接客の有無による効果を検証するために、ベーカリーの2店舗で同時実験を実施しました。実験の結果、店舗スタッフとの協業接客により、ロボットの推薦能力が向上し、ロボットに対する顧客の印象や店舗体験が向上することが分かりました。

知見：店員と協業することで接客ロボットの効果は向上する

研究２

タイトル：Out for In!: Empirical Study on the Combination Power of Two Service Robots for Product Recommendationリンク

学会/論文誌名：HRI 2023

概要：本研究では、店内に1台のみ設置した状態より、複数台（店頭/店内2台）のロボットが連携を行い商品推薦を行うことで、より高い推薦効果が得られるかを調査しました。実験は大阪府内にあるベーカリーで実施され、下記の3条件を比較しました。

・ベースライン：ロボット設置無し
・条件①： 店内に1台のロボットを設置して商品推薦を行う
・条件②： 店内に1台のロボットを設置して商品推薦を行う上、店頭にもう1台のロボットを設置し、店内ロボットと連携して商品推薦を行う

→店頭のロボットは「店の中に僕の弟の〇〇（店内ロボットの名前）がいるよ！弟が商品にとても詳しいのでぜひ話に行ってみてね！」などと店内にロボットがいることを来店客に伝えるなどの連携を行いました。

その結果、条件②では、推薦商品の販売率（販売数/製造数）がベースラインと条件①より有意的に高いことがわかりました。一方、条件①はベースラインと統計的に有意な販売率の差は確認できませんでした。さらに、条件②では、「買い物客が店内ロボットを見た率」、「ロボットが推薦した商品を確認した率」、「推薦商品の購入率」が、条件①よりも有意的に高いことが分かりました。
これらの結果から、複数台（店頭店内2台）のロボットが連携し、店頭ロボットが紹介することで「来店客の店内ロボットへの注意」が高まり、商品推薦効果が向上することが確認できました。

知見：事前にロボットの存在と役割を伝えることで、そのロボットに対する注意が向上する

研究3

タイトル：Playful Recommendation: Sales Promotion That Robots Stimulate Pleasant Feelings Instead of Product Explanation リンク

学会/論文誌名：IEEE Robotics and Automation Letters(RA-L)

概要： 一般的にロボットによる商品推薦は、商品や店舗などの状況に応じてセリフや振る舞いを準備する必要があります。そのため、商品や状況が変化するたびにそれらを準備する必要があり、商品推薦の度に労力が必要になります。そこで本研究では、商品情報の代わりに快感情を刺激し、状況に依存しない販売促進方法である「Playful Recommendation」を提案しました。Playful Recommendation の効果を検証するために2度の実証実験を実施し、提案手法が有効であることが実験結果から示唆されました。また商品が自らを推薦する自己推薦ロボットでは販売数が 667% 増加するなどの有効性を確認しました。

知見：低関与商材を推薦する場合は快感情を刺激すると、購買意欲を高めることができる

インターン情報

AI Labでは2018年からリサーチインターンシップを開始しています。博士後期課程の学生を対象にしており、 2ヶ月間で研究計画・実装・実験を行いトップカンファレンスを目指します。 リモートでも参加可能なのでぜひご応募お待ちしています。 リンク

登壇情報

2023年12月22日(金) に東京大学でCCSEという民間企業による研究カンファレンスを開催します。今回は15社が登壇し、LLM、アルゴリズム、CV、ロボットなど様々なテーマの発表を行います。AI Labも登壇するのでみなさんぜひご参加ください。サイト

[1] AI Lab、2022年のAI研究をリードするトップ100企業にランクイン！日本4位、世界49位へ https://www.cyberagent.co.jp/news/detail/id=28134

[2]Dalton, Nicholas S., Emily Collins, and Paul Marshall. “Display blindness? Looking again at the visibility of situated displays using eye-tracking.” Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. 2015.

論文名：Playful Recommendation: Sales Promotion that Robots Stimulate Pleasant Feelings instead of Product Explanation

ブログ概要：商品情報をユーザに提示しない推薦方法を提案しました。二度の実店舗での実験では売上が最大7倍まで上昇しました。これまでのロボットの推薦と比較し、商品やシチュエーションごとにシナリオやジェスチャを詳細に変更する必要が無く、汎用的な推薦方法になることが期待されます。

ロボットによる店舗内販促

小売店舗などには非常に多くの商品が陳列されています。販売側は複数の中から自社の製品やおすすめの商品をユーザに知ってもらうために様々な広告を活用しています。また購買の半数以上が非計画購買[1]と報告もされており、多くの人々は明確に買う物を決定し店舗に来ているわけではありません。そのため店舗内での情報提示が購買行動に大きく影響すると考えられます。

その中でも我々が注目しているロボットには

• 集客に成功しやすい[2]
  • ユーザを惹きつける振る舞いが可能
• 好みなどのヒアリングをしやすい[3]
  • 対話相手と認識されやすく、推薦に活用できる情報が得られる

などの特徴が報告され、従来の広告媒体と比較し「人を惹きつけ、満足度が得られる商品を販促する」媒体としての可能性があります。

ロボットをただ置けば集客やヒアリングに成功するわけではなく「腕をあげる・商品を指差すタイミング」、「関係性を構築する対話設計」などのインタラクションデザインが重要になってきます。このインタラクションデザインは、販促対象の商品や販売する場所やシチュエーションによって変更する必要があります。そのため突発的に販促商品を変更しようとしても対応がしきれない場合も存在します。今回は商品ごとにシナリオを変更することを課題とし、解決方法を提案しました。

快感情を刺激する推薦:Playful Recommendation

非計画購買の一種に衝動購買が含まれます。衝動購買は「快感情」のような「楽しさ」が発生要因と言われており、遊園地や商業施設などでも用いられるマーケティング手法です[4]。そこで我々は商品説明がなくても、ロボットがユーザの快感情を刺激することで購買意欲を高めることができる可能性があると考えました。快感情を刺激する行動は商品によって振る舞いを変えなくても良いことが多いため、実現することで商品によって変更する必要のないインタラクションになりえます。

我々はこのような推薦方法をPlayful Recommendation(以下PR)と名付け以下の条件が揃うことで効果を発揮すると考え、実験を実施しました。

• ロボットと商品がユーザの注目するエリアに存在する
  • 商品に注目する時間が長くなることで、商品への興味や記憶に影響を与える[5]ため、商品とロボットを近い距離に設置する
• ロボットは快感情を刺激する
  • ユーザが楽しんでもらえる振る舞いを行う
• ロボットは商品の話を行わない
  • 商品説明がありふれていたり、楽しいものではなければ商品に関する話題も行わない。例外として商品自体がとても珍しく快感情を刺激する可能性があるなら説明しても良い

実験1:Playful Recommendationの効果検証

下記の仮説を検証するために、大型商業施設内にある雑貨店で実験を実施しました。

1. PRは通常の陳列よりも効果的なシーンが存在する
2. PRは商品説明する推薦方法より効果的なシーンが存在する

比較条件

・PR条件：快感情を刺激する方法としてダンスを採用しました。ダンスはロボットが行うエンタテインメントとして集客に成功した事例も多い振る舞いです。

・説明条件：商品詳細を説明します。今回説明用の動画を説明し、ロボットが説明をする際には動画を再生します。

・通常条件：ロボットがいない条件で販促します

使用ロボットと販促商品

今回の実験では自己推薦ロボット(Self Recommendation Robot-SRR)を使用しました。SRRは商品を動かすと同時に音声を再生することで、その商品が話しているかのように感じるロボットです。一般的なロボットは「ロボット」「商品」「ユーザ」の三者構造ですが、SRRは「ロボット/ 商品」「ユーザ」の二者構造になります。そのためPRを成功させるための要素の「商品とロボットを近い距離に設置する」がより強力になると考えられます。販促する商品は、実験期間中に実施されていたハロウィン限定商品を選びました。

PR動作イメージ

実験1：結果

結果の一部を抜粋します。

商品の販売率（販売数/通行人数）、ユーザの立ち止まり率(立ち止まり人数/通行人数)を算出しました。その結果

• PRは、「説明をする推薦」および「通常時」よりも売り上げを有意に増加させた（※通常時の約7倍増加）（左図）

• PRは、「説明をする推薦」および「通常時」よりお客様に立ち止まってもらえる（右図）

ユーザの様子を観察すると、ダンスをすることで「動画撮影をする」「一緒に踊る」など楽しんでいる様子が確認されました。またダンスをすることで、周りの人々を惹きつけることに成功し、他の条件よりも集客に成功しています。説明条件は同様のSRRを用いましたが、商品説明が始まることで離脱するユーザが目立ちました。SRRを用いることで通常状態よりも販促に有意に成功しており、特にPRは高い販売効果が確認され、H1,H2を支持する結果となりました。

実験2:Playful Recommendationを効果的に実施できるロボットの検証

実験2ではSRRと三者構造のロボットを用いてPRの効果を検証しました。実験はクリスマスシーズンに実施され、販促対象となった商品はクリスマスの限定商品です。

三者構造条件では通常の販促と同様にそばに商品を置くNearby条件と、SRRのように商品と同じ動きによって注目されられるHold条件の2つを準備しました。

実験2：結果

結果の一部を抜粋します。

商品の販売率（販売数/通行人数）、ユーザの立ち止まり率(立ち止まり人数/通行人数)を算出しました。その結果

• 三条件間では販売率では有意差がなかったが、最も高い販売数と販売率だった（左図）

• Nearbyは、他条件よりも高い立ちどめに成功した（右図）

販売数は実験期間外と比較すると各条件とも通常状態よりも高い結果となった。これはロボットの状態に限らずPRが販促に有効な可能性を示しています。特にSRRは商品と一体化しているので注目時間が伸びるため有効に働いたのではないかと考えられます。立ち止まり率に関してはNearbyが最も高い割合となりました。過去の実験でも一般的なロボットはSRRより高い集客効果がある[5]ことがわかっているため、同様の結果となりました。インタビュウではHoldは「商品を持ってアピールしていると広告という感じを強く感じる」という意見もあったことから、立ち止まり率がNearbyよりも低下した可能性があります。

最後に

商品情報を行わない推薦方法を提案しました。2つの実験を通して通常の販促よりも高い効果を上げることができました。

本ブログで紹介した結果や考察は一部のため、ご興味ある方はぜひ論文を読んでいただきたいです。論文内にはより詳細な手法や効果の確認範囲（リミテーション）、ロボット販促の倫理的考察などが含まれています。

引用文献

[1]C. J. West, “Results of two years of study into impulse buying,”J. Mar-keting, vol. 15, no. 3, pp. 362–363, 1951.

[2]I. Aaltonen, A. Arvola, P. Heikkilä, and H. Lammi, “Hello pepper, mayI tickle you?,” inProc. Companion ACM/IEEE Int. Conf. Hum.-RobotInteract., 2017, pp. 53–54.

[3]. Watanabe, K. Ogawa, and H. Ishiguro, “Can androids be salespeoplein the real world?,” inProc. 33rd Annu. ACM Conf. Extended Abstr. Hum.Factors Comput. Syst., 2015, pp. 781–788.

[4]D. W. Rook and R. J. Fisher, “Normative influences on impulsive buyingbehavior,”J. Consum. Res., vol. 22, no. 3, pp. 305–313, 1995.

[5]A. Fukayama, V. Pham, and T. Ohno, “Analysis of user’s gaze for usabilityassessment of anthropomorphic agents,” HIP2003, vol. 136, 2004.

論文名：Service Robots in a Bakery Shop: A Field Study

研究背景

近年、ソーシャルロボットについての議論が活発になっている。ソーシャルロボットは人とコミュニケーションすることができるため、従来までの広告に代わる手段として、サービスロボットとして販売促進などでの活用が期待されている。小売業は、顧客とエンゲージするための革新的な方法を常に模索しており、サービスロボットは、顧客の興味や関心を引きつけ、彼らの購買意欲を高めるのに特に有効となることが考えられる。

これまでの研究では、チラシ配りや商品推薦など、さまざまな目的でのサービスロボットの利用が検討されてきた。販売促進に関しては、ショッピングモールや店舗にロボットを設置し、実証実験を通じてサービスロボットの有効性が調査されている。例えば、[1]では、デパートでアンドロイドの販売員が商品を販売した。そのロボットは、二倍以上のお客様に対して接客サービスを提供し、43着の衣服を販売した。

しかし、販売促進への関心は高まっているものの、小売業における適用方法とその効果は不明なままである。サービスロボットの販促や商品推薦の効果を示すためには、様々な小売店を用いたさらなる実証的な証拠が必要となる。さらに、[2]が指摘するように、過去の研究では主に探索的な研究であった。したがって、具体的にどのようなタイプのロボットの行動が効果的で、それに応じて顧客がどのように反応するかについては、まだ明らかにされていない。

実験内容

本研究では、ベーカリー店舗に2台の遠隔操作型（※オペレータによりリモートで制御される）のサービスロボットを配置した。一台は店頭に設置し、通行人を出迎えながら商品情報をアナウンスし、もう一台は店内に設置し、お客様に特定の商品（パン）を推薦した。全体的な目標は、推薦したパンの売上向上だけでなく、店舗全体の売上を向上させることであった。そのための基本戦略として、多くの通行人を店舗に招き入れることと、多くの商品を購入してもらうことの2つが考えられる。そのため本実験では、役割の異なる2台のサービスロボットを活用した。また、商品推薦におけるロボットの推薦効果を調べるために、お店の全商品の中から数種類のパンをロボットの推薦対象パンとして選んで、これらの商品を他の商品と比較し、売れ行きの変化を観察することも目的であった。

ロボットのパフォーマンスを評価し、研究目的を評価するために、主に以下の項目を評価した。

• 売上：総売上高、客数、客単価。
• 店内行動：「推薦対象パンを見た」や「推薦対象パンをトレイに入れた」などのキーアクションを伴う客の行動。

実験結果

店舗全体の売上データによると、我々のロボットが導入された日は売上が劇的に伸びた（昨年度と比較して平均138%の伸び率）が、ロボットが導入されなかった日は明らかな伸びを示さなかった。したがって、今回の結果は、サービスロボットが販売促進に有効であることを示しており、既存の少ない実証的証拠を示している。興味深いことに、実験期間中の一日当たりの来店客数は、ロボットの有無に関わらずほぼ同じ水準で推移している一方で、ロボット稼働時には客単価が向上しているため、より多くの商品またはより高額な商品が購入されたことがわかった。

更に、店内に設置したロボットの録画映像の分析からは、ロボットがお客様の購買行動に影響を与えることが示唆された。例えば、「〇〇パンを見て、トレイに入れてくださいね」みたいなロボットの指示が増えたことに伴って、客がそのパンを購入する確率は約2倍となることがわかった。ただし、このようなロボットの指示行動の効果の即時性は確認できていない。つまり、ロボットが指示した直後の顧客の行動に、ロボットの影響が単純に反映されているわけではなかった。しかし、ロボットの指示行動によって、客の推薦対象パンへの興味と関心が高まり、購買意欲の「種」が蒔かれる可能性が示唆されている。

今後の課題

今後の研究において、いくつかのポイントが考えられる。まず、今回の実験では、子供型ロボットを採用した。ロボットの外見は印象や説得力に影響を与える可能性があるため、今後、多様な外見のロボットを用いた研究が行われる必要がある。次に、今回のフィールド調査は一週間以上であったが、まだロボットに対する新規性効果（新しいものに対して興味を引きやすい効果）が多く残っている可能性がある。したがって、サービスロボットの販売促進への活用効果を確認するためには、より長期的な研究が必要である。最後に、本研究では、人との自然な会話を実現するために遠隔操作ロボットを採用した。しかし、特に販売促進という目的においては、コストの問題から自律型ロボットシステムの活用することが重要となる。そのため、今後はこのような自律型システムの開発・検証を行う予定である。

参考文献

[1] Watanabe, M., Ogawa, K., & Ishiguro, H. (2015, April). Can androids be salespeople in the real world?. In Proceedings of the 33rd annual ACM conference extended abstracts on human factors in computing systems (pp. 781-788).

[2] Brengman, M., De Gauquier, L., Willems, K., & Vanderborght, B. (2021). From stopping to shopping: An observational study comparing a humanoid service robot with a tablet service kiosk to attract and convert shoppers. Journal of Business Research, 134, 263-274.

要約

• 人間もロボットも日々意思決定して存在している
• 人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか？
• 現状では、対話相手の心的状態を理解した上での意思決定ができないところが異なる
• 将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないといえるかもしれない
• もし、そうでないとしたら、それが人間らしさというものになるのだろう。

はじめに

我々は常に意思決定をしている。例えば、休日に何をするかなど枚挙にはいとまがない。

もし、この意思決定が人工物、例えばコンピュータができるとしたらどうだろうか。例えば、命令が与えられていない時何をするかなど人と同じく枚挙にいとまがない。

この問いに先駆的に取り組んだ人はノーベル経済学賞を受賞したハーバートA・サイモンである。ハーバートA・サイモンはこの問いについて『意思決定の科学』[1]にまとめた。『意思決定の科学』では、経済の観点において、人間とコンピュータとの意思決定の違いについて述べている。「発見的な問題解決」はコンピュータには解決できないとサイモンは述べている。

今回はこのサイモンと異なる観点で、「人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか」という問いを取り扱う。一般的な意思決定から始まり、サイモンのようにコミュニケーションの観点に絞り、科学的な面や工学的な面から比較を行う。果たして人間とロボットは意思決定、コミュニケーションにおいてそれらを分かつ明確な境界はあるのだろうか。

現状における人間の意思決定とは

まず、人間の意思決定とは何かを考えてみよう。

一般的な人間の意思決定とは

一般的な人間の意思決定とは、”問題解決に当たって，実行可能な行為の中から最適と思われるものを選択すること”[2]である。なお、傍観のような積極的に何もしないことも意思決定に含まれるとも考えている。また、感覚遮断実験のように何も刺激を与えないときに積極的にその環境から出ようとすることも意思決定に含まれると思われる。

この章では個人の意思決定について焦点を合わせることにする。したがって、集団や法人といった存在の意思決定は特に取り扱わないとする。

人間の意思決定をすべて説明する理論はまだ難しいと言った状況にある。現状では意思決定の一部を切り取り、モデル化している段階にある。したがって、今回は意思決定のモデルを数多く紹介するのではなく、ロボットと関連の深いものを中心に説明していく。

人間の意思決定に関する初期の研究としてパブロフが発見した条件反射がある。条件反射はパブロフの犬という有名な実験で示された意思決定方法である。パブロフの犬で発見したことは特定の条件では意識によらず無意識が行動を決定することを後天的に学習できるということである。ただし、意思決定と言うにはあまりに機械的な仕組みである。

人間の意思決定に関する中期の研究としてスキナーが体系化したオペラント条件付けがある。オペラント条件付けはスキナー箱という名前で有名な実験で示された意思決定方法である。スキナー箱で発見したことはブザーという先行刺激をネズミに与えることで、餌が出てくるレバーを押す行動が決定されるように意識的に学習できるということである。オペラント条件付けによる意思決定の頻度の高まりを強化と呼ぶ。

人間の意思決定に関する後期の研究としてベンジャミン・リベットの研究がある。ベンジャミン・リベットの研究で発見したことは、ボタンを押すという単純な意思決定は意識によって決められる前に脳が決めているということである。この研究から人間には自由意志が存在しないのではないのかとの仮説が立てられ、物議が醸されている。

以上の研究から、人間の意思決定の一部は極めて機械的であり、ロボットに実装可能であると考えられる。

コミュニケーションにおける人間の意思決定とは

コミュニケーションにおける人間の意思決定とは、対話相手から何らかの反応を受け取ったときに何らかの反応を返すことである。なお、積極的に無言を返すことも意思決定に含まれるとも考えている。

最も単純で大切なコミュニケーションに関する意思決定は挨拶だろう。対話相手から挨拶された場合、通常挨拶し返すのが礼儀である。しかし、無言で答えることも選択肢の１つとしてある。もちろん無言で答えた場合、お互いの仲が険悪になるということは言わずもがなだろう。

もう少し複雑なコミュニケーションに関する意思決定としては対話がある。対話にはいろいろな要素が含まれている。たとえば、対話を開始すべきか終了すべきかどうかというエンゲージメントの問題や、対話中に話を切り出すかというターン・テイキングの問題など様々ある。

最も重大と思われるコミュニケーションの意思決定として治療方針の決定がある。例えば、延命治療を行うかどうかは本人の意思決定によって決めるものだが、意思決定できない状態にある場合もある。

現状におけるロボットの意思決定とは

次にロボットの意思決定とは何かを考えてみよう。

一般におけるロボットの意思決定とは

ロボットの意思決定とは、センサからの入力に対して、モーターなどのエフェクターへ何を出力するかをアルゴリズムに基づき決定することだと筆者は考えている。なお、積極的に何も出力しないことも意思決定に含まれるとも考えている。このように定めるとロボットアームの制御から複数ロボットの協調動作まで広く定義される。

この定義に基づいた最も単純なロボットの意思決定方法とはルールベースである。ルールベースとは「もしAが入力されたならば、Bを出力する」という仮定法で記述されるアルゴリズムである。例えば、もし人間から「こんにちは」と話しかけられたら、ロボットは「こんにちは」と挨拶し返すことがある。人間の条件反射はまさにルールベースな行動であると言えよう。

ルールベースを発展させたものとして、エキスパートシステムがある。”エキスパートシステムとは、ある分野の専門家の持つ知識をデータ化し、専門家のように推論や判断ができるようにするコンピュータシステムのこと”[3]である。例えば、エキスパートシステムは、人間は死ぬという知識とアリストテレスは人間という知識から、アリストテレスは死ぬという命題は真であると導くことができる。しかし、このルールベースで実世界の意思決定をすべてを記述しようとすると、無限のルールを有限時間しか存在できない人間が決める必要となる。

ルールベース以外の意思決定方法として、非ルールベースがある。非ルールベースとは、ルールベースではなく、機械学習や統計学、ベイズ推定、最適化手法のことを指す。これらの定義はEUのAI規制ガイドライン[4]の付録を参考にして作った。人間のオペラント条件づけはまさに非ルールベースであると言えよう。

非ルールベースの中で特筆すべき意思決定方法として強化学習が挙げられる。強化学習とは環境の中にいるロボットが環境の状態を観測してその観測結果に基づいて行動することを試行錯誤しながら学習する意思決定方法である。このとき、ロボットの製作者が望ましいと思われる状態にロボットが行動により変化させられたならば、報酬が与えられ、強化される。強化学習は人間のオペラント条件づけの強化をモチーフに作られたものだと考えられている。[5]

逆にロボットの意思決定を制限する指針としてアイザック・アシモフが『われはロボット』にて提示したロボット工学三原則が挙げられる。ロボット工学三原則とは、第一条から優先適用される以下の通りのルールである。

• “第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。” ([6]より引用)
• “第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が第一条に反する場合は、この限りではない。” ([6]より引用)
• “第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。” ([6]より引用)

ロボット工学三原則は、SF小説をミステリアスにするための設定ではある。しかし、作中にもある通り、この原則は模範的な人間の行動ルールであり、ロボット工学者はなるべくならばこの原則を守ったロボットを作るべきだとされている。

コミュニケーションにおけるロボットの意思決定とは

コミュニケーションにおけるロボットの意思決定とは、対話相手であるユーザの状態に応じて適切な行動をロボットが決定することと定義できる。この定義からルールベースや強化学習はこの意思決定の問題を解決する手段の例と言える。

特にこの広範に渡るコミュニケーションにおける意思決定の問題を解決する手法としてポテンシャルを秘めているのが強化学習である[7]。この分野をまとめた論文[7]では、人間とロボットとの強化学習をInteractive Reinforcement Learningとして定義しており、新しい研究分野であると示唆している。この問題を強化学習で解いた特筆すべき研究としてQureshiらの研究[8]がある。Qureshiらの実験の様子を図１に示す。

図１ 握手を求めるタイミングを映像から判断するロボット([8]より引用)

Qureshiらは人間を含む映像を入力として握手などの行動を出力する意思決定問題を深層強化学習により世界ではじめて解いている。これは限りなく人間に近い意思決定手法と言えるだろう。

そのアーキテクチャが図2である。アーキテクチャはMultimodal Deep Q-Network (MDQN)と呼ばれている。グレースケールの画像と深度画像を入力とし、握手などの行動を出力としている。アーキテクチャの構造は人間の視覚野と類似している畳み込みニューラルネットワークを用いている。このアーキテクチャが特に人間に似ているように見える。

図２　Multimodal Deep Q-Networkのアーキテクチャ（[8]より引用）

筆者であるAI Labの尾崎安範もこの分野を研究する者の一人である。「空気を読むロボット」というコンセプトをベースに、人間の心的状態と相関する行動に基づいて、コミュニケーションの意思決定を強化学習で学ぶロボットを開発した[10]。ロボットの様子を図３に示す。

図３　展示員のタスクを与えられた、空気を読むロボット（右側）（[10]より引用）

このロボットは図2の環境にいる展示員のタスクを与えられており、トイレに行く人を邪魔せずに展示に興味がありそうな人だけに声をかけるように学習した。

図４　展示員のタスクを与えられたロボットの実験環境（[10]より引用）

筆者の研究はQureshiらとは違い、既存研究に基づいた人間の行動モデルを明示的に仮定して強化学習を行う。このため、明示的に人間の心的状態と相関する行動を判断できるようにできている。この人間の行動モデルにより、ロボット工学三原則の第一条と第二条に適する行動を自律的に獲得できるように強化学習できている。

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは、対話相手の心的状態を理解した上での意思決定ができないところである。例えば、「おはよう」と人間が言ったものの元気がない様子であれば、「おはようございます。昨日は何かあったんですか？」とロボットが心配することは今の所できない。もちろん、そのルールだけを実現することは可能ではあるが、類似のルールを記述しきることは難しい。

コミュニケーションにおいて人間とロボットを区別する方法として、チューリングテスト[11]がある。チューリングテストは例えばテキストベースの雑談で人間と人工知能で見分けるものであった。実はすでにこのチューリングテストを突破する人工知能は現れており[12]、この問題は解決されたとされている。もう少し発展させて複雑な意思決定に関しても人間と変わらないことを示せれば、意思決定に関しても人間とロボットを区別できないという結論が得られるかもしれない。

やがて社会で活躍するロボットの意思決定とは

やがて社会で活躍するロボットの意思決定とは、心の理論に基づいた意思決定である。心の理論とは、”他者の心を類推し、理解する能力である”[13]。また、同義語として、”mentalizing”がある[13]。心の理論を持つロボットを実現することは容易ではない。特に非言語の領域ではプログラミング言語のような言葉にすること自体が困難であるため、研究が難しい。

心の理論の一部を機械的に説明した「心を読むシステム」をバロン・コーヘンが提案している[14]。心を読むシステムは、意図の検出器、視線方向の検出器、注意共有の仕組み、心の理論の仕組みで構成されるシステムである。ここで注目してほしいのは視線方向の検出器である。他のモジュールと違い、かなり物理的で客観的である。ロボットに実現するには容易な部類であると言えよう。ただし、その容易な視線検出も、例えば、歩行者の視線を取るのは現代の技術でも難しいというのが実情である。なお、Proof of Conceptとしての心を読むシステムを筆者が実装した例[15]がある。その様子を図５に示す。

図５　心を読むシステムを実装した対話システムの例 ([15]より引用)

筆者が実装した心を読むシステムは、以下のステップで心を読む。

1. 画面上のエージェントが画面と向き合っている人間がいる。
2. 画面上には表示されている物体、球と立方体２種類が表示されている。
3. 人間は球か立方体、あるいは虚空をみて、「これはなんですか？」という代名詞の質問を行う。
4. 画面上のエージェントは人間の視線を見てどの物体を見ているか推察し、例えば「これは球です」といった返答を行う。

これという代名詞は言語の外にある非言語情報がなければ、実現は不可能である。人間は決して言語だけでできているわけではないことがわかる。心を読むシステムをさらに発展させたシステムをロボットに実現することが今後の課題と言える。

近い将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないと言える日が来るのだろう。そのときには多くの人の命の救う意思決定が客観的にできるようになるかもしれない。

しかし、その日が来なければ、その違いが人間らしさというものになるのだろう。その人間らしさを探すのが我々認知科学を研究するもののの勤めではないかとも私は思うのだ。

参考文献

[1] ハーバートA・サイモン, 稲葉元吉, 倉井武夫共訳, “意思決定の科学”, 1979

[2] “最新 心理学事典”, 2013, https://kotobank.jp/word/意思決定-30537

[3] “エキスパートシステム”, IT用語辞典 e-Words, 2018 https://e-words.jp/w/エキスパートシステム.html

[4] “Proposal for a Regulation laying down harmonised rules on artificial intelligence”, 2021

[5] 吉本潤一郎, 伊藤真, 銅谷賢治, “《第10回》脳の意思決定機構と強化学習”, 計測と制御, 2013

[6] アイザック・アシモフ作, 小尾芙佐訳, “われはロボット〔決定版〕”, 2014

[7] Neziha Akalin et al., “Reinforcement Learning Approaches in Social Robotics”, Sensors, 2021

[8] Ahmed Hussain Qureshi, Yutaka Nakamura, Yuichiro Yoshikawa and Hiroshi Ishiguro, “Robot gains social intelligence through multimodal deep reinforcement learning”, Humanoids, 2016

[10] Yasunori Ozaki, Tatsuya Ishihara, Narimune Matsumura, Tadashi Nunobiki, “Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?”, IROS 2019

[11] A. M. TURING, “I.—COMPUTING MACHINERY AND INTELLIGENCE”, Mind, 1950

[12] “露スパコンに「知性」、史上初のチューリングテスト合格”. AFP通信, 2014 https://www.afpbb.com/articles/-/3017239

[13] 大神田 麻子, 板倉 昭二, “心の理論”, 2021, https://bsd.neuroinf.jp/wiki/心の理論

[14] サイモン バロン=コーエン, 長野 敬 (翻訳), 今野 義孝 (翻訳), 長畑 正道 (翻訳), “自閉症とマインド・ブラインドネス”, 2002

[15] 尾崎安範, “これ”はなんですか、コンピュータさん？ -「心を読むシステム」の実装- https://qiita.com/alfredplpl/items/81d6e56a48323dadec6d