Interactive Agent | CyberAgent AI Lab

Research

Interactive Agent

研究テーマ

対話エージェント自動対話技術

研究テーマ

【対話エージェント自動対話技術】
チャットボットやロボットなどの対話エージェントによる接客の自動化が注目されている昨今、AI Lab においても対話エージェントによる接客対話技術に関する応用研究を進めています。
Interactive Agentチームでは「ヒトが信頼したくなる対話エージェント」の開発を目指し、自律的な接客対話エージェントや遠隔操作ロボットを用いた遠隔接客、ユーザの行動を変えるインタラクションについての技術開発に挑戦しています。2017年4月に開設した大阪大学との先端知能システム共同研究講座を中心に、実際のフィールドでの実証実験を通して人々のリアルな反応やフィードバックから、ヒトが信頼したくなる・ヒトが行動を変えてしまうインタラクションの本質的な要素について研究しています。

＜研究プロジェクト紹介＞

① アバターロボットを用いた遠隔対話技術の研究開発
② 長時間の滞在を支援する自律対話技術の研究開発（東急不動産HDとの共同プロジェクト）
③ 声かけロボットにおける人の注意を惹きつけ対話を開始する技術の開発
④ 自己推薦エージェント
⑤ エージェンシをもったショッピングカートシステム
⑥ 対話エージェントの対話相手や周辺環境の状況認識技術の開発
⑦ リアルタイム音声変換
⑧ 完全選択式チャットボットによる商品推薦
⑨ カスタマサポート支援のための「怒り感情」制御技術
⑩ ロボットが会話を代行する婚活パーティ

＜研究プロジェクト詳細＞

① アバターロボットを用いた遠隔対話技術の研究開発
労働力人口の減少や都市への人口集中が問題になっている現代において、時間や場所の制約を受けずにサービス業務に従事できることが必要不可欠な社会になります。そこで私たちは、働きたい人が時間や場所に縛られずにどこからでも、インターネットにつながる自分のPCやタブレットを使って、ロボットを通して接客業務に従事することのできる遠隔対話ロボットシステムを開発しています。
操作者が簡単にロボットを操作できるだけではなく、操作者の能力を拡張して高い価値を発揮できる仕組みや、受け入れられやすいロボットの存在感・表現力を最大限活用し、誰でも遠隔から接客できるプラットフォームの研究を進めています。
また、2020年9月からは内閣府が主導するムーンショット研究開発型事業において、誰もが自在に活躍できるアバター共生社会の実現を目指し、石黒浩教授がプロジェクトマネージャーとして遠隔接客の研究開発を推進しています。私たちもそのプロジェクトに参画し、様々な企業・フィールド（小売店舗・アミューズメント施設・保育教育施設・公共交通機関等）と連携し実証実験を実施しています。
これまでに実施した「遠隔対話ロボットで働く」をテーマにした3つの実証プロジェクトに関する研究結果は下記からご確認いただけます。

▼実証実験レポート
https://drive.google.com/file/d/1uy4-5dTDjcPcFc2zsxPYVFz0HEieUUU-/view

プレスリリース：

・AI Lab、「アバター100実証実験（通称：アバターまつり）」にて30体のロボット接客の実証を実施

・AI Lab、コロナ禍におけるロボット接客の可能性を調査　ムーンショット型研究開発事業の一環である遠隔対話ロボットの調査結果を公開ー大阪大学大学院基礎工学研究科石黒浩教授とともにオンライン報告会を開催ー

・AI Lab、遠隔接客ロボットで「大型モニター付きDX自動販売機」の利用促進へー大阪大学大学院基礎工学研究科・株式会社PRENOとともに実証実験を実施ー

・AI Lab、ロボットによる次世代サービスの実現に向け3つのフィールドで実証プロジェクトを始動ー自律と遠隔のハイブリットで1人5体のロボット接客を実施、人間の能力拡張の可能性を模索ー

・AI Lab、インタラクション分野のトップカンファレンス「HRI2022」にて共著論文採択ー高齢者と子供、ロボットを介したインタラクションが双方に有益な影響をもたらし得るー

・AI Lab、インタラクション分野のトップカンファレンス「HRI2022」にて共著論文採択ー遠隔操作ロボットの「操作者の存在感」が利用者にもたらす影響を調査ー

・AI Lab、ロボティクス分野のトップカンファレンス「IROS」にて2本の論文採択ーロボットを活用した販売促進効果を調査ー

・AI Lab、インタラクション分野のトップカンファレンス「HRI2023」にて共著論文採択 ―複数台ロボットの連携による商品推薦効果を調査―

発表論文：

・Jun Baba, Song Sichao, Junya Nakanishi, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, and Hiroshi Ishiguro(2020):Teleoperated Robot Acting Autonomous for Better Customer Satisfaction. In Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems Extended Abstracts (CHI ’20). Association for Computing Machinery, New York, NY, USA, 1–8.[PAPER]

・Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, and Hiroshi Ishiguro(2021):Teleoperated Robot Sells Toothbrush in a Shopping Mall: A Field Study. Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 221, 1–6. [PAPER]

・Jun Baba, Sichao Song, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro(2021):Local vs Avatar Robot: Performance and Workload of Service Encounters in Public Space. Frontiers in Robotics and AI, vol. 8, December 2021.[PAPER]

・Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro(2022):Costume vs. Wizard of Oz vs. Telepresence: How Social Presence Forms of Tele-operated Robots Influence Customer Behavior. ACM/IEEE International Conference on Human-Robot Interaction(HRI 2022),pp.521-529,2022.[PAPER]

・Junya Nakanishi, Sichao Song, Jun Baba, Yuichiro Yoshikawa, Hiroshi Ishiguro(2022):Robot-mediated Child-Elderly Interaction: A Pilot Study for Greeting Tasks in Nursery Schools. ACM/IEEE International Conference on Human-Robot Interaction(HRI 2022),pp.63-70,2022.[PAPER]

② 長時間の滞在を支援する自律対話技術の研究開発（東急不動産HDとの共同プロジェクト）
ホテル業務では、宿泊者に対するおもてなし感の醸成がサービスを提供する上で主要な側面のひとつです。10時間以上の時間を過ごすホテルにおいて、ロボットが利用客と調和的に関わり合うことで、ロボットにしかできないおもてなし感とはどういうものか、人間社会におけるロボットの人間への関わり方とは何かを研究しています。また、その長時間にわたる対話可能なシーンにおいて、破綻なく自律的に会話・サービス提供ができる対話システムの研究開発を進めています。本研究は、東急不動産グループ様のご協力のもと実施しています。

プレスリリース：

・人工知能技術の研究開発組織「AI Lab」、大阪大学石黒教授との共同研究講座にて、東急不動産ホールディングスとの実証実験を実施　～新しい「おもてなし」と新しい「広告媒体」の実現へ〜

・AI Lab、ロボティクス分野のトップカンファレンス「IROS」にて共著論文採択 ‐人型ロボット vs スマートスピーカー、ホテル居室でのおもてなし勝負を考察 ‐

・AI Lab 接客対話エージェントチームから共著論文を含む３件が「RO-MAN2021」に採択されました

発表論文：

・Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro, “Can a Humanoid Robot Engage in Heartwarming Interaction Service at a Hotel?”, International Conference on Human-Agent Interaction (HAI 2018), pp.45-53, 2018.[PAPER]

・Junya Nakanishi, Jun Baba, Itaru Kuramoto, “How to Enhance Social Robots’ Heartwarming Interaction in Service Encounters”, 7th annual International Conference on Human-Agent Interaction (HAI 2019), Kyoto, Japan, October, 2019. Best Poster Award[PAPER]

・Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Kohei Ogawa, Hiroshi Ishiguro, “Soliloquizing Social Robot in a Hotel Room”, 31st Australian Conference on Human-Computer-Interaction (ozCHI’19), Perth/Fremantle, Western Australia, Australia, December, 2019.[PAPER]

・Junya Nakanishi, Jun Baba, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Smart Speaker vs. Social Robot in a Case of Hotel Room”, International Conference on Intelligent Robots and Systems (IROS’20), Las Vegas, USA, October 2020.[PAPER]

・Junya Nakanishi, Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Continuous Hospitality with Social Robots at a Hotel”, SN Applied Sciences, Vol. 2, No. 3, pp. 1-13, 2020.[PAPER]

・Junya Nakanishi, Tomohisa Hazama, Jun Baba, Sichao Song, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Exploring Possibilities of Social Robot’s Interactive Services in the Case of a Hotel Room”, 30th IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Online, August 2021.[PAPER]

・Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro“Service Robots in a Bakery Shop: A Field Study. ”IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Kyoto, Japan, October, 2022.[PAPER]

・Sichao Song, Jun Baba, Okafuji Yuki, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro(2023):“Out for In!: An Empirical Study on the Combination Power of Two Service Robots for Product Recommendation,”ACM/IEEE International Conference on Human-Robot Interaction(HRI),Stockholm, Sweden,March 2023.[PAPER]

③ 声かけロボットにおける人の注意を惹きつけ対話を開始する技術の開発
新しいサービスを提供する上で、人を立ち止まらせて話を聞いてもらうことは非常に重要です。しかし、通常の人による声かけでは数％程度しか立ち止まってもらえないことが知られています。ロボットは人間と比べて受け入れられやすい特性を持つため、話しかけられる不快感などを軽減しながら、通行人に目的の行動を起こしてもらえる可能性があります。ロボットの前を通るより多くの通行人に立ち止まって話を聞いてもらうために、「通行人の行動の認識・予測」とそれに応じた「通行人の注意を惹き付ける行動生成・インタラクション設計」技術を研究しています。

プレスリリース：

・ロボットが案内すると商品の売上がアップ!?AI Lab、大阪南港の複合商業施設ATCでロボットによる接客・広告の実証実験を実施　~大阪大学・立命館大学との共同研究グループにて7/16より実験開始~

・AI Lab、ロボット同士の会話が通行人の行動変化や購買促進につながるかを検証ーイオンモール草津にて、ロボットの協調対話に関する実証を実施ー

・AI Lab、ロボティクス分野の主要ジャーナル「International Journal of Social Robotics」にて論文採択ー自律声掛けロボットにおける対話開始手法を検討ー

発表論文：

・Yuki Okafuji, Jun Baba, Junya Nakanishi, “Face-to-Face contact method for humanoid robots using face position prediction” ACM/IEEE International Conference on Human-Robot Interaction (HRI2019), Daegu, Korea, March, 2019.[PAPER]

・Yuki Okafuji, Yasunori Ozaki, Jun Baba, Asano Kitahara, Junya Nakanishi, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Please Listen to Me: How to Make Passersby Stop by a Humanoid Robot in a Shopping Mall,” HRI (LBR), 2020[PAPER]

・Yuki Okafuji, Yasunori Ozaki, Jun Baba, Junya Nakanishi, Kohei Ogawa, Yuichiro Yoshikawa, Hiroshi Ishiguro, “Behavioral assessment of a humanoid robot when attracting pedestrians in a mall,” arXiv, 2021[PAPER]

・Yuki Tamaru, Yasunori Ozaki, Yuki Okafuji, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, “3D Head-Position Prediction in First-Person View by Considering Head Pose for Human-Robot Eye Contact,” arXiv, 2021[PAPER]

・Jun Baba, Sichao Song, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro,“Instructive Interaction to Redirect Customer Attention from Robot to Service,”31st IEEE International Conference on Robot & Human Interactive Communication (RO-MAN), Hybrid (Naple, Italy), August, 2022[PAPER]

・Joichiro Amada, Yuki Okafuji, Kohei Matsumura, Jun Baba, Junya Nakanishi,“Investigating the Crowd-drawing Effect, on Passersby, of Pseudo-Crowds Using Multiple Robots,”Advanced Robotics, pp. 1-10, November 2022[PAPER]

④ 自己推薦エージェント
これまでの商品推薦とは異なる新しい推薦手法として、商品がエージェントとなり、商品自身が自らを推薦する「自己推薦」技術の研究を進めています。通常の他者（販売員・対話エージェント）による商品推薦は、推薦者・商品・利用客、の3者で構成されますが、「自己推薦」は商品が推薦者となることで、推薦者（商品）・利用客、の2者構造になることで、利用客の注意を商品に惹きつけ続けられる効果が期待できます。実際の商業フィールドにおける実証実験に重点を置き、実用化を目指した研究開発を推進しています。

プレスリリース：

・AI Lab、ロボティクス分野のトップカンファレンス「IROS」にて2本の論文採択ーロボットを活用した販売促進効果を調査ー

・AI Lab、2種類のロボットによる分業型推薦の販促効果について実証　～グリーンローソンで、DXを加速させる新たな接客コミュニケーションを目指し実証実験を開始～

発表論文：

・原拓也, 馬場惇, 岩本拓也(2021)「商品主体推薦：客が選んだ商品による他商品の推薦システム」JSAI2021[PAPER]

・Takuya Iwamoto, Jun Baba, Junya Nakanish, Daisuke Endo,Taishi Unokuchi,Kohtaro Nishi,Yuichiro Yoshikawa, and Hiroshi Ishiguro(2021):The Effectiveness of Self-Recommending Agents in Advancing Purchase Behavior Steps in Retail Marketing. HAI2021, Outstanding Award受賞[PAPER]

・Takuya Iwamoto,Jun Baba, Junya Nakanishi, Kotaro Nishi, Yuichiro Yoshikawa, Hiroshi Ishiguro(2022):Pick-me-up strategy for a self-recommendation agent: a pilot field experiment in a convenience store. ACM/IEEE International Conference on Human-Robot Interaction (HRI2022),March,2022.[PAPER]

・Takuya Iwamoto Jun Baba Junya Nakanishi Katsuya Hyodo Yuichiro Yoshikawa Hiroshi Ishiguro(2922):Playful Recommendation: Sales Promotion that Robots Stimulate Pleasant Feelings instead of Product Explanation. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Kyoto, Japan, October, 2022.[PAPER]

・岩本拓也、西本一志(2023):自己推薦ロボットの感情表現を構成する各要素情報が感情認識に与える影響,2023 年 22 巻 2 号 p. 85-94[PAPER]

⑤ エージェンシをもったショッピングカートシステム
スーパーマーケットなどで使用されているショッピングカートにエージェンシを付与することで、ユーザの買い物のサポートを行うシステムです。エージェンシを持ったカートからの推薦は、持たない条件よりも、人は推薦を受け入れる傾向がありました。また買い物をしている間にそばにいることができるため、これまでのエージェントに比べ、長いインタラクションを実施することが可能です。

発表論文：

・Ryosuke Takada, Kenya Hoshimure, Takuya Iwamoto and Jun Baba, “POP Cart: Product Recommendation System by an Agent on a Shopping Cart” RO-MAN 2021[PAPER]

⑥対話エージェントの対話相手や周辺環境の状況認識技術の開発
対話エージェントが実環境において人と対話するためには、対話相手や環境の状況を認識し、その情報を元に対話を構成する必要があります。そのために、私たちは対話相手の行動や属性、環境内で起きたイベントを認識するための状況認識技術の開発を進めています。対話エージェントの振る舞いを状況によって変えるために、様々なカメラやセンサの入力から人の三次元位置情報や性別・年代などの属性を認識する技術、人をリアルタイムにトラッキングしそれぞれの行動・対話履歴を把握する技術の研究を行っています。

⑦リアルタイム音声変換
対話エージェントを利用した遠隔接客のパフォーマンスにおいて、話者の声質は重要な要素です。遠隔にいる接客者の音声をリアルタイムに変換し、対話エージェントの表現力を向上させる感情音声変換の研究を行っています。マイクからの音声入力を低遅延・高品質に変換しリアルタイムに出力する技術の実現を目指しています。

発表論文：

・Zhaojie Luo, Rui Liu, Shuyun Tang, Jun Baba, Yuichiro Yoshikawa, Hiroshi Ishiguro,
“CONTINUOUS WAVELET TRANSFORM BASED HYBRID FILTERING FOR REAL-TIME EMOTIONAL VOICE CONVERSION’’ [PROJECT PAGE]

・High tension emotional voice data for sale conversation. [PROJECT PAGE]

⑧完全選択式チャットボットによる商品推薦
どの商品を買うべきか迷った際に、相談できる相手がいると安心したり買うモチベーションにつながることがあります。そうした相談ができる相手としてチャットボットは信頼してもらえるか、それを明らかにするために、4℃ブランドを展開するFDCプロダクツ様にご協力いただき、4℃オンラインショップにてチャットボットがジュエリープレゼントとしてのを推薦する実証実験を行いました。

書籍：

・ゼロからわかる人工知能仕事編 (ニュートン別冊)「AIと小売業」「接客AI」, 2018/12/17

・ニュートン式超図解最強に面白い!! 人工知能仕事編 (ニュートン式超図解最強に面白い!!) （監修：松原仁）「お店ではたらく三つのAI（p.90）」「気配りのできるAIの開発が進む（p.94）」, 2020/7/31

・ゼロからわかる人工知能仕事編増補第2版 (ニュートン別冊)「AIと小売業」「接客AI」, 2020/11/17

⑨ カスタマサポート支援のための「怒り感情」制御技術
カスタマーサポートなどの感情労働での利用は、テキストチャットの広がりに比べ進んでいるとは言えません。特に技術の低い人が感情労働に携わると、強い心的プレッシャーを受けるなどの問題が起こりやすいことが推察されます。そこで、テキストチャットにおける対話時の「怒り感情」を制御するために、エージェントを対話へ介入させる手法を提案しました。

プレスリリース：

・人工知能技術の研究開発組織「AI Lab」、大阪大学石黒教授との共同研究講座にて、「チャットボットによる話者感情制御」に関する特許を共同出願　~チャットボットがクレーム対応をサポートする時代へ~

発表論文：

・Itaru Kuramoto, Jun Baba, Kohei Ogawa, Yuichiro Yoshikawa, Takayuki Kawabata, Hiroshi Ishiguro,“Conversational Agents to Suppress Customer Anger in Text-based Customer-support Conversations,”International Conference on Human-Agent Interaction (HAI 2018), pp.114-121, 2018.[PAPER]

⑩ロボットが会話を代行する婚活パーティ
人間の代わりにエージェントが代弁することで、コミュニケーションの新しい形とエージェントとの信頼関係を「ロボットが会話を代行する婚活パーティ」を通して検証しました。
その結果イベントでは4組がカップリングし、別日に行った予備実験では実際に交際するカップルも確認され、代理コミュニケーションの可能性を見出すことができました。

プレスリリース：