論文名：Practical Insights into Designing Context-Aware Robot Voice Parameters in the Wild

著者：Amy Koike, Yuki Okafuji, Sichao Song

はじめに

公共空間で働く対話ロボットにとって、声はインタフェースそのものです。聞き取りやすさや理解しやすさはもちろん、好ましさや話しかけやすさにも直結します。一方で、声の設計に関する知見はラボ実験に偏りがちで、実環境のノイズや人の流れ、多人数・立ち話といった現場のややこしさが入ると、同じ設定でも受け取られ方が大きく変わります。本研究は、ショッピングモールでの自然発生的な対話を対象に、音声パラメータ（音量・話速）がどのように知覚され、どのような文脈でちょうどよさが変わるのかを、①6名へのインタビューと、②8日間・725件のアンケート調査の大規模フィールド実験（3×3デザイン）で検証し、コンテキストに応じた声設計の実務的示唆をまとめたものです。

研究背景

たとえば、同じモールでも週末は騒がしく、平日は比較的静かです。周囲に人がいるか、ひとりで使っているか、グループで使っているかによっても、「大きい／小さい」「速い／遅い」の感じ方は変わります。論文には象徴的な場面が示されています。例えば、ロボットが同じパラメータで話していても、ひとりで使うユーザは「大きすぎる」とジェスチャーをする一方で、グループのユーザは「小さすぎて聞こえない」と身を乗り出します。つまり、音声設計は単なるデフォルト値ではなく、環境・社会的状況・関与の深さに応じて変えるべき制御対象だ、というのが本研究の問題意識です。

研究方法

本研究は2段階の自然実験で構成されます：
（1）事前インタビュー：ショッピングモールに設置した案内ロボットと実際に対話してもらい、6名の参加者に半構造化インタビューを実施しました。ここで「時間帯と環境ノイズ」「周囲の人の存在」「ひとり／同伴」「会話への関与の深さ」といった文脈要因が、声の好みを変えることが整理されます。
（2）フィールド実験：続く8日間のモール運用で、音量（V1–V3）×話速（S1–S3）の3×3デザインを被験者間で割り当て、対話後アンケートで「音量がどれくらいに聞こえたか（Q_V）」「話速がどれくらいに聞こえたか（Q_S）」を7件法で取得しました。最終的に725件の有効回答を分析しています。

実験設定

音量は、現場の環境ノイズ（ロボット以外で65–70dB程度）を踏まえて、S/N比で3水準を設計しました。V1はおよそ70–73dB、V2は79–80dB、V3は83–85dBです。話速はGoogle TTSの倍率として、S1=0.8（約120WPM）、S2=1.2（約150WPM：基準）、S3=1.6（約230WPM）を採用しました。

また、動画アノテーションにより年齢（若年層／中年層／高齢層）、平日/週末、周囲の人の有無、1人かグループか、会話が続いたか、動機（機能目的/実験/興味本位/教育目的）を付与し、音量・話速の知覚がどの文脈で変わるかを分析しています。

結果

本研究からまず分かったのは、ロボットの音声パラメータ（音量・話速）には「これが絶対に正しい」という固定の最適値があるわけではなく、置かれている状況によってちょうどよさが変わるということです。公共空間では周囲の騒がしさ、人の流れ、利用者が一人かグループかといった条件が常に変動します。そうした環境では、同じ設定でも「うるさい／小さい」「速い／遅い」の受け取られ方が変わり得ます。

音量については、基本的には環境ノイズに合わせた調整が重要ですが、それだけでは足りません。年齢によって聞こえ方・感じ方が変わることが示唆され、同じ音量でも受け止められ方が一様ではないことが分かりました。つまり、音量は「周囲がうるさいから上げる／静かだから下げる」だけで完結しない設計対象だと言えます。

話速については、特に周囲に人がいるかどうかや、会話がどれくらい深まっているかによって、ユーザがテンポに敏感になる場面があることが示されました。さらに、利用者が「何のために話しかけているか」（目的・動機）によっても、適切に感じる話速のレンジが変わる可能性があります。つまり話速は、単に“聞き取りやすい速度”を選ぶというより、場の空気や対話の進み方に合わせて設計する必要がある、というのが重要な結論です

考察

本研究が示す実務的なポイントは、音量と話速で「適応させるべき文脈」が少し違うことです。音量はまず環境ノイズに合わせるのが基本ですが、そこに年齢差が加わります。高齢者に配慮して大きくすれば聞き取りやすさは改善し得る一方で、周囲の人への外部性（うるささ、会話内容が周囲に漏れること）や、利用者本人の“目立ってしまう”気恥ずかしさを増やす可能性もあります。音量の単純な増幅は、効果と副作用が同時に出やすい「諸刃の剣」になり得る点が重要です。

一方、話速は周囲の人の存在や、対話の深まり方によって「敏感さ」が変わりやすいパラメータです。周囲に人がいると、利用者は無意識に「早く終わらせたい／待たせたくない」という社会的な圧力を感じやすくなり、テンポや“間”に対してシビアになります。逆に会話が深まるほど、ターンテイキングのリズムとしての話速が効いてきます。つまり話速は、環境ノイズというより社会的状況と対話フェーズに合わせて設計するのが合理的です。

これらを踏まえると、公共空間の音声設計は「一つの万能設定」を探すのではなく、(1) 環境ノイズ＋年齢を見て音量を調整し、(2) 周囲の人・会話の深さ・利用目的に応じて話速や間を調整するという二段構えの適応戦略が現実的だと考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment

著者：Sichao Song, Yuki Okafuji, Takuya Iwamoto, Jun Baba, Hiroshi Ishiguro

はじめに

小売領域では、サービスロボットの導入によって「通行人の注目を集める」「立ち止まりを増やす」効果が報告されてきました。一方で現場で本当に問われるのは、その注目が意味のある顧客体験や購買につながるプロセスに転換されるかどうかです。本研究は、数値（Metrics）として観測できるファネル指標と、現場スタッフの解釈・実務上の判断（Meaning）をつなぎ、ロボット導入の効果がなぜそのように現れるのかを、混合研究（Mixed-Methods）で解き明かします。

研究背景

小売店舗でロボットが担いやすい役割は、入口での声かけや存在感によるアテンション獲得です。実際、先行研究でも、立ち止まりや滞在時間の増加は比較的一貫して示されています。しかし、立ち止まりが増えても、店員による接客、入店、試用、そして購入といった下流工程が同じように伸びるとは限りません。さらに実店舗では、ロボットと顧客の二者関係だけでなく、店員がいつ・どのように介入するかという三者協調が結果を左右します。このため、KPIを追うだけでは見落とされる「現場で何が起きていたのか」を同時に捉える必要があります。

研究目的

本研究では、次の2つの研究目的を設定しています：

• RO1：実店舗におけるロボット導入（および入口演出としての什器の併用）が、顧客行動ファネルとサービス成果に与える影響を定量的に検証する。
• RO2：観測された定量パターンを、店舗スタッフの解釈を通じて説明し、実務導入に向けた論点と示唆を抽出する。

研究方法

寝具専門店にて実験を実施しました。高関与・高価格帯の商品を扱うため、来店者はなんとなく見るだけでなく、試用や説明を通じた意思決定が重要になります。実験は12日間で、次の3条件を4日ずつ実施しました。
（1）通常条件：ロボットなし（通常営業）
（2）ロボットだけの条件：入口に対話ロボットを設置
（3）ロボット＋什器の条件：ロボットを専用什器と組み合わせて入口演出を強化

データは2台のカメラで撮影し、通行人→立ち止まり→ロボットによる初期対応→店員への接客引き継ぎ→入店→接客→購入、というサービスファネルを動画アノテーションで定量化しました。加えて、実験直後に店舗スタッフ6名（店長1名＋店員5名）への半構造化インタビューを行い、数値の背景にある判断・規範・フリクションを抽出しました。

結果

定量結果

もっとも象徴的な結果は、「入口で立ち止まる人は増えるのに、店員さんが主導するその先の流れは減ってしまう」というねじれです。店の前を通った人数は、通常条件が 20,180人、ロボットだけの条件が 21,938人、ロボット＋什器の条件が 20,035人でした。通行人のうち「立ち止まった割合」は、0.73% （通常条件）→ 1.50%（ロボットだけ条件） → 2.48% （ロボット+什器条件）と段階的に増えており、条件による差は統計的にもはっきりしていました。

一方で、「立ち止まった人の中でその後どうなったか」を見ると、店員さんが関わる指標は全体として下がっています。

• 店員さんが声をかけた割合： 19.7% （通常条件）→ 13.4%（ロボットだけ条件） → 4.8%（ロボット+什器条件）
• 入店した割合は：32.0% （通常条件）→ 20.1% （ロボットだけ条件）→ 9.5%（ロボット+什器条件）
• 店内で接客を受けた割合： 18.4%（通常条件） → 6.1% （ロボットだけ条件）→ 4.0%（ロボット+什器条件）
• 立ち止まった人のうち購入した割合： 11.6% （通常条件）→ 5.5%（ロボットだけ条件） → 2.6% （ロボット+什器条件）

で、いずれも条件による差は有意でした。

なお、購入を「通行人全体あたり」に換算すると 0.08% （通常条件）→ 0.08%（ロボットだけ条件） → 0.07%（ロボット+什器条件） で、有意な差はありませんでした。つまり、入口で注目を集めても、それがそのまま売上の量（買う人の増加）につながるとは限らないことが示されました。

定性結果

インタビュー分析は、上記のねじれを説明する複数のメカニズムを提示します。

第一に、入口のロボットは強い視覚的アンカーとなり、特に子どもを中心に注意を引きました。その結果、家族連れが立ち止まる割合が増えますが、寝具の購入意思決定者である大人の購買意図と必ずしも一致しません。「子どもが会話して満足し、そのまま去る」という入口でニーズが閉じるパターンが報告されています。

第二に、店員側の「非侵入」規範が介入を遅らせます。ロボットが話している最中に割り込むことを避け、適切な間（会話の切れ目）を探す必要がある一方、応答生成の待ち時間や聞き返しなどの間が曖昧で、店員がタイミングを掴みにくいという指摘がありました。

第三に、什器は視認性を高め、試用（サンプルに触るなど）を促す一方で、入口に「小さなブース＝マイクロスペース」を形成し、そこで会話や試用が完結しやすくなる可能性があります。入口演出の強化は引き留める力を上げるが、店内へ誘導する力を同時に弱めることがあり得る、という含意です。

考察

本研究は、店にロボットを入れたときの効果を、ひとつの数字だけで見るのではなく、「流れ」として見ていく考え方を示しています。入口で人の目を引いて立ち止まってもらうだけでは足りません。ロボットが話しかけたあと、店員さんが評価や提案に引き継ぐ（Handoff）がうまく起きてはじめて、入店・接客・購入といった店内の行動が動き出します。

今回の運用では、店員さんの判断ややり方を尊重するために、「こういう手順で引き継ぐ」といった決まった型（台本）をあえて作りませんでした。現場の自然さは保てる一方で、引き継ぎの合図がはっきりしなくなり、店員さんが入るタイミングが遅れる → その先の行動が弱くなる、という可能性が考えられます。

本論文では、現場で導入していく上でのポイントを次のように整理しています。

（1）役割と入るきっかけをはっきりさせる

ロボットは入口での案内・呼び込み、店員さんは評価・提案・最後の後押し、という役割分担を言葉で明確にします。そのうえで、どんなときに引き継ぐか（会話が途切れたとき、サンプルに触れている時間が一定を超えたとき、など）を、重くならない範囲で決めておきます。

（2）引き継ぎを見て分かる形にする

ロボットのひと言（例：「スタッフがご案内します」）や、ライト・画面表示など、強すぎない合図で店員さんが入りやすくします。あわせて、店員さんが状況をつかみやすい配置（視線が届く、会話が聞こえる距離）も大事です。

（3）入口の見せ方は「見つけやすさ」と「店内への進みやすさ」を両立する

什器で目立つほど、入口の周りだけで完結してしまうリスクもあります。サンプルを少し店内側に置く、境目を作りすぎない、見通しを確保する、といった工夫で、「自然に中へ進める流れ」を設計します。

（4）見るべき指標を広げる

立ち止まりだけでなく、引き継ぎがうまく起きた割合（店員さんの介入が発生した割合）や、店内で評価・提案が始まった割合など、流れの途中の指標も、KPIとして持つことが重要です。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：What You Reward Is What You Learn: Comparing Rewards for Online Speech Policy Optimization in Public HRI

著者：Sichao Song, Yuki Okafuji, Kaito Ariu, Amy Koike

はじめに

対話ロボットを公共空間に設置すると、ロボットとインタラクションを行う利用者の年齢等の属性や、 対話目的は多種多様となります。こうした多様な環境に対して、オンライン学習（多腕バンディットなど）でロボットの振る舞いを現場適応させる試みは増えています。一方で現場導入で必ずぶつかるのが、「何を成功（reward）とみなして学習させるか」という設計です。満足度を上げたいのか、会話をきれいに終えたいのか、会話を続けてエンゲージメントを取りたいのか。どれも良さそうですが、実は報酬の置き方が変わると、学習される最適な話し方も変わってしまいます。本研究はこの点を、12日間・1,400件超の実地運用で比較検証しました。

研究背景

Thompson Sampling（TS）をはじめとする多腕バンディット(Multi-Armed Bandit; MAB)は、探索と活用のバランスを取りながら限られた試行で累積報酬を最大化でき、公共空間のように属性が多様な環境と相性が良いとされています。ただしMABは、最終的に「観測できる報酬」しか最適化できません。主観評価（ユーザアンケート）のように分かりやすい指標もあれば、会話の終わり方や継続といった行動指標もあります。それぞれが指す良い対話は異なるため、報酬の選び方がそのままロボットの人格・運用方針を規定します。本研究は、同一環境・同一行動空間・同一学習アルゴリズムのまま、報酬定義だけを切り替えて比較しました。

研究方法

本研究では、対話ロボットの話し方を2軸で離散化し、計6つのアーム（行動）から選ぶ問題として定式化します。
・話速：Slow（遅い） / Normal（普通） / Fast（速い）
・冗長さ：Concise（簡潔）/ Detailed（詳細）
6アームは SC（Slow-Concise）、SD（Slow-Detailed）、NC（Normal-Concise）、ND（Normal-Detailed）、FC（Fast-Concise）、FD（Fast-Detailed）です。

学習アルゴリズムはベルヌーイ報酬×Beta事前分布のThompson Samplingを採用し、各対話の終了後に報酬を受け取って事後分布を更新します。初期偏りを避けるため、各条件で30件のコールドスタート（各アーム5回ずつ）を行った上で、450件の学習フェーズへ移行しました。

実験

実験は商業施設にサービスロボットを設置し、12日間運用して実施しました。総インタラクションは1,400件超です。

比較した報酬条件は、運用上の目的が異なる3種類の二値報酬です。
（1）Ru（利用者評価）：対話後アンケート（7段階）で6以上を成功
（2）Rc（会話の締め）：ありがとう／さようなら等の明示的なクロージングに到達したら成功
（3）Rt（≥2ターン）：2ターン以上（ロボット1→ユーザー1→ロボット2→ユーザー2）が成立したら成功
Ruは満足度、Rcは効率的な完結、Rtは対話継続意欲をそれぞれ反映しています。

各報酬条件では、ユーザがインタラクションを行うごとにリアルタイムに報酬を与えました。Ru条件の場合は、インタラクションごとに利用者にアンケートを取って、アンケート評価を収集しました。RcとRt条件の場合では、裏にいる観測者が対話内容を観測しており、インタラクションが終わるタイミングで報酬評価を行いました。報酬のための評価が得られたタイミングで学習が回るようなシステムを組むことで、インタラクションごとに学習を回していく設計としました。

結果

結論から言うと、同じアーム集合でも、報酬定義が違うだけでTSが好むアームは明確に変わりました。満足度（Ru）では、選択率が最も高かったのはND（50.0%）で、成功率が最も高かったのはNC（63.3%）でした。学習の前半ではNDが強く選ばれ、後半でNCが伸びていくという学習途中での逆転も観察されています。会話完結（Rc）では、NCが選択率30.8%、成功率39.2%と最も良く、SC/ND/FCも近い水準で推移しました。一方でSDとFDは全期間で成功率0%となり、完結指標とは相性が悪いことが示唆されます。会話継続（Rt）では、選択率が最も高かったのはSC（42.4%）、成功率が最も高かったのはFD（59.8%）でした。ゆっくり簡潔と速く詳細という、異なるスタイルがそれぞれ継続に寄与する可能性が示されました。

考察

本研究では、全インタラクションを動画記録し、混雑、単独/グループ、案内要求、動機をアノテーションした上で、GLM（一般化線形モデル）でアーム×文脈の相互作用を分析しています。たとえばRuでは、単独ユーザはグループより高評価を得にくい一方で、単独場面ではNDが相対的に有利になる傾向が示されました。また教育目的の来訪者ではNC/ND/FDが高評価になりやすいなど、目的によって良い話し方が変わる可能性が示唆されています。Rtでは、混雑時にNDやFCが不利になるなど、同じ継続指標でも周辺状況で成否が変わる兆候が見られます。

本研究のメッセージは明快です。オンライン学習において「何を報酬とするか」は、最終的にロボットがどんな会話を学ぶかを決めます。満足度を取りたいならRuに寄せた設計が必要ですし、回転率や案内効率を重視するならRcが合います。会話を続けたいならRtが使えますが、その結果として生まれる話し方は、満足度最適化とは一致しないかもしれません。また、文脈によって最適アームが変わる以上、将来的には文脈付きバンディットのように「状況を見て話し方を切り替える」枠組みへ進むのが自然です。実運用におけるセンサー設計・ログ設計・公平性や社会的許容性なども含め、報酬と文脈を一体で設計することが重要になります。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

Title：Robust Multimodal Emotion Recognition from Incomplete Modalities via Query-Based Unimodal and Cross-Modal Learning

Authors：Ryo Miyoshi, Mayu Otani, Yuki Okafuji

はじめに

HRI（Human-Robot Interaction）では、ロボットが人と同じ空間で関わるため、相手の感情やストレス状態を把握し、声かけや動作の強度・タイミングを調整することが重要です。ユーザの感情を適切に捉えられないと、不適切な応答や過度な介入につながり、ユーザ体験や信頼に影響し得ます。こうした背景から、複数の手がかりを統合して人の状態を推定できる感情認識、とりわけマルチモーダルなアプローチが注目されています。一方で、ロボットを実際にフィールドに持っていくと、必ずしも理想的な条件でセンシングできるとは限りません。人の動きや遮蔽で映像が欠けたり、環境雑音で音声が取りづらかったり、通信やデバイス都合で一部の信号が落ちたりと、結果としてデータ欠損が生じやすくなります。そのため、欠損を前提にしても安定して動く感情認識が求められます。マルチモーダル感情認識（MER）は、テキスト・音声・映像といった複数モダリティを組み合わせて人の感情状態を推定するタスクです。単一モダリティよりも多面的な手がかりを活用できる一方で、現実には次のような理由で入力が欠損することが少なくありません。

• センサー故障や通信エラーで 音声が途切れる／映像が欠ける

• プライバシー要件で 特定モダリティが利用できない

• 収録環境の制約で 品質が悪い（実質的な欠損）

しかし、多くの既存研究は学習時も推論時も全てのモダリティが揃うことを仮定しており、欠損が起きると性能が大きく落ちやすい、という課題があります。そのような課題に対して、ロバスト性を向上させる手法も提案されていますが、学習時には欠損のないデータを必要としています。一方で、実世界で収集されるデータに欠損を含めないことは困難であるため、そのようなデータでもロバストに動作する必要があります。

既存手法の課題

欠損に頑健にするために、従来は主に次の方向性が採られてきました。

1. Reconstruction：観測できたモダリティから欠損モダリティを生成・補完し、完全入力に近づける方法。ただし、感情推定に不要な情報まで生成してしまったり、復元タスクがボトルネックになる可能性があります。

2. Knowledge Distillation：完全モダリティで学習した Teacher を用意し、不完全入力の Student を Teacher に近づける方法。ただし、Teacher 学習のために完全データが必要になりやすく、現場では用意できないケースがあります。

本研究では、「完全モダリティに依存せず、不完全入力だけで頑健な表現学習ができる」ことを狙った手法を提案します。

提案手法

本研究では、欠損（不完全）なモダリティ入力だけで学習できる頑健なMERフレームワーク Dual-Query Fusion（DQF）を提案します。DQFは復元（reconstruction）や蒸留（distillation）に頼らず、学習可能なクエリを用いて「特徴抽出」と「モダリティ融合」を安定化します。

(1) 事前学習エンコーダで特徴抽出：テキスト/音声/映像の埋め込みを取得（エンコーダは固定）。

(2) Q-UA（単一モダリティの頑健化）：各モダリティに対してクエリを自己注意で更新し、入力特徴に注入してTransformerで表現を抽出。欠損やノイズがあっても重要な手がかりを拾いやすくします。

(3) Q-CA（モダリティ融合の安定化）：モダリティ対（ta/tv/av）ごとに共有クエリを介した注意で融合し、強いモダリティへの過度な依存を抑えながら補完情報を統合します。

(4) 多粒度の学習：単一・2モダリティ・3モダリティの各粒度で予測損失を入れ、欠損パターンが変わっても性能が崩れにくいように学習します。

実験

実験条件

本実験では、CMU-MOSEIというセンチメントに関するデータセット、MELDという7感情の分類タスクに関するデータセットの2つの公開データセットを用いて評価しました。これらのデータセットには欠損が含まれていないため、各モダリティの系列に対してランダムにマスクし、欠損フレームをゼロベクトルに置換します。欠損率は 0〜1 の範囲で変化させ、幅広い欠損状況を評価します。また、実験では欠損のない入力に対する評価、欠損のある入力に対する評価を実施しました。

実験結果

欠損のない入力および欠損のある入力のいずれの評価において、提案手法は比較手法を上回る性能を達成しました。特に欠損なし条件では、DQFは欠損入力のみで学習しているにもかかわらず、完全モダリティを前提に学習する代表的手法（MulT / MISA / DMD など）を含む complete-modality系ベースラインを上回る結果となりました（表1）。

また欠損あり条件でも、復元系・蒸留系といった従来のロバスト手法を一貫して上回り、特に3モダリティ全てに欠損が入る最難条件でも改善が確認されています（表2・表3）。

おわりに

論文中でも述べている通り、現時点の評価は主にシミュレーション欠損と2つのベンチマークに基づいています。今後は、実運用に近い欠損データでの検証や感情認識以外のより広いアフェクティブ（affective）タスクへの展開などを進めていきたいと考えています。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

要約

• 人間もロボットも日々意思決定して存在している
• 人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか？
• 現状では、対話相手の心的状態を理解した上での意思決定ができないところが異なる
• 将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないといえるかもしれない
• もし、そうでないとしたら、それが人間らしさというものになるのだろう。

はじめに

我々は常に意思決定をしている。例えば、休日に何をするかなど枚挙にはいとまがない。

もし、この意思決定が人工物、例えばコンピュータができるとしたらどうだろうか。例えば、命令が与えられていない時何をするかなど人と同じく枚挙にいとまがない。

この問いに先駆的に取り組んだ人はノーベル経済学賞を受賞したハーバートA・サイモンである。ハーバートA・サイモンはこの問いについて『意思決定の科学』[1]にまとめた。『意思決定の科学』では、経済の観点において、人間とコンピュータとの意思決定の違いについて述べている。「発見的な問題解決」はコンピュータには解決できないとサイモンは述べている。

今回はこのサイモンと異なる観点で、「人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか」という問いを取り扱う。一般的な意思決定から始まり、サイモンのようにコミュニケーションの観点に絞り、科学的な面や工学的な面から比較を行う。果たして人間とロボットは意思決定、コミュニケーションにおいてそれらを分かつ明確な境界はあるのだろうか。

現状における人間の意思決定とは

まず、人間の意思決定とは何かを考えてみよう。

一般的な人間の意思決定とは

一般的な人間の意思決定とは、”問題解決に当たって，実行可能な行為の中から最適と思われるものを選択すること”[2]である。なお、傍観のような積極的に何もしないことも意思決定に含まれるとも考えている。また、感覚遮断実験のように何も刺激を与えないときに積極的にその環境から出ようとすることも意思決定に含まれると思われる。

この章では個人の意思決定について焦点を合わせることにする。したがって、集団や法人といった存在の意思決定は特に取り扱わないとする。

人間の意思決定をすべて説明する理論はまだ難しいと言った状況にある。現状では意思決定の一部を切り取り、モデル化している段階にある。したがって、今回は意思決定のモデルを数多く紹介するのではなく、ロボットと関連の深いものを中心に説明していく。

人間の意思決定に関する初期の研究としてパブロフが発見した条件反射がある。条件反射はパブロフの犬という有名な実験で示された意思決定方法である。パブロフの犬で発見したことは特定の条件では意識によらず無意識が行動を決定することを後天的に学習できるということである。ただし、意思決定と言うにはあまりに機械的な仕組みである。

人間の意思決定に関する中期の研究としてスキナーが体系化したオペラント条件付けがある。オペラント条件付けはスキナー箱という名前で有名な実験で示された意思決定方法である。スキナー箱で発見したことはブザーという先行刺激をネズミに与えることで、餌が出てくるレバーを押す行動が決定されるように意識的に学習できるということである。オペラント条件付けによる意思決定の頻度の高まりを強化と呼ぶ。

人間の意思決定に関する後期の研究としてベンジャミン・リベットの研究がある。ベンジャミン・リベットの研究で発見したことは、ボタンを押すという単純な意思決定は意識によって決められる前に脳が決めているということである。この研究から人間には自由意志が存在しないのではないのかとの仮説が立てられ、物議が醸されている。

以上の研究から、人間の意思決定の一部は極めて機械的であり、ロボットに実装可能であると考えられる。

コミュニケーションにおける人間の意思決定とは

コミュニケーションにおける人間の意思決定とは、対話相手から何らかの反応を受け取ったときに何らかの反応を返すことである。なお、積極的に無言を返すことも意思決定に含まれるとも考えている。

最も単純で大切なコミュニケーションに関する意思決定は挨拶だろう。対話相手から挨拶された場合、通常挨拶し返すのが礼儀である。しかし、無言で答えることも選択肢の１つとしてある。もちろん無言で答えた場合、お互いの仲が険悪になるということは言わずもがなだろう。

もう少し複雑なコミュニケーションに関する意思決定としては対話がある。対話にはいろいろな要素が含まれている。たとえば、対話を開始すべきか終了すべきかどうかというエンゲージメントの問題や、対話中に話を切り出すかというターン・テイキングの問題など様々ある。

最も重大と思われるコミュニケーションの意思決定として治療方針の決定がある。例えば、延命治療を行うかどうかは本人の意思決定によって決めるものだが、意思決定できない状態にある場合もある。

現状におけるロボットの意思決定とは

次にロボットの意思決定とは何かを考えてみよう。

一般におけるロボットの意思決定とは

ロボットの意思決定とは、センサからの入力に対して、モーターなどのエフェクターへ何を出力するかをアルゴリズムに基づき決定することだと筆者は考えている。なお、積極的に何も出力しないことも意思決定に含まれるとも考えている。このように定めるとロボットアームの制御から複数ロボットの協調動作まで広く定義される。

この定義に基づいた最も単純なロボットの意思決定方法とはルールベースである。ルールベースとは「もしAが入力されたならば、Bを出力する」という仮定法で記述されるアルゴリズムである。例えば、もし人間から「こんにちは」と話しかけられたら、ロボットは「こんにちは」と挨拶し返すことがある。人間の条件反射はまさにルールベースな行動であると言えよう。

ルールベースを発展させたものとして、エキスパートシステムがある。”エキスパートシステムとは、ある分野の専門家の持つ知識をデータ化し、専門家のように推論や判断ができるようにするコンピュータシステムのこと”[3]である。例えば、エキスパートシステムは、人間は死ぬという知識とアリストテレスは人間という知識から、アリストテレスは死ぬという命題は真であると導くことができる。しかし、このルールベースで実世界の意思決定をすべてを記述しようとすると、無限のルールを有限時間しか存在できない人間が決める必要となる。

ルールベース以外の意思決定方法として、非ルールベースがある。非ルールベースとは、ルールベースではなく、機械学習や統計学、ベイズ推定、最適化手法のことを指す。これらの定義はEUのAI規制ガイドライン[4]の付録を参考にして作った。人間のオペラント条件づけはまさに非ルールベースであると言えよう。

非ルールベースの中で特筆すべき意思決定方法として強化学習が挙げられる。強化学習とは環境の中にいるロボットが環境の状態を観測してその観測結果に基づいて行動することを試行錯誤しながら学習する意思決定方法である。このとき、ロボットの製作者が望ましいと思われる状態にロボットが行動により変化させられたならば、報酬が与えられ、強化される。強化学習は人間のオペラント条件づけの強化をモチーフに作られたものだと考えられている。[5]

逆にロボットの意思決定を制限する指針としてアイザック・アシモフが『われはロボット』にて提示したロボット工学三原則が挙げられる。ロボット工学三原則とは、第一条から優先適用される以下の通りのルールである。

• “第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。” ([6]より引用)
• “第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が第一条に反する場合は、この限りではない。” ([6]より引用)
• “第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。” ([6]より引用)

ロボット工学三原則は、SF小説をミステリアスにするための設定ではある。しかし、作中にもある通り、この原則は模範的な人間の行動ルールであり、ロボット工学者はなるべくならばこの原則を守ったロボットを作るべきだとされている。

コミュニケーションにおけるロボットの意思決定とは

コミュニケーションにおけるロボットの意思決定とは、対話相手であるユーザの状態に応じて適切な行動をロボットが決定することと定義できる。この定義からルールベースや強化学習はこの意思決定の問題を解決する手段の例と言える。

特にこの広範に渡るコミュニケーションにおける意思決定の問題を解決する手法としてポテンシャルを秘めているのが強化学習である[7]。この分野をまとめた論文[7]では、人間とロボットとの強化学習をInteractive Reinforcement Learningとして定義しており、新しい研究分野であると示唆している。この問題を強化学習で解いた特筆すべき研究としてQureshiらの研究[8]がある。Qureshiらの実験の様子を図１に示す。

図１ 握手を求めるタイミングを映像から判断するロボット([8]より引用)

Qureshiらは人間を含む映像を入力として握手などの行動を出力する意思決定問題を深層強化学習により世界ではじめて解いている。これは限りなく人間に近い意思決定手法と言えるだろう。

そのアーキテクチャが図2である。アーキテクチャはMultimodal Deep Q-Network (MDQN)と呼ばれている。グレースケールの画像と深度画像を入力とし、握手などの行動を出力としている。アーキテクチャの構造は人間の視覚野と類似している畳み込みニューラルネットワークを用いている。このアーキテクチャが特に人間に似ているように見える。

図２　Multimodal Deep Q-Networkのアーキテクチャ（[8]より引用）

筆者であるAI Labの尾崎安範もこの分野を研究する者の一人である。「空気を読むロボット」というコンセプトをベースに、人間の心的状態と相関する行動に基づいて、コミュニケーションの意思決定を強化学習で学ぶロボットを開発した[10]。ロボットの様子を図３に示す。

図３　展示員のタスクを与えられた、空気を読むロボット（右側）（[10]より引用）

このロボットは図2の環境にいる展示員のタスクを与えられており、トイレに行く人を邪魔せずに展示に興味がありそうな人だけに声をかけるように学習した。

図４　展示員のタスクを与えられたロボットの実験環境（[10]より引用）

筆者の研究はQureshiらとは違い、既存研究に基づいた人間の行動モデルを明示的に仮定して強化学習を行う。このため、明示的に人間の心的状態と相関する行動を判断できるようにできている。この人間の行動モデルにより、ロボット工学三原則の第一条と第二条に適する行動を自律的に獲得できるように強化学習できている。

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは、対話相手の心的状態を理解した上での意思決定ができないところである。例えば、「おはよう」と人間が言ったものの元気がない様子であれば、「おはようございます。昨日は何かあったんですか？」とロボットが心配することは今の所できない。もちろん、そのルールだけを実現することは可能ではあるが、類似のルールを記述しきることは難しい。

コミュニケーションにおいて人間とロボットを区別する方法として、チューリングテスト[11]がある。チューリングテストは例えばテキストベースの雑談で人間と人工知能で見分けるものであった。実はすでにこのチューリングテストを突破する人工知能は現れており[12]、この問題は解決されたとされている。もう少し発展させて複雑な意思決定に関しても人間と変わらないことを示せれば、意思決定に関しても人間とロボットを区別できないという結論が得られるかもしれない。

やがて社会で活躍するロボットの意思決定とは

やがて社会で活躍するロボットの意思決定とは、心の理論に基づいた意思決定である。心の理論とは、”他者の心を類推し、理解する能力である”[13]。また、同義語として、”mentalizing”がある[13]。心の理論を持つロボットを実現することは容易ではない。特に非言語の領域ではプログラミング言語のような言葉にすること自体が困難であるため、研究が難しい。

心の理論の一部を機械的に説明した「心を読むシステム」をバロン・コーヘンが提案している[14]。心を読むシステムは、意図の検出器、視線方向の検出器、注意共有の仕組み、心の理論の仕組みで構成されるシステムである。ここで注目してほしいのは視線方向の検出器である。他のモジュールと違い、かなり物理的で客観的である。ロボットに実現するには容易な部類であると言えよう。ただし、その容易な視線検出も、例えば、歩行者の視線を取るのは現代の技術でも難しいというのが実情である。なお、Proof of Conceptとしての心を読むシステムを筆者が実装した例[15]がある。その様子を図５に示す。

図５　心を読むシステムを実装した対話システムの例 ([15]より引用)

筆者が実装した心を読むシステムは、以下のステップで心を読む。

1. 画面上のエージェントが画面と向き合っている人間がいる。
2. 画面上には表示されている物体、球と立方体２種類が表示されている。
3. 人間は球か立方体、あるいは虚空をみて、「これはなんですか？」という代名詞の質問を行う。
4. 画面上のエージェントは人間の視線を見てどの物体を見ているか推察し、例えば「これは球です」といった返答を行う。

これという代名詞は言語の外にある非言語情報がなければ、実現は不可能である。人間は決して言語だけでできているわけではないことがわかる。心を読むシステムをさらに発展させたシステムをロボットに実現することが今後の課題と言える。

近い将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないと言える日が来るのだろう。そのときには多くの人の命の救う意思決定が客観的にできるようになるかもしれない。

しかし、その日が来なければ、その違いが人間らしさというものになるのだろう。その人間らしさを探すのが我々認知科学を研究するもののの勤めではないかとも私は思うのだ。

参考文献

[1] ハーバートA・サイモン, 稲葉元吉, 倉井武夫共訳, “意思決定の科学”, 1979

[2] “最新 心理学事典”, 2013, https://kotobank.jp/word/意思決定-30537

[3] “エキスパートシステム”, IT用語辞典 e-Words, 2018 https://e-words.jp/w/エキスパートシステム.html

[4] “Proposal for a Regulation laying down harmonised rules on artificial intelligence”, 2021

[5] 吉本潤一郎, 伊藤真, 銅谷賢治, “《第10回》脳の意思決定機構と強化学習”, 計測と制御, 2013

[6] アイザック・アシモフ作, 小尾芙佐訳, “われはロボット〔決定版〕”, 2014

[7] Neziha Akalin et al., “Reinforcement Learning Approaches in Social Robotics”, Sensors, 2021

[8] Ahmed Hussain Qureshi, Yutaka Nakamura, Yuichiro Yoshikawa and Hiroshi Ishiguro, “Robot gains social intelligence through multimodal deep reinforcement learning”, Humanoids, 2016

[10] Yasunori Ozaki, Tatsuya Ishihara, Narimune Matsumura, Tadashi Nunobiki, “Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?”, IROS 2019

[11] A. M. TURING, “I.—COMPUTING MACHINERY AND INTELLIGENCE”, Mind, 1950

[12] “露スパコンに「知性」、史上初のチューリングテスト合格”. AFP通信, 2014 https://www.afpbb.com/articles/-/3017239

[13] 大神田 麻子, 板倉 昭二, “心の理論”, 2021, https://bsd.neuroinf.jp/wiki/心の理論

[14] サイモン バロン=コーエン, 長野 敬 (翻訳), 今野 義孝 (翻訳), 長畑 正道 (翻訳), “自閉症とマインド・ブラインドネス”, 2002

[15] 尾崎安範, “これ”はなんですか、コンピュータさん？ -「心を読むシステム」の実装- https://qiita.com/alfredplpl/items/81d6e56a48323dadec6d

さて、インタラクションといえば、ARやVRを始めとしたxRが巷で流行っていると思います[1]。たとえば、家具のCGオブジェクトを現実空間に重ねて表示[2]したり、VRゴーグルをかぶって仮想空間の物体をリズムに合わせて斬るゲーム[3]なんかがあります。
このxRではユーザ体験を向上させるために、物体や人体との距離などを測定することがあります。たとえば、AR上でオブジェクトが障害物に隠れる現象（オクルージョン）を再現するため、VR空間上に手を表示するため、空間を３Dモデルとして保存するために測定されます。

このときに役立つハードウェアがデプスセンサやLiDARなどと呼ばれる3Dセンサ（俗称）[4]になります。しかし、この3Dセンサはたくさん種類があり、それぞれどのような特性を持つのか私を含め知っている人は多くないと思っております。

本記事では、インタラクションに役立つ3Dセンサについて、その測定原理や仕様、実際の測定結果を分析してお伝えします。

3Dセンサの測定原理とその比較

この章では３つの距離の測定方法について大雑把に説明します。

• ToF (Time-of-Flight) 法[5]: 光をセンサの正面に投射し、その光が反射して返ってくるまでにかかった時間から距離を計算する測定法です。
• アクティブステレオ法[6]: 光をセンサの正面に投射し、その反射光の位置から距離を計算する測定法です。
• パッシブステレオ法[6]: ある点を２つの地点から撮影し、その点の見え方のズレから距離を計算する測定法です。

これらを一般論として定性的に比較すると表１のとおりとなります。

表１ センサの測定原理の定性的比較（○：良い、△：普通、×：悪い）

このように各測定原理には一長一短があります。次の章ではこれらの測定原理を用いた市販の3Dセンサを比較してみます。

３Dセンサの定量的比較

この章では前の章で説明した測定原理を使った市販の3Dセンサを仕様の観点から定量的に比較してみます。比較の結果が表２となります。

表２　市販の３Dセンサとその比較

※撮影モードが切り替えられる機種も含まれるため、それらの機種は比較しやすい撮影モードを選びました。詳しくはそれぞれの仕様書をご覧ください。

表２を見ると、どのセンサもおおよそ似たような数値が並んでいるように見えます。しかし、よくよく眺めてみると、各センサの違いが見えてきます。例えば、Azure Kinect DKでは測定できる距離が他のセンサに比べ短いものの、視野角は垂直水平ともに120度ととても広いことがわかります。なお、Azure Kinect DKには測定できる距離がそこそこ長くできる一方、視野角は狭くなる撮影モードもあります。一方でZED 2を見ると20mも取れて、視野角はAzure Kinect DKに及ばないもののそれに次ぐ広さを持っています。ぱっと見たところ、ZED 2が全体的にバランスが良く、ZED 2を使えばいいのではないかと感じさせられます。しかし、測定時にCUDAが必要なところがネックとなる場合があります。
表２を見ると、センサの性能はおおよそわかるものの、実際に撮影した画像を見ないと直感的にわからないところもあります。そこで次の章では実際の撮影結果を比較してみます。

３Dセンサの定性的比較

この章では、これまでの知識を踏まえ、実際に撮影した画像をもとに定性的に比較してみます。

撮影条件

撮影する照明条件によって測定結果が大きく変わってくるため、今回は撮影条件をコントロールしやすい屋内の広い場所にて撮影を行います。実験場所の写真を図１に示します。この場所の広さはおよそ18[m] x 17 [m]となります。今回は対角線上に撮影するので最大およそ20m程度の奥行きがあります。撮影ソフトや再生ソフトはそれぞれのセンサに標準で付属しているものを利用しました。たとえば、Azure Kinect DKの場合k4arecorderを、 RealSense L515はrealsense-viewerを利用しました。撮影モードは表３のとおりです。なお、表３に書いてあるパラメータ以外の設定はデフォルトとしました。視野角の違いが見た目でわかりやすくするため、測定位置は固定した三脚で行います。被写体はパンダのぬいぐるみ、デッサン人形、デッサン用の手、ペットボトルです。被写体の写真を図２に示します。パンダのぬいぐるみは各センサの弱点である黒色を含む物体として、デッサン人形は人の代わりとして、デッサン用の手は人の手の代わりとして、ペットボトルは透明な物体として被写体に選びました。今回は倫理的な観点から人の撮影をあえて行っていません。被写体とカメラがおおよそ2m程度となるように被写体とそれらを乗せる台を設置しました。

ちなみに本記事のデータは私の研究の一部として取得したものであり、この記事を書くことを主目的として撮影したものではありません。

図１　実験場所を撮影した写真。前者は正面から、後者は横から撮影したもの。

図２　今回使う被写体たち。左からパンダのぬいぐるみ、デッサン人形、デッサン用の手、ペットボトル。

表３　各センサの撮影モード設定

撮影結果と比較

各センサごとに撮影した結果を順に並べていきます。

Azure Kinect DKの撮影結果

Azure Kinect DKにはさまざまな撮影モードがあるため、今回は画角が広いが距離は短い撮影モードWFOV 2×2 Binnedと画角が狭いが距離は長い撮影モードNFOV 2×2 Binned を試しました。まず、表３にあるWFOV 2×2 Binnedで撮影した結果を図３に示します。

図３　Azure Kinect DKのWFOV 2×2 Binnedモードで撮影した画像。１番目から順にカラー画像、深度画像、色なし点群を示している。（点群に色がないのは深度画像の画角の広さを優先したため）

次に、NFOV 2×2 Binnedで撮影した結果を図４に示します。

図４　Azure Kinect DKのNFOV 2×2 Binnedモードで撮影した画像。１番目から順にカラー画像、深度画像、色付き点群を示している。

Azure Kinect DKの撮影モード同士の比較

Azure Kinect DKの撮影モードWFOV 2×2 BinnedとNFOV 2×2 Binnedで比較してみます。図3を見るとWFOV 2×2 Binnedモードでは、カメラの真上にある天井から真下にある床まで点群が取れていることがわかります。ただし、ToF法の弱点である透明なペットボトルが測定できていません。図４を見ると、WFOV 2×2 Binnedと違い、遠くの壁まで点群が撮れていることがわかります。また、ペットボトルもかろうじて撮れていることがわかります。このようにAzure Kinect DKは撮影モードで撮影時の特性が変わるという性質を持っています。この原因は詳しくはわかりませんが、２つの撮影モードで光を投影する方法が異なるため、撮影後の後処理が異なるためだと考えられます。後処理でのパラメータ調整次第ではペットボトルを測定できるようになるかもしれません。

RealSense L515の撮影結果

表３に示した撮影モードで撮影した結果を図５にしめします。

図５　RealSense L515で撮影した画像。１番目から順にカラー画像、深度画像、色付き点群を示している。

Azure Kinect DKとRealSense L515との比較

同じToF法で測定しているAzure Kinect DK (NFOV 2×2 Binned)とRealSense L515とで比較してみます。 表３を見てもわかりますが、L515のほうが深度の解像度が高く、これが深度画像や点群の細かさとして測定結果に現れています。例えば、デッサン人形の両手を見るとわかりますが、Azure Kinect DKではだいぶギザギザになって見えますが、L515では直線状に見えます。一方で、L515ではペットボトルを測定できていません。また、床面や天井があまり測定できていないのも気になります。

RealSense D455の撮影結果

表３に示した撮影モードで撮影した結果を図６にしめします。

図６　RealSense D455で撮影した画像。１番目から順にカラー画像、深度画像、色付き点群を示している。

RealSense D415の撮影結果

表３に示した撮影モードで撮影した結果を図７にしめします。

図７　RealSense D415で撮影した画像。１番目から順にカラー画像、深度画像、色付き点群を示している。

RealSense D455とD415との比較

同じアクティブステレオ法で測定しているRealSense D455とD415で比較してみます。 D455はD415よりも新しいセンサであり、画角が広く測定限界距離は２倍となっており、上位互換のようなセンサになっています。それぞれの深度画像を見てみると、D455のほうが画角の広さからか床面や天井がなめらかに検出されていることがわかります。ただし、白飛びしている床の深度はいずれも撮れていない事がわかります。なお、表２の仕様では10mほどの深度までが撮影できるのに撮影できていないように見える原因は再生ソフトの仕様が4mまでしか表示されないようになっているためです。このため、RealSense SDKでデータを見ると4m以上も取得できていることが確認できます。ただし、4m以上から誤差が非線形に大きくなっていきます[11]。

ZED 2の撮影結果

表２に示した撮影モードで撮影した結果を図８にしめします。

図８　ZED 2で撮影した画像。１番目から順にカラー画像、深度画像、色付き点群を示している。

Azure Kinect DK とZED 2との比較

ToF法で測定しているAzure Kinect DK (NFOV 2×2 Binned)とパッシブステレオ法で測定しているZED 2とを比較してみます。Azure Kinect DKでもそれなりに遠くまで測定できていましたが、ZED 2の深度画像を見るとカラー画像から見えるほぼすべての領域を測定できているように見えます。最も遠いところで20m程度あるのですが、それでも測定できているように見えます。これはAzure Kinect DKよりも遥かに測定できているように思えます。しかし、ZED 2 の点群を見ると、天井部分や壁部分がぐちゃぐちゃになっているように見えます。また、デッサン人形と手の間に謎の壁が測定されており、Azure Kinect DKと比べ、非常に測定誤差が大きいことが見て取れます。仕様だけ見るとZED 2がとても良いように見えたものですが、このように壁などの平面を測定することにはZED 2は向いていないといえます。

撮影結果全体に対する考察

3Dセンサ共通の弱点である黒色がどのセンサでも測定できたのは技術の進歩だと思いました。今回用意したパンダのぬいぐるみは白色と黒色が混ざったふさふさした物体になりますが、本来であれば、黒色は測定できないと想定して設置したものでした。しかし、どのセンサでも測定できているのは、後処理による工夫がなされているからかもしれません。例えば、RealSense D415では、黒い物体を測定した結果に対して穴埋め (Spatial Hole-filling) などの後処理を行い、測定した結果の欠損を補間することができます[12]。

まとめ

本記事ではxRなどに役立つハードウェアである3Dセンサの仕様と撮影結果をいくつか紹介しました。結論から言うと、センサごとに特性があり、目的に応じてその特性を活かせるようにセンサを選定したほうがよいという気持ちになりました。たとえば、屋内空間をきれいに3Dモデルにしたいのであれば解像度の高いRealSense L515が向いていそうですし、近くを通りかかる人の距離を測定したいのであれば画角の広いAzure Kinect DKが向いていそうですし、遠くにいる人との距離を大雑把に測定したいのであればZED 2が向いていそうです。

今後の課題として、カラー画像から深度を推定する技術と差別化することがあると考えられます。最近では3Dセンサを用いずにカラー画像から深度を推定する研究が流行っています[13]。ただし、これらの研究の問題として、物体の大きさや距離の単位がわからないというところがあります。その点を踏まえ、3Dセンサの強みとは何かを強く押し出していく必要があるのではないかと思います。

参考文献

[1] 星 貴之, 檜山 敦, 稲見 昌彦, “VR/AR/MRの産業分野への応用展開”, https://www.jstage.jst.go.jp/article/jjspe/83/6/83_485/_article/-char/ja/
[2] “RoomCo AR”, https://apps.livingstyle.jp/roomco/launchApp.html
[3] “BEAT SABER”, https://beatsaber.com/
[4] “3D Sensor Advent Calendar 2019”, https://qiita.com/advent-calendar/2019/3d-sensor
[5] 安富他, “Time-of-Flight カメラ”, https://www.jstage.jst.go.jp/article/itej/70/11/70_880/_pdf
[6] 樋口未来, “カメラを用いた3次元計測(1)”, https://news.mynavi.jp/article/cv_future-6/
[7] “Azure Kinect DK hardware specifications”, https://docs.microsoft.com/ja-jp/azure/Kinect-dk/hardware-specification
[8] “LiDAR Camera L515 Datasheet”, https://dev.intelrealsense.com/docs/lidar-camera-l515-datasheet
[9] “Intel RealSense D400 Series Product Family Datasheet”, https://dev.intelrealsense.com/docs/intel-realsense-d400-series-product-family-datasheet
[10] “ZED 2 Camera and SDK Overview”, https://www.stereolabs.com/assets/datasheets/zed2-camera-datasheet.pdf
[11] “Best Known Methods for Tuning Intel® RealSense Depth Cameras D415 and D435”, https://www.intel.com/content/www/us/en/support/articles/000027833/emerging-technologies/intel-realsense-technology.html
[12] Anders Grunnet-Jepsen, Dave Tong, “Depth Post-Processing for Intel® RealSense Depth Camera D400 Series”, https://dev.intelrealsense.com/docs/depth-post-processing
[13] “Depth Estimation”, https://paperswithcode.com/task/depth-estimation

AI Labの尾崎です。
主に人間とロボットとのインタラクションに関する技術開発を担当しております。

さて、ロボットといえば、コミュニケーションロボットや自動運転車など、自律的に動いてもらって人の労働を助けるものが多いと思います。人の労働を助けるほど、ロボットに人並みに自律的で賢く動いてもらうためには、たとえば、ロボットに視覚を与える必要が出てきます。このときに役立つのがロボットビジョンを始めとした人工知能 (AI) です。特にロボットのAIのようなインターネットの末端 (エッジ) にいるAIをエッジAIと呼びます[1,22]。

最近では深層学習と呼ばれる技術が生まれ、このエッジAIの分野も革新的に進歩しました。深層学習のおかげでロボットは、目の前の歩行者を画像から認識したり、部屋のものを認識できるようになったりしました。しかし、この深層学習で作られたモデルを使うには莫大な量の計算をしなければならない問題があります。また、その計算をすると、計算に使う電力が大きくなる問題があります。ロボットという物理的に限られたスペースでは、この２つの問題を解決するのはとても難しいのです。そのため、この２つの問題を解決するために、ロボットなどを対象としたエッジAI専用のデバイスが開発されるようになってきました。

本記事では、エッジAIに役立つデバイスについて、その種類とそれぞれの仕様、実際の画像検出結果を分析してお伝えします。

市販のエッジAI用デバイスの種類を比較

エッジAI用デバイスはたくさんあります。その中でも特にみなさんが使いやすい市販されているものを今回紹介したいと思います。まず、エッジAI用デバイスを体系的に理解するために、デバイスの種類と特徴を写真付きで簡単に説明します。

シングルボードコンピュータ（SBC）の特徴

SBCはコストや処理速度、消費電力に優れているという特徴があります。汎用IO（GPIO）が備わっていることが多く、電子工作などで機能を拡張することができます。ここでは例としてJetson Nano Developer Kitの写真を図１に示します。ただし、拡張性が高く、専用のデバイスであるため、開発や取り扱いに専門知識が必要という弱点があります。

図１ Jetson Nano Developer Kitの写真

ミニPCの特徴

ミニPCは開発や取り扱いがとても簡単である特徴があります。実は多くのミニPCはディスプレイとキーボード、バッテリがないノートパソコンと同じような構成になっているためです。このため、パソコンを取り扱うようにミニPCを取り扱えます。また、パソコン周辺機器がそのまま使えるため、拡張性が高い傾向にあります。ここでは例としてNUCの写真を図２に示します。ただし、コストや消費電力が高かったり、GPIOを備えていなかったりする弱点があります。

図２ NUCの写真

コプロセッサの特徴

コプロセッサは他のデバイスの処理速度を底上げできるという特徴があります。コストや処理速度、消費電力にも優れます。ここでは例として、Edge TPU USB Acceleratorの写真を図３に示します。ただし、このデバイス単体ではシステムを構築することができないという弱点があります。SBCやミニPCなどと組み合わせましょう。

図３ Edge TPU USB Acceleratorの写真

スマートフォンの特徴

スマートフォンは多くのユーザが持っているデバイスという特徴があります。また、センサも充実しており、カメラや慣性センサなどデフォルトで備わっていることが多いです。最初からインターネットと接続されていることが多く、エッジAIと対をなすクラウドAIとの相性が良いです。ポータブルで耐衝撃性に優れ、いいとこづくめです。読者の皆様は外見を知っていると思うので、写真は割愛します。ただし、目的に対して余計な機能が多い分コストが高かったり、電子工作するのは比較的苦手で拡張性が低かったりする弱点はあります。

市販のエッジAI用デバイスを仕様を比較

さて、SBCをはじめとしてエッジAIに使える様々な種類のデバイスがでてきました。それぞれの種類について具体的な製品名をあげるときりがないので、たくさんあるエッジAI用デバイスの中から、著者がピックアップしたものを表１と表２にまとめます。

表１ 市販のエッジAI用デバイスの仕様一覧 (FP32:単精度浮動小数点数演算, FP16:半精度浮動小数点数演算、 INT8: 8ビット整数演算)

注１：Raspberry Pi 4にもGPUがありますが、アセンブリレベルで処理を書かない限りは、CPUのほうが処理が速いので、このようにしました。
注２：ベンチマークなどで測定はできますが、ここでは公開されている仕様ということで明記しません
※AIアクセラレータとはAIに対する処理速度を特にあげることができる処理装置のことです。

表２ 市販のエッジAI用デバイスの仕様一覧（SBC以外）

エッジAI用デバイスによる画像認識テスト

さて、エッジAI用デバイスがたくさんでてきましたが、AIに対してどのような特性があるのかよくわかりません。そこで、実際に画像認識をさせて、エッジAI用デバイスの処理速度を比較してみましょう。

実験方法

今回はエッジAI用デバイスの数が多すぎるため、一部のデバイスを比較対象とします。デバイスに与える処理は骨格検出 (Human Pose Estimation) とします。この処理を１００回繰り返して、その平均画像検出時間[sec]を求め、その逆数である平均処理速度[fps]を比べます。また、骨格検出の様子がわかるように可視化した図も合わせて表示します。骨格検出などの組み合わせを一覧にした実験条件を表３に示します。比較に使う画像は肖像権の都合上自分のプロフィール画像を使います。対象の画像を図４に示します。

図４ 実験時に入力として使う画像

表３　デバイスなどの組み合わせによる実験条件

実験結果

Edge TPU USB Acceleratorで骨格検出した結果を可視化したものを図５に示します。なお、ほかのデバイスでも結果はほぼ同じなので可視化は割愛します。また、それぞれの条件における平均処理速度を図６に示します。

図５　Edge TPU USB Acceleratorで骨格検出を行った結果
（緑の点が目などの特徴点の位置であることを示している）

図６　各エッジAI用デバイスで骨格検出を行った際の平均処理速度

考察

Edge TPUは速いですね。処理速度と消費電力の兼ね合いに優れています。一方、Edge TPUに比べて、Jetson Nanoは平均処理速度が遅い上、消費電力も高いのは、なぜでしょうか。これには２つの理由があります。
１つはグラフィックス専用のプロセッサであるGPUを使っているとはいえ、Jetson Nano向けに調整されていない汎用的なWeb技術（Tensorflow.js）を使って実装しているためです。Jetson Nanoを活かすにはメーカーが提供している技術（TensorRT）を使うとよいそうです[16]。
もう１つはEdge TPUに使われているディープニューラルネットワーク (以下、DNN) が量子化されているためです。一般的にDNNは実数を扱うため、浮動小数点演算を行う必要が出てきます。このため、今回のJetson Nanoは浮動小数点演算でDNNを演算しています。しかし、この実数を量子化して整数で演算してしまえばいいのでは？という発想がハードウェア側からDNN初期から綿々と続けられてきました[17, 18]。それというのも実数を取り扱う浮動小数点演算の電子回路は論理的にとても煩雑な一方で、整数演算の電子回路は極めてシンプルであるためです。そこで、Edge TPUではDNNを浮動小数点演算ではなく、整数演算で処理しています。つまり、電子回路が論理的にシンプルであるため、Edge TPUは処理速度と消費電力の兼ね合いに優れていると考えられるのです。今回のJetson NanoではGPUが整数演算処理に対応していない[19]ので、この恩恵に預かれません。しかし、最新のJetson Xavier NXでは整数演算に特化しているため、Edge TPUと同じような効果が得られるかもしれません。

また、同じNUCで同じCPUでも、CPUとCPU内部のGPU（iGPU）で平均処理速度がおよそ３倍差になっていることがわかります。グラフィックボード（GPU）のほうが目立つため、iGPUは見落とされがちです。しかし、iGPUも処理速度が出ることがわかります。

余談ですが、今回の推定方法は人数が増えてもほとんど平均処理速度は変わりません。これは、OpenPoseのようなボトムアップ・アプローチを使っているためです。この性質はおおよそ処理時間を一定にすることが望まれるエッジAIには好まれる特性です。また、各検出方法のネットワーク構造は MobileNetV1ベースであることから、手法間に大幅な違いはありません。

エッジAI用デバイスの今後の展望予想

今後は微細化などの限界から演算装置そのものが速くなることは見込み薄いです。このため、用途を限定したコプロセッサを設計していくことになるのでしょう。たとえば、演算装置の電子回路を整数演算の畳み込みに特化していくと考えられます。他にもまだ動画認識の定番アルゴリズムができてくれば、それ専用のコプロセッサができるのだと思われます。
また、データの入出力を高速化することにより処理速度を上げていくと期待しています。AIではデータの入出力が処理速度の障害になることがたくさんあります。そこで、CPUとGPUの帯域幅を広げたり、GPUのメモリの量を増やしたりしてデータの入出力を高速化していくと思われます。さらに、極端な例だと、データ入出力を高速化させるためにセンサの素子に処理用の素子をくっつけた製品が出てきています[20]。

まとめ

今回はエッジAI用デバイスの仕様や画像検出速度を比較し、今後の展望について述べました。結論から言うと、たとえ似たようなデバイスで同じようなアルゴリズムであったとしても、ソフトウェアやハードウェアの実装によって画像検出速度がかなり変わることがわかりました。コミュニケーションロボットなどの、エッジAIによるシステムを構築する際に本記事の内容がお役に立てば幸いです。

なお、余談ですが、世界最速のスーパーコンピュータである富岳は約416,000 [TOPS] (FP64) で、消費電力は28,500,000[W]  [21] です。
やばいですね。

参考文献

[1] 小林啓倫, “なぜクラウドではダメなのか？　いま「エッジAI」が注目されるワケ”, https://www.itmedia.co.jp/news/articles/2003/19/news050.html
[2] “Jetsonの各開発キットを比較！選び方も合わせて紹介！”, https://www.macnica.co.jp/business/semiconductor/articles/nvidia/133162/
[3] “Dev Board datasheet”, https://coral.ai/docs/dev-board/datasheet/
[4] “Raspberry Pi 4”, https://www.raspberrypi.org/products/raspberry-pi-4-model-b/
[5] “インテル® NUC キット NUC7i7BNH”, https://ark.intel.com/content/www/jp/ja/ark/products/95065/intel-nuc-kit-nuc7i7bnh.html
[7] “Intel® Neural Compute Stick 2”, https://ark.intel.com/content/www/us/en/ark/products/140109/intel-neural-compute-stick-2.html
[8] “USB Accelerator datasheet”, https://coral.ai/docs/accelerator/datasheet/
[9] “Pixel スマートフォンのハードウェア技術仕様”, https://support.google.com/pixelphone/answer/7158570?hl=ja
[10] “iPhone 11”, https://www.apple.com/jp/iphone-11/specs/
[11] Andrei Frumusanu, “Apple Announces New iPhone 11, iPhone 11 Pro, & iPhone 11 Pro Max”, https://www.anandtech.com/show/14859/apple-announces-new-iphone-11-iphone-11-pro-iphone-11-pro-max
[12] “@tensorflow-models/posenet”, https://www.npmjs.com/package/@tensorflow-models/posenet/v/1.0.3
[13] “node-red-contrib-tf-model”, https://github.com/yhwang/node-red-contrib-tf-model#note
[14] “Coral PoseNet”, https://github.com/google-coral/project-posenet
[15] “human-pose-estimation-0001”, https://docs.openvinotoolkit.org/latest/　_models_intel_human_pose_estimation_0001_description_human_pose_estimation_0001.html
[16] https://twitter.com/terryky1220/status/1271410014498861056?s=20
[17] Itay Hubara et al., “Binarized Neural Networks”, NIPS 2016
[18] Benoit Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference”, CVPR 2018
[19] “Why jetson nano not support int8”, https://forums.developer.nvidia.com/t/why-jetson-nano-not-support-int8/84060
[20] “Sony to Release World’s First Intelligent Vision Sensors with AI Processing Functionality”, https://www.sony.net/SonyInfo/News/Press/202005/20-037E/
[21] “日本の「富岳」が世界最速スパコンに–世界ランキング「TOP500」”, https://japan.cnet.com/article/35155694/
[22] M.G. Sarwar Murshed et al., “Machine Learning at the Network Edge: A Survey”, arXiv

昨日7/1(日)に、ついに「企業研究に特化したカンファレンス」として
CCSE2018(Conference on Computer Science for Enterprise)を共催いたしました！
最終的に発表企業は9社、全25発表と、見ごたえのあるカンファレンスとなりました。

共催企業：CyberAgent、楽天、メルカリ、Unity、Start Today Technologies
*
*
開催のご挨拶は発起人である当社サイバーエージェントの岩本から。

当日は朝10時開始にも関わらず約400名の方にお越し頂きました！
当日、飛び入りで参加した学生の方がいらっしゃったりと、多くの方に企業における研究活動について知っていただけたと共に、かつ全ての発表において、職種を越えて質問が出る場となり、議論が活性化したことをとても嬉しくおもっています。

Twitterでもリアルタイムに感想を頂いており、次年度開催を期待する声も多く頂きました！
CCSE公式Twitter

こちらのTwitterハッシュタグでぜひ当日の様子もご覧ください！
#CCSE2018
#CCSE

当社、サイバーエージェントからは、4名が登壇し、AI Labでの取組みについてお話しいたしました。

▼AI Lab山口 「広告クリエイティブ制作と機械学習」

▼ロボットサービス事業部 岩本
「サイバーエージェントのアカデミックへのアプローチ」

▼AI Lab 馬場
「対話エージェントの積極的な介入による関係性構築の試み」

▼AI Lab 谷口
「AI Labにおける広告配信技術の研究開発について」

それぞれ10分の発表ではありますが、広く研究活動を知って頂くことができたと思います。
懇親会でも広告クリエイティブ制作や広告配信技術については、同業界である広告事業のエンジニア・研究者の方と議論が活発化しておりました。
対話エージェントについては新しい広告の形として多くの方にご興味頂くとともに、当社の産学連携の形についても知っていただける良いきっかけだったと思います。

当日の詳細は追ってリサーチャー・エンジニアのメンバーより投稿を予定しておりますのでご期待ください！

＜補足情報＞

当社のアカデミックとの取組みとしてTwitterで話題になったのは、
博士課程の学生を対象としたテーマ選択型の特別研究サマーインターンシップでした。

AI Labでは、学振のインターンシップ規制緩和を受け、優秀な若手研究者が限られた期間において
実務経験価値を向上させることができる機会を提供するとともに、これからの社会に必要とされる研究者育成に対して貢献していきたいと考えています。
CCSEもそうですが、企業とアカデミック、両方がより発展していく機会を創出していけたらと思っております！もうひとつご紹介した、アドテクスキルアップゼミ制度についてはこちら。
今回のCCSEや様々な自主企画イベントがこのゼミ制度から生まれています。
好奇心とチャレンジがスキルを磨く。「アドテクスキルアップゼミ」が生み出すカルチャーとは

当日の講演

エンジニアではなく、ビジネス職の立場からとなりますが、わたしがぐっと来たプレゼンを２つだけご紹介させてください。
(なぜ動画を撮らなかったのかと本当に悔やんでいます)

基調講演：「グローバル企業の中で「変化」を仕掛ける楽天技術研究所の挑戦」
基調講演として、楽天株式会社執行役員、楽天技術研究所代表の森正弥氏からお話し頂きました。

・2017年は66のPRJが立ち上がり、内42PRJでビジネス成果をあげている
・研究所の技術がリードとなり、新しいビジネスが起きる。
・企業研究所は常に変化を仕掛け続けていく。

研究や技術でビジネスをリードしていく、その意思や思いを強く感じるとともに企業研究所としての歴史も長く、かつ様々な分野での取組をされてきたからこそのお話しはとても興味深く、懇親会で多くの方が森さんに詳しくお話しを聞きに行っていらっしゃいました。
筑波大学との共同研究で実施されていたバーチャルスタイリングルーム、ぜひ体験してみたいです。

「Cygames Researchにおける技術研究とその実用化事例について：論文化・特許化・実用化の高速なイテレーションの実現」

株式会社Cygamesの「Cygames Research」から、慶応義塾大学院の特任准教授も兼任されている所長の倉林修一氏にもご登壇頂きました。

・企業がなぜ査読付き論文を書くのか　「オレオレ技術からの脱却」
・経営が外部監査を受けるのと同様に、研究開発も国際会議・論文の査読を受けることで監査を受けることが大事。

ユーザーにデバックをさせてはいけない、というキーワードもとても印象的でした。
今まで言語化しにくかったことをすっと落としていただけた感覚でした。

まとめ

クロージングの挨拶、楽天株式会社　楽天技術研究所　未来店舗デザイン研究室　シニアマネージャー 益子 宗氏

それぞれの企業で行っているR&D組織の立上げ方や考え方、
ビジネスとの融合や、技術を軸にしたビジネスの発展をより良い形に・かつスピードをもって展開していく取組みや工夫を知ることができ、CCSE改善の余地はもちろんありますが、とても有意義な場となったと思います。

今回、CCSEは企業が研究情報をオープンにすることで、より各企業の研究が発展することを期待し開催に至りましたが、各企業における、研究×ビジネスへの取組みかた、研究組織の体制、具体的な研究手法など様々な発表があったことできっと多くの方の・企業の何かヒントとなることがあったと思います！(そう信じています！)

当社、AI Labも切磋琢磨しながらどんどん進化していますのでご期待ください！
また、一緒に働きたい！サイバーエージェントのAI Labって何しているの？と
ご興味もってくださった方はぜひお気軽にご連絡ください

カジュアルランチはこちら

アドテクスタジオ・AI Lab　募集職種一覧

おまけ

※懇親会の様子とかわいいロゴバーガー

※当日、運営で走り回ってくれた　18新卒エンジニアと17ビジのみんな！
早朝からの設営、受付、マイクラン、SNS投稿、撤収まで全て自走していました！おつかれさまでした！