チーム概要

AI Labはサイバーエージェント内にある研究組織です。企業の組織ですが学会発表などの学術貢献も積極的に行っています。2016年に設立された比較的若い組織でありますが、AI研究をリードする企業として日本で4位、世界で49位として評価されています[1]。

AI Labには大きく分けて5つの研究領域を対象に複数のチームが存在し、約70名のリサーチサイエンティストが在籍しています。私が所属するInteractive Agentチームでは「ヒトが信頼したくなる対話エージェント」の開発を目指し、自律的な接客対話エージェントや遠隔操作ロボットを用いた遠隔接客、ユーザの行動を変えるインタラクションについての技術開発に挑戦しています。　チーム紹介ページ

メンバーはAI技術の社会実装を目指すリサーチエンジニアと、トップカンファレンスや事業に貢献する研究を行うリサーチサイエンティストが約10名所属しています。 複数のプロジェクトに従事していますが、今回のブログでは、販売促進を行うエージェントの研究に絞って紹介します。実際の店舗にエージェントを設置して販売促進をする研究は、世界的に見ても数少ない研究事例であり、実際のビジネス事情も考慮した研究を実施できていることは、我々のチームの特徴でもあり強みでもあります。

そしてもう一つの特徴として2017年から大阪大学大学院基礎工学研究科の石黒浩教授と共に、ロボットなどの対話エージェントによる接客・広告技術の確立や科学的知見の獲得を目的とした共同研究に取り組んでいます。メンバーの多くが大阪大学に招聘研究員として参画し、大学内の研究室でも活動をしています。

販促とHCI

販売促進は、消費者の購買意欲を高めてもらうために行う活動のことを指します。身近なところでは、POP、デジタルサイネージ、クーポンやサンプル配布、実演販売、などが挙げられます。これらは「セール情報」「商品情報」などのメッセージを様々な形で伝達し、商品の良さをユーザに伝えます。 しかし、販促を行ったからと言って、ユーザに情報が適切に伝わるとは限りません。ユーザは頻繁に目にする広告やプロモーションコンテンツに対して無意識に無視する傾向があると言われています[2]。また気がついてもらうために派手な演出や大きな音を使ってしまうと、不快感を与えてしまうなどの問題や課題が存在します。

我々はこのような現実世界での販売促進の課題を解決するためにHCIやAIロボットなどの最新技術の研究を行っています。販促に関する実験のほとんどは営業している店舗内で実験し、リアルなデータを分析しています。これまでにスーパーマーケット、空港内のお土産屋、雑貨店、ECサイト、パン屋、コンビニエンスストア、高級寝具展などで実験を行い、その結果を論文などで報告しています。

研究紹介

Interactive Agentチームでは、主にロボットなどのエージェントを使って販促の実験を行っています。ロボットは人のような振る舞いを行うことで、対話相手と認識されやすく、他の広告媒体では難しかった対話や信頼関係を構築したり、注意を向けられたりしやすいといった特徴が確認されています。 これまでの研究では、ロボットによる販促がどのような特性を持ち、可能性があるかを明らかにしてきました。今回はその中から3つ概要を紹介します。

研究１

タイトル：Influence of collaborative customer service by service robots and clerks in bakery stores　リンク

学会/論文誌名：Frontiers in Robotics and AI

概要：近年ではソーシャルロボットを用いた商品推薦の研究事例が増えており、効果の高いロボットの対話戦略や動作の調査がされています。一方で顧客への推薦能力は、ロボット自身の振る舞いだけでなく、店舗スタッフなどロボットの周囲にいる人々によっても影響を受ける可能性があります。そこで本研究では、ロボットと店舗スタッフが協業した接客をすることによって、社会的影響力が向上し、結果としてロボットによる推薦能力が向上する可能性を検証しました。店舗スタッフとの協業接客の有無による効果を検証するために、ベーカリーの2店舗で同時実験を実施しました。実験の結果、店舗スタッフとの協業接客により、ロボットの推薦能力が向上し、ロボットに対する顧客の印象や店舗体験が向上することが分かりました。

知見：店員と協業することで接客ロボットの効果は向上する

研究２

タイトル：Out for In!: Empirical Study on the Combination Power of Two Service Robots for Product Recommendationリンク

学会/論文誌名：HRI 2023

概要：本研究では、店内に1台のみ設置した状態より、複数台（店頭/店内2台）のロボットが連携を行い商品推薦を行うことで、より高い推薦効果が得られるかを調査しました。実験は大阪府内にあるベーカリーで実施され、下記の3条件を比較しました。

・ベースライン：ロボット設置無し
・条件①： 店内に1台のロボットを設置して商品推薦を行う
・条件②： 店内に1台のロボットを設置して商品推薦を行う上、店頭にもう1台のロボットを設置し、店内ロボットと連携して商品推薦を行う

→店頭のロボットは「店の中に僕の弟の〇〇（店内ロボットの名前）がいるよ！弟が商品にとても詳しいのでぜひ話に行ってみてね！」などと店内にロボットがいることを来店客に伝えるなどの連携を行いました。

その結果、条件②では、推薦商品の販売率（販売数/製造数）がベースラインと条件①より有意的に高いことがわかりました。一方、条件①はベースラインと統計的に有意な販売率の差は確認できませんでした。さらに、条件②では、「買い物客が店内ロボットを見た率」、「ロボットが推薦した商品を確認した率」、「推薦商品の購入率」が、条件①よりも有意的に高いことが分かりました。
これらの結果から、複数台（店頭店内2台）のロボットが連携し、店頭ロボットが紹介することで「来店客の店内ロボットへの注意」が高まり、商品推薦効果が向上することが確認できました。

知見：事前にロボットの存在と役割を伝えることで、そのロボットに対する注意が向上する

研究3

タイトル：Playful Recommendation: Sales Promotion That Robots Stimulate Pleasant Feelings Instead of Product Explanation リンク

学会/論文誌名：IEEE Robotics and Automation Letters(RA-L)

概要： 一般的にロボットによる商品推薦は、商品や店舗などの状況に応じてセリフや振る舞いを準備する必要があります。そのため、商品や状況が変化するたびにそれらを準備する必要があり、商品推薦の度に労力が必要になります。そこで本研究では、商品情報の代わりに快感情を刺激し、状況に依存しない販売促進方法である「Playful Recommendation」を提案しました。Playful Recommendation の効果を検証するために2度の実証実験を実施し、提案手法が有効であることが実験結果から示唆されました。また商品が自らを推薦する自己推薦ロボットでは販売数が 667% 増加するなどの有効性を確認しました。

知見：低関与商材を推薦する場合は快感情を刺激すると、購買意欲を高めることができる

インターン情報

AI Labでは2018年からリサーチインターンシップを開始しています。博士後期課程の学生を対象にしており、 2ヶ月間で研究計画・実装・実験を行いトップカンファレンスを目指します。 リモートでも参加可能なのでぜひご応募お待ちしています。 リンク

登壇情報

2023年12月22日(金) に東京大学でCCSEという民間企業による研究カンファレンスを開催します。今回は15社が登壇し、LLM、アルゴリズム、CV、ロボットなど様々なテーマの発表を行います。AI Labも登壇するのでみなさんぜひご参加ください。サイト

[1] AI Lab、2022年のAI研究をリードするトップ100企業にランクイン！日本4位、世界49位へ https://www.cyberagent.co.jp/news/detail/id=28134

[2]Dalton, Nicholas S., Emily Collins, and Paul Marshall. “Display blindness? Looking again at the visibility of situated displays using eye-tracking.” Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. 2015.

要約

• 人間もロボットも日々意思決定して存在している
• 人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか？
• 現状では、対話相手の心的状態を理解した上での意思決定ができないところが異なる
• 将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないといえるかもしれない
• もし、そうでないとしたら、それが人間らしさというものになるのだろう。

はじめに

我々は常に意思決定をしている。例えば、休日に何をするかなど枚挙にはいとまがない。

もし、この意思決定が人工物、例えばコンピュータができるとしたらどうだろうか。例えば、命令が与えられていない時何をするかなど人と同じく枚挙にいとまがない。

この問いに先駆的に取り組んだ人はノーベル経済学賞を受賞したハーバートA・サイモンである。ハーバートA・サイモンはこの問いについて『意思決定の科学』[1]にまとめた。『意思決定の科学』では、経済の観点において、人間とコンピュータとの意思決定の違いについて述べている。「発見的な問題解決」はコンピュータには解決できないとサイモンは述べている。

今回はこのサイモンと異なる観点で、「人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか」という問いを取り扱う。一般的な意思決定から始まり、サイモンのようにコミュニケーションの観点に絞り、科学的な面や工学的な面から比較を行う。果たして人間とロボットは意思決定、コミュニケーションにおいてそれらを分かつ明確な境界はあるのだろうか。

現状における人間の意思決定とは

まず、人間の意思決定とは何かを考えてみよう。

一般的な人間の意思決定とは

一般的な人間の意思決定とは、”問題解決に当たって，実行可能な行為の中から最適と思われるものを選択すること”[2]である。なお、傍観のような積極的に何もしないことも意思決定に含まれるとも考えている。また、感覚遮断実験のように何も刺激を与えないときに積極的にその環境から出ようとすることも意思決定に含まれると思われる。

この章では個人の意思決定について焦点を合わせることにする。したがって、集団や法人といった存在の意思決定は特に取り扱わないとする。

人間の意思決定をすべて説明する理論はまだ難しいと言った状況にある。現状では意思決定の一部を切り取り、モデル化している段階にある。したがって、今回は意思決定のモデルを数多く紹介するのではなく、ロボットと関連の深いものを中心に説明していく。

人間の意思決定に関する初期の研究としてパブロフが発見した条件反射がある。条件反射はパブロフの犬という有名な実験で示された意思決定方法である。パブロフの犬で発見したことは特定の条件では意識によらず無意識が行動を決定することを後天的に学習できるということである。ただし、意思決定と言うにはあまりに機械的な仕組みである。

人間の意思決定に関する中期の研究としてスキナーが体系化したオペラント条件付けがある。オペラント条件付けはスキナー箱という名前で有名な実験で示された意思決定方法である。スキナー箱で発見したことはブザーという先行刺激をネズミに与えることで、餌が出てくるレバーを押す行動が決定されるように意識的に学習できるということである。オペラント条件付けによる意思決定の頻度の高まりを強化と呼ぶ。

人間の意思決定に関する後期の研究としてベンジャミン・リベットの研究がある。ベンジャミン・リベットの研究で発見したことは、ボタンを押すという単純な意思決定は意識によって決められる前に脳が決めているということである。この研究から人間には自由意志が存在しないのではないのかとの仮説が立てられ、物議が醸されている。

以上の研究から、人間の意思決定の一部は極めて機械的であり、ロボットに実装可能であると考えられる。

コミュニケーションにおける人間の意思決定とは

コミュニケーションにおける人間の意思決定とは、対話相手から何らかの反応を受け取ったときに何らかの反応を返すことである。なお、積極的に無言を返すことも意思決定に含まれるとも考えている。

最も単純で大切なコミュニケーションに関する意思決定は挨拶だろう。対話相手から挨拶された場合、通常挨拶し返すのが礼儀である。しかし、無言で答えることも選択肢の１つとしてある。もちろん無言で答えた場合、お互いの仲が険悪になるということは言わずもがなだろう。

もう少し複雑なコミュニケーションに関する意思決定としては対話がある。対話にはいろいろな要素が含まれている。たとえば、対話を開始すべきか終了すべきかどうかというエンゲージメントの問題や、対話中に話を切り出すかというターン・テイキングの問題など様々ある。

最も重大と思われるコミュニケーションの意思決定として治療方針の決定がある。例えば、延命治療を行うかどうかは本人の意思決定によって決めるものだが、意思決定できない状態にある場合もある。

現状におけるロボットの意思決定とは

次にロボットの意思決定とは何かを考えてみよう。

一般におけるロボットの意思決定とは

ロボットの意思決定とは、センサからの入力に対して、モーターなどのエフェクターへ何を出力するかをアルゴリズムに基づき決定することだと筆者は考えている。なお、積極的に何も出力しないことも意思決定に含まれるとも考えている。このように定めるとロボットアームの制御から複数ロボットの協調動作まで広く定義される。

この定義に基づいた最も単純なロボットの意思決定方法とはルールベースである。ルールベースとは「もしAが入力されたならば、Bを出力する」という仮定法で記述されるアルゴリズムである。例えば、もし人間から「こんにちは」と話しかけられたら、ロボットは「こんにちは」と挨拶し返すことがある。人間の条件反射はまさにルールベースな行動であると言えよう。

ルールベースを発展させたものとして、エキスパートシステムがある。”エキスパートシステムとは、ある分野の専門家の持つ知識をデータ化し、専門家のように推論や判断ができるようにするコンピュータシステムのこと”[3]である。例えば、エキスパートシステムは、人間は死ぬという知識とアリストテレスは人間という知識から、アリストテレスは死ぬという命題は真であると導くことができる。しかし、このルールベースで実世界の意思決定をすべてを記述しようとすると、無限のルールを有限時間しか存在できない人間が決める必要となる。

ルールベース以外の意思決定方法として、非ルールベースがある。非ルールベースとは、ルールベースではなく、機械学習や統計学、ベイズ推定、最適化手法のことを指す。これらの定義はEUのAI規制ガイドライン[4]の付録を参考にして作った。人間のオペラント条件づけはまさに非ルールベースであると言えよう。

非ルールベースの中で特筆すべき意思決定方法として強化学習が挙げられる。強化学習とは環境の中にいるロボットが環境の状態を観測してその観測結果に基づいて行動することを試行錯誤しながら学習する意思決定方法である。このとき、ロボットの製作者が望ましいと思われる状態にロボットが行動により変化させられたならば、報酬が与えられ、強化される。強化学習は人間のオペラント条件づけの強化をモチーフに作られたものだと考えられている。[5]

逆にロボットの意思決定を制限する指針としてアイザック・アシモフが『われはロボット』にて提示したロボット工学三原則が挙げられる。ロボット工学三原則とは、第一条から優先適用される以下の通りのルールである。

• “第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。” ([6]より引用)
• “第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が第一条に反する場合は、この限りではない。” ([6]より引用)
• “第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。” ([6]より引用)

ロボット工学三原則は、SF小説をミステリアスにするための設定ではある。しかし、作中にもある通り、この原則は模範的な人間の行動ルールであり、ロボット工学者はなるべくならばこの原則を守ったロボットを作るべきだとされている。

コミュニケーションにおけるロボットの意思決定とは

コミュニケーションにおけるロボットの意思決定とは、対話相手であるユーザの状態に応じて適切な行動をロボットが決定することと定義できる。この定義からルールベースや強化学習はこの意思決定の問題を解決する手段の例と言える。

特にこの広範に渡るコミュニケーションにおける意思決定の問題を解決する手法としてポテンシャルを秘めているのが強化学習である[7]。この分野をまとめた論文[7]では、人間とロボットとの強化学習をInteractive Reinforcement Learningとして定義しており、新しい研究分野であると示唆している。この問題を強化学習で解いた特筆すべき研究としてQureshiらの研究[8]がある。Qureshiらの実験の様子を図１に示す。

図１ 握手を求めるタイミングを映像から判断するロボット([8]より引用)

Qureshiらは人間を含む映像を入力として握手などの行動を出力する意思決定問題を深層強化学習により世界ではじめて解いている。これは限りなく人間に近い意思決定手法と言えるだろう。

そのアーキテクチャが図2である。アーキテクチャはMultimodal Deep Q-Network (MDQN)と呼ばれている。グレースケールの画像と深度画像を入力とし、握手などの行動を出力としている。アーキテクチャの構造は人間の視覚野と類似している畳み込みニューラルネットワークを用いている。このアーキテクチャが特に人間に似ているように見える。

図２　Multimodal Deep Q-Networkのアーキテクチャ（[8]より引用）

筆者であるAI Labの尾崎安範もこの分野を研究する者の一人である。「空気を読むロボット」というコンセプトをベースに、人間の心的状態と相関する行動に基づいて、コミュニケーションの意思決定を強化学習で学ぶロボットを開発した[10]。ロボットの様子を図３に示す。

図３　展示員のタスクを与えられた、空気を読むロボット（右側）（[10]より引用）

このロボットは図2の環境にいる展示員のタスクを与えられており、トイレに行く人を邪魔せずに展示に興味がありそうな人だけに声をかけるように学習した。

図４　展示員のタスクを与えられたロボットの実験環境（[10]より引用）

筆者の研究はQureshiらとは違い、既存研究に基づいた人間の行動モデルを明示的に仮定して強化学習を行う。このため、明示的に人間の心的状態と相関する行動を判断できるようにできている。この人間の行動モデルにより、ロボット工学三原則の第一条と第二条に適する行動を自律的に獲得できるように強化学習できている。

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは、対話相手の心的状態を理解した上での意思決定ができないところである。例えば、「おはよう」と人間が言ったものの元気がない様子であれば、「おはようございます。昨日は何かあったんですか？」とロボットが心配することは今の所できない。もちろん、そのルールだけを実現することは可能ではあるが、類似のルールを記述しきることは難しい。

コミュニケーションにおいて人間とロボットを区別する方法として、チューリングテスト[11]がある。チューリングテストは例えばテキストベースの雑談で人間と人工知能で見分けるものであった。実はすでにこのチューリングテストを突破する人工知能は現れており[12]、この問題は解決されたとされている。もう少し発展させて複雑な意思決定に関しても人間と変わらないことを示せれば、意思決定に関しても人間とロボットを区別できないという結論が得られるかもしれない。

やがて社会で活躍するロボットの意思決定とは

やがて社会で活躍するロボットの意思決定とは、心の理論に基づいた意思決定である。心の理論とは、”他者の心を類推し、理解する能力である”[13]。また、同義語として、”mentalizing”がある[13]。心の理論を持つロボットを実現することは容易ではない。特に非言語の領域ではプログラミング言語のような言葉にすること自体が困難であるため、研究が難しい。

心の理論の一部を機械的に説明した「心を読むシステム」をバロン・コーヘンが提案している[14]。心を読むシステムは、意図の検出器、視線方向の検出器、注意共有の仕組み、心の理論の仕組みで構成されるシステムである。ここで注目してほしいのは視線方向の検出器である。他のモジュールと違い、かなり物理的で客観的である。ロボットに実現するには容易な部類であると言えよう。ただし、その容易な視線検出も、例えば、歩行者の視線を取るのは現代の技術でも難しいというのが実情である。なお、Proof of Conceptとしての心を読むシステムを筆者が実装した例[15]がある。その様子を図５に示す。

図５　心を読むシステムを実装した対話システムの例 ([15]より引用)

筆者が実装した心を読むシステムは、以下のステップで心を読む。

1. 画面上のエージェントが画面と向き合っている人間がいる。
2. 画面上には表示されている物体、球と立方体２種類が表示されている。
3. 人間は球か立方体、あるいは虚空をみて、「これはなんですか？」という代名詞の質問を行う。
4. 画面上のエージェントは人間の視線を見てどの物体を見ているか推察し、例えば「これは球です」といった返答を行う。

これという代名詞は言語の外にある非言語情報がなければ、実現は不可能である。人間は決して言語だけでできているわけではないことがわかる。心を読むシステムをさらに発展させたシステムをロボットに実現することが今後の課題と言える。

近い将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないと言える日が来るのだろう。そのときには多くの人の命の救う意思決定が客観的にできるようになるかもしれない。

しかし、その日が来なければ、その違いが人間らしさというものになるのだろう。その人間らしさを探すのが我々認知科学を研究するもののの勤めではないかとも私は思うのだ。

参考文献

[1] ハーバートA・サイモン, 稲葉元吉, 倉井武夫共訳, “意思決定の科学”, 1979

[2] “最新 心理学事典”, 2013, https://kotobank.jp/word/意思決定-30537

[3] “エキスパートシステム”, IT用語辞典 e-Words, 2018 https://e-words.jp/w/エキスパートシステム.html

[4] “Proposal for a Regulation laying down harmonised rules on artificial intelligence”, 2021

[5] 吉本潤一郎, 伊藤真, 銅谷賢治, “《第10回》脳の意思決定機構と強化学習”, 計測と制御, 2013

[6] アイザック・アシモフ作, 小尾芙佐訳, “われはロボット〔決定版〕”, 2014

[7] Neziha Akalin et al., “Reinforcement Learning Approaches in Social Robotics”, Sensors, 2021

[8] Ahmed Hussain Qureshi, Yutaka Nakamura, Yuichiro Yoshikawa and Hiroshi Ishiguro, “Robot gains social intelligence through multimodal deep reinforcement learning”, Humanoids, 2016

[10] Yasunori Ozaki, Tatsuya Ishihara, Narimune Matsumura, Tadashi Nunobiki, “Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?”, IROS 2019

[11] A. M. TURING, “I.—COMPUTING MACHINERY AND INTELLIGENCE”, Mind, 1950

[12] “露スパコンに「知性」、史上初のチューリングテスト合格”. AFP通信, 2014 https://www.afpbb.com/articles/-/3017239

[13] 大神田 麻子, 板倉 昭二, “心の理論”, 2021, https://bsd.neuroinf.jp/wiki/心の理論

[14] サイモン バロン=コーエン, 長野 敬 (翻訳), 今野 義孝 (翻訳), 長畑 正道 (翻訳), “自閉症とマインド・ブラインドネス”, 2002

[15] 尾崎安範, “これ”はなんですか、コンピュータさん？ -「心を読むシステム」の実装- https://qiita.com/alfredplpl/items/81d6e56a48323dadec6d

AI Labの尾崎です。
主に人間とロボットとのインタラクションに関する技術開発を担当しております。

さて、ロボットといえば、コミュニケーションロボットや自動運転車など、自律的に動いてもらって人の労働を助けるものが多いと思います。人の労働を助けるほど、ロボットに人並みに自律的で賢く動いてもらうためには、たとえば、ロボットに視覚を与える必要が出てきます。このときに役立つのがロボットビジョンを始めとした人工知能 (AI) です。特にロボットのAIのようなインターネットの末端 (エッジ) にいるAIをエッジAIと呼びます[1,22]。

最近では深層学習と呼ばれる技術が生まれ、このエッジAIの分野も革新的に進歩しました。深層学習のおかげでロボットは、目の前の歩行者を画像から認識したり、部屋のものを認識できるようになったりしました。しかし、この深層学習で作られたモデルを使うには莫大な量の計算をしなければならない問題があります。また、その計算をすると、計算に使う電力が大きくなる問題があります。ロボットという物理的に限られたスペースでは、この２つの問題を解決するのはとても難しいのです。そのため、この２つの問題を解決するために、ロボットなどを対象としたエッジAI専用のデバイスが開発されるようになってきました。

本記事では、エッジAIに役立つデバイスについて、その種類とそれぞれの仕様、実際の画像検出結果を分析してお伝えします。

市販のエッジAI用デバイスの種類を比較

エッジAI用デバイスはたくさんあります。その中でも特にみなさんが使いやすい市販されているものを今回紹介したいと思います。まず、エッジAI用デバイスを体系的に理解するために、デバイスの種類と特徴を写真付きで簡単に説明します。

シングルボードコンピュータ（SBC）の特徴

SBCはコストや処理速度、消費電力に優れているという特徴があります。汎用IO（GPIO）が備わっていることが多く、電子工作などで機能を拡張することができます。ここでは例としてJetson Nano Developer Kitの写真を図１に示します。ただし、拡張性が高く、専用のデバイスであるため、開発や取り扱いに専門知識が必要という弱点があります。

図１ Jetson Nano Developer Kitの写真

ミニPCの特徴

ミニPCは開発や取り扱いがとても簡単である特徴があります。実は多くのミニPCはディスプレイとキーボード、バッテリがないノートパソコンと同じような構成になっているためです。このため、パソコンを取り扱うようにミニPCを取り扱えます。また、パソコン周辺機器がそのまま使えるため、拡張性が高い傾向にあります。ここでは例としてNUCの写真を図２に示します。ただし、コストや消費電力が高かったり、GPIOを備えていなかったりする弱点があります。

図２ NUCの写真

コプロセッサの特徴

コプロセッサは他のデバイスの処理速度を底上げできるという特徴があります。コストや処理速度、消費電力にも優れます。ここでは例として、Edge TPU USB Acceleratorの写真を図３に示します。ただし、このデバイス単体ではシステムを構築することができないという弱点があります。SBCやミニPCなどと組み合わせましょう。

図３ Edge TPU USB Acceleratorの写真

スマートフォンの特徴

スマートフォンは多くのユーザが持っているデバイスという特徴があります。また、センサも充実しており、カメラや慣性センサなどデフォルトで備わっていることが多いです。最初からインターネットと接続されていることが多く、エッジAIと対をなすクラウドAIとの相性が良いです。ポータブルで耐衝撃性に優れ、いいとこづくめです。読者の皆様は外見を知っていると思うので、写真は割愛します。ただし、目的に対して余計な機能が多い分コストが高かったり、電子工作するのは比較的苦手で拡張性が低かったりする弱点はあります。

市販のエッジAI用デバイスを仕様を比較

さて、SBCをはじめとしてエッジAIに使える様々な種類のデバイスがでてきました。それぞれの種類について具体的な製品名をあげるときりがないので、たくさんあるエッジAI用デバイスの中から、著者がピックアップしたものを表１と表２にまとめます。

表１ 市販のエッジAI用デバイスの仕様一覧 (FP32:単精度浮動小数点数演算, FP16:半精度浮動小数点数演算、 INT8: 8ビット整数演算)

注１：Raspberry Pi 4にもGPUがありますが、アセンブリレベルで処理を書かない限りは、CPUのほうが処理が速いので、このようにしました。
注２：ベンチマークなどで測定はできますが、ここでは公開されている仕様ということで明記しません
※AIアクセラレータとはAIに対する処理速度を特にあげることができる処理装置のことです。

表２ 市販のエッジAI用デバイスの仕様一覧（SBC以外）

エッジAI用デバイスによる画像認識テスト

さて、エッジAI用デバイスがたくさんでてきましたが、AIに対してどのような特性があるのかよくわかりません。そこで、実際に画像認識をさせて、エッジAI用デバイスの処理速度を比較してみましょう。

実験方法

今回はエッジAI用デバイスの数が多すぎるため、一部のデバイスを比較対象とします。デバイスに与える処理は骨格検出 (Human Pose Estimation) とします。この処理を１００回繰り返して、その平均画像検出時間[sec]を求め、その逆数である平均処理速度[fps]を比べます。また、骨格検出の様子がわかるように可視化した図も合わせて表示します。骨格検出などの組み合わせを一覧にした実験条件を表３に示します。比較に使う画像は肖像権の都合上自分のプロフィール画像を使います。対象の画像を図４に示します。

図４ 実験時に入力として使う画像

表３　デバイスなどの組み合わせによる実験条件

実験結果

Edge TPU USB Acceleratorで骨格検出した結果を可視化したものを図５に示します。なお、ほかのデバイスでも結果はほぼ同じなので可視化は割愛します。また、それぞれの条件における平均処理速度を図６に示します。

図５　Edge TPU USB Acceleratorで骨格検出を行った結果
（緑の点が目などの特徴点の位置であることを示している）

図６　各エッジAI用デバイスで骨格検出を行った際の平均処理速度

考察

Edge TPUは速いですね。処理速度と消費電力の兼ね合いに優れています。一方、Edge TPUに比べて、Jetson Nanoは平均処理速度が遅い上、消費電力も高いのは、なぜでしょうか。これには２つの理由があります。
１つはグラフィックス専用のプロセッサであるGPUを使っているとはいえ、Jetson Nano向けに調整されていない汎用的なWeb技術（Tensorflow.js）を使って実装しているためです。Jetson Nanoを活かすにはメーカーが提供している技術（TensorRT）を使うとよいそうです[16]。
もう１つはEdge TPUに使われているディープニューラルネットワーク (以下、DNN) が量子化されているためです。一般的にDNNは実数を扱うため、浮動小数点演算を行う必要が出てきます。このため、今回のJetson Nanoは浮動小数点演算でDNNを演算しています。しかし、この実数を量子化して整数で演算してしまえばいいのでは？という発想がハードウェア側からDNN初期から綿々と続けられてきました[17, 18]。それというのも実数を取り扱う浮動小数点演算の電子回路は論理的にとても煩雑な一方で、整数演算の電子回路は極めてシンプルであるためです。そこで、Edge TPUではDNNを浮動小数点演算ではなく、整数演算で処理しています。つまり、電子回路が論理的にシンプルであるため、Edge TPUは処理速度と消費電力の兼ね合いに優れていると考えられるのです。今回のJetson NanoではGPUが整数演算処理に対応していない[19]ので、この恩恵に預かれません。しかし、最新のJetson Xavier NXでは整数演算に特化しているため、Edge TPUと同じような効果が得られるかもしれません。

また、同じNUCで同じCPUでも、CPUとCPU内部のGPU（iGPU）で平均処理速度がおよそ３倍差になっていることがわかります。グラフィックボード（GPU）のほうが目立つため、iGPUは見落とされがちです。しかし、iGPUも処理速度が出ることがわかります。

余談ですが、今回の推定方法は人数が増えてもほとんど平均処理速度は変わりません。これは、OpenPoseのようなボトムアップ・アプローチを使っているためです。この性質はおおよそ処理時間を一定にすることが望まれるエッジAIには好まれる特性です。また、各検出方法のネットワーク構造は MobileNetV1ベースであることから、手法間に大幅な違いはありません。

エッジAI用デバイスの今後の展望予想

今後は微細化などの限界から演算装置そのものが速くなることは見込み薄いです。このため、用途を限定したコプロセッサを設計していくことになるのでしょう。たとえば、演算装置の電子回路を整数演算の畳み込みに特化していくと考えられます。他にもまだ動画認識の定番アルゴリズムができてくれば、それ専用のコプロセッサができるのだと思われます。
また、データの入出力を高速化することにより処理速度を上げていくと期待しています。AIではデータの入出力が処理速度の障害になることがたくさんあります。そこで、CPUとGPUの帯域幅を広げたり、GPUのメモリの量を増やしたりしてデータの入出力を高速化していくと思われます。さらに、極端な例だと、データ入出力を高速化させるためにセンサの素子に処理用の素子をくっつけた製品が出てきています[20]。

まとめ

今回はエッジAI用デバイスの仕様や画像検出速度を比較し、今後の展望について述べました。結論から言うと、たとえ似たようなデバイスで同じようなアルゴリズムであったとしても、ソフトウェアやハードウェアの実装によって画像検出速度がかなり変わることがわかりました。コミュニケーションロボットなどの、エッジAIによるシステムを構築する際に本記事の内容がお役に立てば幸いです。

なお、余談ですが、世界最速のスーパーコンピュータである富岳は約416,000 [TOPS] (FP64) で、消費電力は28,500,000[W]  [21] です。
やばいですね。

参考文献

[1] 小林啓倫, “なぜクラウドではダメなのか？　いま「エッジAI」が注目されるワケ”, https://www.itmedia.co.jp/news/articles/2003/19/news050.html
[2] “Jetsonの各開発キットを比較！選び方も合わせて紹介！”, https://www.macnica.co.jp/business/semiconductor/articles/nvidia/133162/
[3] “Dev Board datasheet”, https://coral.ai/docs/dev-board/datasheet/
[4] “Raspberry Pi 4”, https://www.raspberrypi.org/products/raspberry-pi-4-model-b/
[5] “インテル® NUC キット NUC7i7BNH”, https://ark.intel.com/content/www/jp/ja/ark/products/95065/intel-nuc-kit-nuc7i7bnh.html
[7] “Intel® Neural Compute Stick 2”, https://ark.intel.com/content/www/us/en/ark/products/140109/intel-neural-compute-stick-2.html
[8] “USB Accelerator datasheet”, https://coral.ai/docs/accelerator/datasheet/
[9] “Pixel スマートフォンのハードウェア技術仕様”, https://support.google.com/pixelphone/answer/7158570?hl=ja
[10] “iPhone 11”, https://www.apple.com/jp/iphone-11/specs/
[11] Andrei Frumusanu, “Apple Announces New iPhone 11, iPhone 11 Pro, & iPhone 11 Pro Max”, https://www.anandtech.com/show/14859/apple-announces-new-iphone-11-iphone-11-pro-iphone-11-pro-max
[12] “@tensorflow-models/posenet”, https://www.npmjs.com/package/@tensorflow-models/posenet/v/1.0.3
[13] “node-red-contrib-tf-model”, https://github.com/yhwang/node-red-contrib-tf-model#note
[14] “Coral PoseNet”, https://github.com/google-coral/project-posenet
[15] “human-pose-estimation-0001”, https://docs.openvinotoolkit.org/latest/　_models_intel_human_pose_estimation_0001_description_human_pose_estimation_0001.html
[16] https://twitter.com/terryky1220/status/1271410014498861056?s=20
[17] Itay Hubara et al., “Binarized Neural Networks”, NIPS 2016
[18] Benoit Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference”, CVPR 2018
[19] “Why jetson nano not support int8”, https://forums.developer.nvidia.com/t/why-jetson-nano-not-support-int8/84060
[20] “Sony to Release World’s First Intelligent Vision Sensors with AI Processing Functionality”, https://www.sony.net/SonyInfo/News/Press/202005/20-037E/
[21] “日本の「富岳」が世界最速スパコンに–世界ランキング「TOP500」”, https://japan.cnet.com/article/35155694/
[22] M.G. Sarwar Murshed et al., “Machine Learning at the Network Edge: A Survey”, arXiv

▼メディア情報

BSジャパン
『田村淳のBUSINESS BASIC』
毎週日曜　夜 10時54分〜
テーマ「AIビジネス最前線」　8週連続放送(予定)
番組公式サイト：http://www.bs-j.co.jp/official/business_basic/

NTTコミュニケーションズ様、シャープ様、富士通様、とご一緒させていただきました！

当社、サイバーエージェントからは石川が出演しました。
石川は広告事業のAIビジネスにおける事業推進を担当しており、チャットボットサービスのAIメッセンジャーの開発提供をはじめ、様々な大学との産学連携にも尽力しAIを活用したビジネス展開を推進しております。

初回放送は８月１９日(日)
放送は全８回を予定しており、

9月9日(日)の第４回目の放送回では、
当社サイバーエージェントのAIビジネスへの取組みについて、
詳しく取り上げていただく予定となっています…！
AI Labでの取組みや、AIメッセンジャー、産学連携についてなど取材していただきました。

実は、はじめて自分の家のテレビでBSチャンネルが視聴できることを知りました…！
てっきりアンテナが必要かと思っていたのですが、導入されているマンションだったようです。
テレビリモコンのBSを押すだけだったとは…

サイバーエージェントの放送回は9/9(日)！
その際はまたお知らせいたしますが、
収録の際にお聞きした各社のAIビジネスへのお取組みはとてもワクワクするものばかりでしたので、
どうぞみなさま、ぜひ毎週ご覧ください！