背景

保活と情報収集

子どもを認可保育所等に入所させるために保護者が行う一連の活動は、通称 「保活」 と呼ばれ、日本における子育て家庭が抱える課題の１つとされています。その中で最も重要な活動の１つは情報収集です。

どこにどのような保育園があるのか、自分の子どもの年齢クラスに空きはあるのか、自分の家庭は基準を満たしているのか、いつまでに申し込まなければならないのか、どのような書類が必要かなど、集めるべき情報は多岐にわたります。場合によっては、保育所に問合せや見学に行ったり、市役所などを訪問したりなど日中に時間を取られる活動が必要になり、そのため保護者の負担が大きく、情報格差が生まれるケースも考えられます。

2016年に厚生労働省が公表した「『保活』の実態に関する調査の結果」のレポートによると、多くの保護者が負担を感じた活動は、「市役所などを何度も訪問」すること、「情報収集」でした。同レポートでは、市区町村に「保活に関する情報をより多く提供する」ことを望む保護者が非常に多いことが伺えます[1]。株式会社キッズライン[2]やBABY JOB株式会社[3]などの民間企業が行ったより最近の調査でも、情報収集が大変だったとする回答が上位に見られます。

よりよい情報提供というアプローチ

「保活」が注目される大きな理由の１つに「待機児童問題」があります。特に入所を希望する人数が保育所の入所枠を上回る地域では、すべての応募者を受け入れられない状態が起こります。そのため、各自治体は保育所を必要とする事由や過程の状況等を基に点数をつけ、各々の基準で希望者の優先順位を決定する「利用調整」が行われています。

待機児童問題の解決には、この「利用調整」が適切に行われることが重要です。これまで、AI Labは利用調整の制度変更やマッチングに用いるアルゴリズムの改善などに取り組んできました。その中で明らかになったのは、保育所の利用調整が適切に行われるためには、利用希望者が正しい情報を集め、それを吟味した上で、保育所に関する希望順位を正直に表明することが望ましいということです。

つまり、正しい情報を的確に提供できることは、保護者の負担軽減になるだけでなく、待機児童問題の解消にも大きく貢献すると考えられます。保活とは若干異なりますが、海外では公立学校や大学などの選択において、個人に合わせた情報提供を行うことで、より望ましい学校選択につながったとする結果が報告されています[4]。AI LabとUTMDは、過去に保護者の負担を軽減しよりよい保育園選びを後押しするための方法として、保育所場所や情報を提供するオンラインマップを提供することで、待機児童が4割減少する可能性を示しました[5]。

生成AI の活用

今回、もう１つの情報提供の方法として注目したのは、膨大な情報の中から適切な情報を見つけ出し要約することができる生成AIの活用です。生成AIを使うことで、学習や情報収集にかかる時間が短縮され、生産性が向上するといった研究結果が多く報告されています。例えば、2023年7月にScience紙に掲載された論文によると、ChatGPTは文章作成などの作業にかかる時間を大幅に削減し、アウトプットの質を大きく向上すると報告されています[6]。この研究では、マーケターやコンサルタント、人事担当、管理職など大卒のビジネス・プロフェッショナルに対し、それぞれの職業に特化した文章作成タスクを与え、所要時間や書かれた文章の質（第三者により評価）などを比較しました。無作為に選ばれた半分のグループにChatGPTを与え、ChatGPTを利用したグループと、利用しなかったグループで比較したところ、文章作成にかかった時間が40％短縮され、文章の質が18％向上しました。

近年、行政においても生成AIを使ったチャットボットの活用は着目されており、これらの技術の社会実装が期待されています。デジタル庁が中央省庁向けに「生成AI活用ワークショップ」を行ったり、さまざまな自治体がChatGPTや国産生成AIを導入したりといった事例が増えています。しかし、実際に生成AIを活用するには、さまざまな課題や障壁が考えられます。また、生成AIの活用範囲はまだ限定的で、「保活」における活用例は、我々の知る範囲ではまだありません。

そこで、生成AIチャットボット利用における課題や障壁を明らかにしつつ、より望ましい形で活用することで「保活」における保護者の負担軽減ができないかと考え、一連の研究を開始しました。今回はその第１弾の内容と結果をご紹介します。

調査の目的と内容について

今回の調査の目的は２つありました。１つ目はチャットボットを利用する保護者が利用申請に関してどのような質問を抱えているかを把握することです。これは、今後のチャットボットの回答精度と有用性を高めるための調査です。２つ目はチャットボットの利用に対する期待度と利用した結果の印象を知ることです。これは、今後保活の情報収集ツールの１つとしての効果を期待できるかどうかの可能性を探るための調査です。

今回の調査では、令和5年11月16日と17日の2日間に佐賀市子育て支援部保育幼稚園課の窓口へ来訪した保護者に対し、その場で実験参加を依頼しました（図１）。令和6年4月の入所申込みの期間であったため来訪者が多く、実験を行っていた2日間でそれぞれ70名以上の来訪者が見られました。合計25名の保護者に参加していただきました。

実際の調査では、まず事前アンケートで来訪目的や利用申請における過程や、ChatGPTのような生成AI型チャットボットへの一般的な印象等を聞きました。その後、実際にチャットボットを活用してもらい（図２）、利用申請に関する質問を投げかけ、回答を見てもらうという作業を行いました。その後、事後アンケートで実際に使ってもらったチャットボットへの印象などを確認しました。

図１：実験の様子

図２：今回使用したチャットボットの画面

調査結果について

生成AI型チャットボット利用経験と一般的な印象

実験参加者の多くがChatGPTを含む生成AIチャットボットに不慣れであり、「利用経験あり」、「利用経験無し」、「わからない」の三択で選んでもらったところ、「利用経験あり」とした人は4分の1程度でした。そのため、事前のアンケートではチャットボットの有用性に関して、「有用だと思う」、「まあまあ有用だと思う」、「あまり有用ではない」、「有用ではない」、「わからない」の五択で選んでもらったところ、「わからない」を選ぶ割合が約45％と最も多い傾向にありました（図２）。一方で、「有用である」と「まあまあ有用である」を選んだ割合はそれぞれ約25％、約29％で、ネガティブな印象は見られませんでした。

図３：生成AIチャットボットの利用経験と、生成AIチャットボットへの印象

チャットボットへの質問内容

チャットボットへの質問内容として最も多かったのは、具体的な特徴（例：安全管理がしっかりしている）を持つ施設や、特定の施設（例：〇〇保育園）に関する質問でした（表１）。

さらに、佐賀市子育て支援部保育幼稚園課の窓口でよく聞かれる質問を窓口職員に確認し、参加者のチャットボットへの質問と比較しました。窓口で多く寄せられる質問は、必要書類や手続きに関するものが最も多く、次に保育料に関する質問でした（表１）。チャットボットと窓口職員との間で期待される回答の種類に違いがあり、質問者がそれに応じて使い分けている可能性が考えられます。

表１：窓口および実験参加者よりそれぞれ得られた質問のカテゴリトップ５と、それぞれが占める割合

チャットボットへの質問の難しさ

今回テストに用いたチャットボットの画面では、ChatGPTに似て質問例が表示されているものの、どのような質問をするかは利用者に委ねられています。実際に、多くの参加者が「いきなり何を聞いたらいいかわからない」という声を上げていました。その結果、比較的思いつきやすい保育施設や施設見学に関する質問が多くなった可能性があります。

また、実験参加者は市役所来訪の目的により、保育施設利用申請書を提出に来たグループと、利用申請についての質問に来たグループの２つに分かれていました。前者はすでにさまざまな情報収集を行ったグループであり、後者はこれから情報収集を行うグループでした。前者はこれからさまざまな質問を行う過程にあり、質問を考えるのが難しい一方、後者はすでに行った質問を思い出しながらチャットボットに確認として質問をしていました。

チャットボットの回答について

今回のチャットボットには、佐賀市子育て支援部保育幼稚園課がウェブサイト上で提供している情報を検索し、その結果を基に回答を生成するRetrieval-augmented Generation（検索により強化した文章生成、通称「RAG」）と呼ばれるフレームワークを活用しました（図４）。従来のチャットボットは、聞かれた質問と事前に用意された質問の類似度を計算し、もっと近い質問に対してあらかじめ準備された回答を返すというものが一般的です。一方、RAGは事前に用意された回答ではなく、関連する情報から回答を生成するため、より柔軟な対応が可能になります。RAGのもう１つの利点は、チャットボットの回答が何に基づいているかの情報源を明示できることです。

図４．RAG（検索により強化した文章生成）を活用した生成AIチャットボットの仕組み

しかし、今回検索範囲にない情報については、回答を生成できないという制約を設けていたため、情報不足により有用な回答を生成できない質問が多く見られました。具体的には、市役所では提供していない、特定の保育園に関する情報（例：食事アレルギーに対する対応）などです。これらの質問について、市役所役員に話を聞いたところ、それぞれの園の細かな特徴については市として公表しておらず、園から直接情報を入手する必要があるとのことでした。また、質問には直接書かれていない質問者の意図や文脈を十分にくみとれない場合に、不十分な回答を生成する場面も見られました。

一方で、生成AI型のチャットボットになれない利用者が多いためか、チャットボットが作り出すもっともらしい回答に対し、驚きや好印象を持つ利用者が多く見られました。

チャットボット利用後の印象

チャットボット利用後の印象は、全体的に良好で、実験参加者の半数以上が「有用だと思う」と答えました。これは使用前の印象よりも「有用だと思う」という割合が２倍に増えたことを意味します。残りの半数も「まあまあ有用だと思う」と答え、ネガティブな印象を持つ参加者はいませんでした。

図５：生成AIチャットボット体験前と体験後のチャットボットへの印象の変化

今後の方向性について

今回の調査を通じて、実際のユーザーや自治体の窓口職員とのやり取りを通じて、チャットボットのどのような利用が想定されているかを明らかにできたことは、今後の研究を続ける上で非常に有用であると考えています。また、質問を考えることが意外と難しいことであるという発見についても、今後のチャットボットの改良に大いに役立つと考えます。今回ご協力いただいた佐賀市職員の皆様、そしてお忙しい中ご参加いただいた保護者の皆様、本当にありがとうございました。

どんなに優れた技術でも、使ってもらえなければ意味がありません。実際にこのようなチャットボットが保護者の保活をサポートするためには、使いやすさと利便性を向上させながらも、安全性と信頼性を担保する必要があります。過去の研究でも、行政が提供するチャットボットに対する市民の目線は必ずしもポジティブではなく、特に子育てに関する分野におけるチャットボット利用に対して信頼性などの観点から慎重であることが明らかにされています[7]。

今後、より使いやすく信頼できる生成AIチャットボットを使って、保活における負担削減と望ましい保育所選考に貢献できるよう、研究を進めていく予定です。実証実験などにご協力いただけるパートナーを募集しておりますので、ぜひこちらからご連絡をいただけますと幸いです。

参考文献

[1]  厚生労働省 雇用均等・児童家庭局 保育課. (2016).「保活」の実態に関する調査の結果 retrieved December 10, 2023 from https://www.mhlw.go.jp/file/06-Seisakujouhou-11900000-Koyoukintoujidoukateikyoku/hokatsu-chousa_1.pdf

[2] 株式会社KidLine. (2018). 【2018年速報】ママ500人の保活実態調査　#保育園落ちた retrieved December 10, 2023 from https://kidsline.me/hokatsu/contents/article/219

[3] Babyjob株式会社. (2022). 【保活実態調査】母親1人で保活をした家庭はなんと半数以上！保活が大変だったと感じた人は6割超。保活で大変だったことランキングも公開！～保活テックの『えんさがそっ♪』がリスト共有機能をリリースし”夫婦で保活”を推進～

[4] Cohodes, S. R., Corcoran, S. P., Jennings, J. L., & Sattin-Bajaj, C. (2022). When do informational interventions work? Experimental evidence from New York City high school choice. Educational Evaluation and Policy Analysis, 01623737231203293.

[5] Moriwaki, D., Takida, A., Goto, K. & Yoshikawa, T. (2023). Reducing Waiting Children with Daycare Search Map: Evidence from an RCT in Shibuya City. Available at SSRN: https://ssrn.com/abstract=4431332 or http://dx.doi.org/10.2139/ssrn.4431332

[6] Noy, S. & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. science, 381(6654), 187-192.

[7] Aoki, N. (2020). An experimental study of public trust in AI chatbots in the public sector. Government Information Quarterly, 37(4), 101490.

この記事では私がAI Labのリサーチインターンで取り組んだ顔交換(Face-Swapping)の研究やAI Labでのインターン生活について紹介します。

インターンで取り組んだ研究について

初めに

今回のインターンでは、顔交換(Face-Swapping)という画像生成の問題に取り組みました。顔交換は与えられたターゲット人物画像に対して、その表情や背景、髪型など(これらを属性という)を維持しながら、顔のアイデンティティだけをソース人物画像の顔のアイデンティティで置き換えるタスクです。顔交換の技術は映像制作やバーチャルアバターなどの娯楽用途のほか、顔の非匿名化などのプライバシー保護のための技術としても近年需要が高まっています。

顔交換は既に多くの既存研究がありますが、既存法ではソース画像の属性情報が生成画像に漏れ出てしまうことがあるということが経験的にわかっていました(図1)。本研究では、この問題が顔交換で広く使われている顔認識モデル(ArcFace)にあることを突き止め、顔認識モデルを顔交換用に再設計した新しいエンコーダ(BlendFace)を用いて顔交換モデルを訓練することで、この問題を解決しました。

この研究成果はコンピュータビジョン分野の難関国際会議の一つであるICCV2023に採択されています。

BlendFace: Re-designing Identity Encoders for Face-Swapping
Kaede Shiohara, Xingchao Yang, Takafumi Taketomi
IEEE/CVF International Conference on Computer Vision (ICCV) 2023

既存研究の課題と提案法

なぜ既存手法で属性情報の漏れが起きているのかを解明するため、顔認識モデルを分析してみます。顔認識モデルは同一人物のさまざまなシーンの画像が同じ埋め込みになるように訓練されており、その特徴を使って人物識別を行います。人はさまざまなシーンにおいて似たような髪型や肌の色をしているため、それらの情報も個人の特徴として埋め込まれます。ここで、図2の左側に示すように、ある人物の画像(アンカー画像)と、同一人物の別シーンの画像(赤)、異なる人物の画像(青)、異なる人物の顔を簡単な画像処理によって同一人物に置き換えた画像(黄)の4つを用意して、アンカー画像とのアイデンティティ類似度を測定しました(横軸は類似度、縦軸は件数)。

この図からわかるように、既存の顔認識モデルは置き換えた画像(黄)の類似度が本人の別シーンの画像(赤)との類似度よりも低くなっています。つまり、顔認識モデルは髪型や肌の色の情報が類似度に影響しているということが統計的にわかりました。

顔交換モデルに戻ると、これはソース画像と生成画像の顔認識モデルの特徴量によるアイデンティティ類似度を近づけようとした時に、髪型や肌の色までもを過剰に近づけさせるということを意味しています。これにより冒頭で示したような属性の漏れが発生します。

本研究ではこの問題を解決するために、属性情報が交換された画像(黄)も本人であると認識されるように属性情報を交換した画像を訓練データに用いて顔認識モデルを訓練し直しました。その結果が図2の右側で、属性情報を交換した画像(黄)の類似度が属性情報を交換していない画像(赤)の類似度に極めて近く分布していることが確認できます。このような顔認識モデルを使って顔交換モデルを訓練することで、属性の漏れがない顔交換モデルを実現できることが予想されます。顔を交換した画像(ブレンド画像)を用いて顔認識モデルを訓練することから本手法をBlendFaceと名付けています。

実際にBlendFaceを用いた顔交換モデルと既存法を比べた結果が図3です。ソース画像とターゲット画像の属性が大きく離れている場合に、属性情報の漏れによって顔の内外で不連続な領域が生じてしまっているのに対し、提案法では一貫性のある顔交換が行えていることが確認できました。詳細はぜひ原論文を確認してみてください。

サイバーエージェントでのインターンについて

インターンの参加経緯

応募当時は博士課程が始まった直後だったため就職活動は意識していませんでした。サイバーエージェントAI Labの博士インターンがアツいらしいという割とぼんやりとしたイメージと、インターンで大きな成果を生み出したいという圧倒的モチベーションがあり応募しました。他社の研究開発のインターンとも迷いましたが、自分の所属研究室のOBOGの方が複数人AI Labに勤めているということもあってサイバーエージェントを選びました。

研究テーマについて

修士課程の時にディープフェイクの検出の研究をやっていたので、広告のためのアバター生成を研究しているGraphicsチームにて、顔の生成に関する研究を提案しました。このように募集テーマから選ぶだけではなく、自分でテーマを提案できるのもAI Labのインターンの利点です。

インターン生活

サイバーエージェントAI Labの博士インターンでは2ヶ月間、正社員の方と同様にフルタイムで研究開発に取り組みます。自分の場合は週に1度のメンター・チームリーダーとの進捗報告ミーティング以外は黙々と実装や調査・実験を繰り返していました。そのため、社員の方やインターン生と昼食を食べるのが良い息抜きになりました。また、Graphicsチームでは週に1度カジュアルミーティングという、研究だけではなく生活等の話題を持ち寄って話す会があり、社員の方の多様な私生活やワークライフバランスについて聞くことができたのは面白かったです。

私の研究については、持ち込みテーマではありますが顔の生成については今まで研究として取り組んだことがなかったので、既存法のコードを見て理解するところから始めました。結果として2ヶ月では国際会議に投稿するほどの成果を出すことができませんでしたが、この期間に色々な実験を行ってじっくりと基礎を固めることができたのが後の国際会議採択に繋がったと感じています。

インターンを通して特に印象に残っているのはAI Labの非常に整備された環境です。社内GPUサーバなどのインフラ管理の部門がAI Labとは別に存在していたり、PCの社内ソフトのセットアップでわからないことがあった時にすぐに対応していただけるサポートデスクがあったりと、会社としての強みというのを存分に感じました。また、渋谷駅直結のスクランブルスクエアにオフィスがあるので、通いやすい、オフィスが綺麗という精神衛生上の利点や、飲み物飲み放題、割安の弁当がオフィス内で販売されているなどの間接的な経済的支援もあり、国内有数の働きやすい研究組織であること間違い無いでしょう。

インターン後の生活

インターンが終了してからは、論文投稿に向けて具体的に目標を立てて研究を進めていきました。当初は11月に投稿締切のCVPR2023に向けて動いていましたが、実験が間に合わず、納得のいかないものを投稿せざるを得なくなってしまい、その結果リジェクトされてしまいました。その後、大幅な修正を加えてICCV2023(3月投稿締切)に投稿し無事採択されました。

リサーチインターンに参加してみて

サイバーエージェントAI Labでのインターンは、国内トップレベルの研究者に囲まれながら研究に取り組める非常に刺激的な体験でした。社員の方はもちろんのこと、周りのインターン生も優秀な方ばかりで、モチベーティブな環境で研究に集中することができました。

特に私の場合は、自身の専門(コンピュータビジョン)とは少しだけ異なるコンピュータグラフィックスのチームを希望して所属させていただいたため、初めて知ることが多く非常に学びが多かったです。

優れた環境とメンターやチームリーダーの手厚いサポートのもとで難関国際会議への論文投稿、採択に繋げることができ、非常に良い経験になりました。
もし参加を迷われている方は一度応募してみてはいかがでしょうか。

こんにちは！サイバーエージェント AI Lab のリサーチサイエンティスト、アントニオです。サイバーエージェントでは、ゼミ制度というものがあります。ゼミでは、社員の興味があるテーマについて勉強するために勤務時間の一部を使うことができます。幅広いテーマのゼミが開催されており、AWSやARアプリ開発などに取り組んでいます。本記事では、私が運営する研究 skill-up ゼミを紹介したいと思います。

研究 skill-up ゼミ

研究skill-upゼミは研究に関するスキルを強化してより良い研究者になることを目的としています。研究活動には、論文の調査や執筆、手法の開発と実験など、様々なタスクがあり、分野や経験に関わらず以下のような悩みは多くの研究者が共有していると思います。

• 説得力のある論文のストーリーを作るにはどうしたらいいか
• 実験結果の効果的な見せ方
• 査読の書き方
• 論文調査で得た情報の整理

研究skill-upゼミでは、メンバーが研究活動を改善していくために、今まで下記のトピックについてノウハウを調査し共有してきました。

• 論文の書き方（abstract, introduction, etc.）
• レビュー（査読）の書き方
• 研究ネタの作り方
• 論文やポスター作成のためのレイアウト／図表のデザイン
• 文献管理ツール
• 研究時間管理のノウハウ

上記のトピックについてまとめた資料は今後ブラッシュアップして公開を予定していますが、とりあえず、論文の書き方の概要を簡単に紹介したいと思います。

論文の書き方

ゼミで使っている論文ライティングについての教科書を紹介します。採用した教科書はScience Research Writing for native and non-native speakers of Englishの第２版です（図１）。この本は他の教科書と違って、論文の書き方に関する一般的なガイドラインを提供していません。この本では、読者が選んだ論文の構造を分析することで、具体的なライティングのパターンを学び自分の論文に活用できる様になることを目指します。例えば、イントロダクションを書く際に、論文の主なアイデアを強調する書き方や、結果を提案手法に関連付けて説明するパターンを具体例から学びます。

図１：おすすめの教科書、Science Research Writing for native and non-native speakers of Englishの第２版

次のセクションでは、実際の論文のイントロダクションを分析した例を紹介します。具体的には、教科書で解説されている技法（提案手法の重要性を強調する表現など）が使われている箇所をチェックし、どのようにイントロダクションが構成されているかを分析します。

イントロダクションの書き方

この本ではイントロダクションでは一般的な、あるいは解りやすい問題から、論文が扱う具体的な問題まで、漏斗の様な構造があることを示しています（図２）。基本的なイントロダクションの目的は以下のようなものであると説明されています。

• 冒頭で論文のトピックを紹介する
• 関連研究を紹介し、既存研究と本研究の違いを明確にする（論文が扱う問題）
• イントロダクションで読者はモチベーションやメインアイデアを把握し、続く詳細が理解しやすくなる

図２：論文の構造とイントロダクションのイメージ

今回はコンピュータビジョンの論文を使って、教科書に基づき論文の構造を下記のように分析しました。注目すべき箇所は太字で強調しました。

Siarohin et al. (2019) “Increasing image memorability with neural style transfer”. ACM Transactions on Multimedia Computing, Communications, and Applications, 15(2), 1-22.

まずは、背景情報が提供されています。研究トピックの重要性を強調する表現が使われているところがポイントです（enormous, greatly overwhelmed）。

We live in a society where everything has to be fast and in which the enormous amount of visual stimuli we receive daily has greatly overwhelmed the human capacity.

次に一般的な問題が述べられています。新しい情報が追加されるので現在形が使用されています。また、因果関係を表すのに as a consequence が使われています。

It is impossible to absorb all visual information which we are daily exposed to. As a consequence, designers are continuously struggling for capturing consumers’ visual attention.

この論文では関連研究に現在完了形を使っています。関連研究は一般知識を提供するものから本研究に近いものまで順番に紹介されます。

Previous research studies have shown that memorability is an intrinsic image property (…). Other works have demonstrated that image memorability can be measured.

次の文ではこの研究が取り組む問題とその解決方法が述べられています（while 〇〇 it would be desirable 〇〇）。

While research studies in cognitive neuroscience are used to derive general rules for reshaping visual contents, it would be desirable to reduce human intervention and devise technological solutions to automatically modify images and videos accordingly.

以下の文では提案手法の重要性が強調されています。

The specific case of memorability is interesting in practice, since it has not only a commercial impact in marketing and fashion as well as in the way visual content influences people

この文では本研究のゴールが紹介されています。現在形を使っていることに注意してください。

This work introduces an approach to automatically modify images

次の文では図を使った説明をしています。提案手法のアイデアを示す図はイントロダクションの1ページ目に配置することが効果的です。特にコンピュータビジョンの論文ではよく見る構成で、読者の注意を引く効果もあります。初めて提案手法の概要を見せる際には、入力と出力、関連研究との違いなどを明確にすることによって、論文が扱う問題とその問題の大切さが伝わりやすくなります。

The main idea behind the proposed method is illustrated in Figure 1. Given a generic image, our approach provides as output a list of suggested style images sorted by the estimated increase in memorability.

提案手法の概要の後、実験の設定が簡単に説明されています。また主な結果の説明に、この研究による成果を強調する表現が使われていることに注意してください。（”happy words” の例、effective, successful）

We evaluate the proposed approach conducting experiments on the publicly available LaMem dataset, showing that our method is effective in increasing image memorability.

イントロダクションの最後ではこの研究のコントリビューションが３つのポイントで要約されています。

To summarize, the contribution of our work is threefold:

・We introduce a novel framework to (…)

・We demonstrate the flexibility of our framework with respect to (…).

・We propose an extended version of the method (…)

最後に、重要なポイントの１つは、段落の構造、つまり paragraphing です。基本的に一つの段落では一つのアイデアを説明します。読者は最初の文章をチェックするだけで段落の内容がわかるような書き方をすべきです。イントロダクションの段落の構造は、下記の具体例の様な構造に従うことが多いと言われています。

1. We live in a society where (…) 

2. In order to tackle this problem, previous works (…)

3. The main idea behind the proposed method is (…)

4. To summarize, the contributions of our work are (…)

まとめ

このブログではゼミ活動の紹介として、ゼミで勉強したイントロダクションの書き方をまとめました。教科書に沿って、コンピュータビジョンの論文を分析し、重要な言葉や構造を洗い出し、イントロダクションのモデルを作成しました。このモデルは他の論文にも適用することができます。今後もブログで論文の書き方や、効率的な研究のためのヒントなど、ゼミで扱っているトピックを紹介したいと思います。

要約

• 人間もロボットも日々意思決定して存在している
• 人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか？
• 現状では、対話相手の心的状態を理解した上での意思決定ができないところが異なる
• 将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないといえるかもしれない
• もし、そうでないとしたら、それが人間らしさというものになるのだろう。

はじめに

我々は常に意思決定をしている。例えば、休日に何をするかなど枚挙にはいとまがない。

もし、この意思決定が人工物、例えばコンピュータができるとしたらどうだろうか。例えば、命令が与えられていない時何をするかなど人と同じく枚挙にいとまがない。

この問いに先駆的に取り組んだ人はノーベル経済学賞を受賞したハーバートA・サイモンである。ハーバートA・サイモンはこの問いについて『意思決定の科学』[1]にまとめた。『意思決定の科学』では、経済の観点において、人間とコンピュータとの意思決定の違いについて述べている。「発見的な問題解決」はコンピュータには解決できないとサイモンは述べている。

今回はこのサイモンと異なる観点で、「人間の意思決定とロボットの意思決定、コミュニケーションにおいて何が違うのだろうか」という問いを取り扱う。一般的な意思決定から始まり、サイモンのようにコミュニケーションの観点に絞り、科学的な面や工学的な面から比較を行う。果たして人間とロボットは意思決定、コミュニケーションにおいてそれらを分かつ明確な境界はあるのだろうか。

現状における人間の意思決定とは

まず、人間の意思決定とは何かを考えてみよう。

一般的な人間の意思決定とは

一般的な人間の意思決定とは、”問題解決に当たって，実行可能な行為の中から最適と思われるものを選択すること”[2]である。なお、傍観のような積極的に何もしないことも意思決定に含まれるとも考えている。また、感覚遮断実験のように何も刺激を与えないときに積極的にその環境から出ようとすることも意思決定に含まれると思われる。

この章では個人の意思決定について焦点を合わせることにする。したがって、集団や法人といった存在の意思決定は特に取り扱わないとする。

人間の意思決定をすべて説明する理論はまだ難しいと言った状況にある。現状では意思決定の一部を切り取り、モデル化している段階にある。したがって、今回は意思決定のモデルを数多く紹介するのではなく、ロボットと関連の深いものを中心に説明していく。

人間の意思決定に関する初期の研究としてパブロフが発見した条件反射がある。条件反射はパブロフの犬という有名な実験で示された意思決定方法である。パブロフの犬で発見したことは特定の条件では意識によらず無意識が行動を決定することを後天的に学習できるということである。ただし、意思決定と言うにはあまりに機械的な仕組みである。

人間の意思決定に関する中期の研究としてスキナーが体系化したオペラント条件付けがある。オペラント条件付けはスキナー箱という名前で有名な実験で示された意思決定方法である。スキナー箱で発見したことはブザーという先行刺激をネズミに与えることで、餌が出てくるレバーを押す行動が決定されるように意識的に学習できるということである。オペラント条件付けによる意思決定の頻度の高まりを強化と呼ぶ。

人間の意思決定に関する後期の研究としてベンジャミン・リベットの研究がある。ベンジャミン・リベットの研究で発見したことは、ボタンを押すという単純な意思決定は意識によって決められる前に脳が決めているということである。この研究から人間には自由意志が存在しないのではないのかとの仮説が立てられ、物議が醸されている。

以上の研究から、人間の意思決定の一部は極めて機械的であり、ロボットに実装可能であると考えられる。

コミュニケーションにおける人間の意思決定とは

コミュニケーションにおける人間の意思決定とは、対話相手から何らかの反応を受け取ったときに何らかの反応を返すことである。なお、積極的に無言を返すことも意思決定に含まれるとも考えている。

最も単純で大切なコミュニケーションに関する意思決定は挨拶だろう。対話相手から挨拶された場合、通常挨拶し返すのが礼儀である。しかし、無言で答えることも選択肢の１つとしてある。もちろん無言で答えた場合、お互いの仲が険悪になるということは言わずもがなだろう。

もう少し複雑なコミュニケーションに関する意思決定としては対話がある。対話にはいろいろな要素が含まれている。たとえば、対話を開始すべきか終了すべきかどうかというエンゲージメントの問題や、対話中に話を切り出すかというターン・テイキングの問題など様々ある。

最も重大と思われるコミュニケーションの意思決定として治療方針の決定がある。例えば、延命治療を行うかどうかは本人の意思決定によって決めるものだが、意思決定できない状態にある場合もある。

現状におけるロボットの意思決定とは

次にロボットの意思決定とは何かを考えてみよう。

一般におけるロボットの意思決定とは

ロボットの意思決定とは、センサからの入力に対して、モーターなどのエフェクターへ何を出力するかをアルゴリズムに基づき決定することだと筆者は考えている。なお、積極的に何も出力しないことも意思決定に含まれるとも考えている。このように定めるとロボットアームの制御から複数ロボットの協調動作まで広く定義される。

この定義に基づいた最も単純なロボットの意思決定方法とはルールベースである。ルールベースとは「もしAが入力されたならば、Bを出力する」という仮定法で記述されるアルゴリズムである。例えば、もし人間から「こんにちは」と話しかけられたら、ロボットは「こんにちは」と挨拶し返すことがある。人間の条件反射はまさにルールベースな行動であると言えよう。

ルールベースを発展させたものとして、エキスパートシステムがある。”エキスパートシステムとは、ある分野の専門家の持つ知識をデータ化し、専門家のように推論や判断ができるようにするコンピュータシステムのこと”[3]である。例えば、エキスパートシステムは、人間は死ぬという知識とアリストテレスは人間という知識から、アリストテレスは死ぬという命題は真であると導くことができる。しかし、このルールベースで実世界の意思決定をすべてを記述しようとすると、無限のルールを有限時間しか存在できない人間が決める必要となる。

ルールベース以外の意思決定方法として、非ルールベースがある。非ルールベースとは、ルールベースではなく、機械学習や統計学、ベイズ推定、最適化手法のことを指す。これらの定義はEUのAI規制ガイドライン[4]の付録を参考にして作った。人間のオペラント条件づけはまさに非ルールベースであると言えよう。

非ルールベースの中で特筆すべき意思決定方法として強化学習が挙げられる。強化学習とは環境の中にいるロボットが環境の状態を観測してその観測結果に基づいて行動することを試行錯誤しながら学習する意思決定方法である。このとき、ロボットの製作者が望ましいと思われる状態にロボットが行動により変化させられたならば、報酬が与えられ、強化される。強化学習は人間のオペラント条件づけの強化をモチーフに作られたものだと考えられている。[5]

逆にロボットの意思決定を制限する指針としてアイザック・アシモフが『われはロボット』にて提示したロボット工学三原則が挙げられる。ロボット工学三原則とは、第一条から優先適用される以下の通りのルールである。

• “第一条　ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。” ([6]より引用)
• “第二条　ロボットは人間にあたえられた命令に服従しなければならない。ただし、あたえられた命令が第一条に反する場合は、この限りではない。” ([6]より引用)
• “第三条　ロボットは、前掲第一条および第二条に反するおそれのないかぎり、自己をまもらなければならない。” ([6]より引用)

ロボット工学三原則は、SF小説をミステリアスにするための設定ではある。しかし、作中にもある通り、この原則は模範的な人間の行動ルールであり、ロボット工学者はなるべくならばこの原則を守ったロボットを作るべきだとされている。

コミュニケーションにおけるロボットの意思決定とは

コミュニケーションにおけるロボットの意思決定とは、対話相手であるユーザの状態に応じて適切な行動をロボットが決定することと定義できる。この定義からルールベースや強化学習はこの意思決定の問題を解決する手段の例と言える。

特にこの広範に渡るコミュニケーションにおける意思決定の問題を解決する手法としてポテンシャルを秘めているのが強化学習である[7]。この分野をまとめた論文[7]では、人間とロボットとの強化学習をInteractive Reinforcement Learningとして定義しており、新しい研究分野であると示唆している。この問題を強化学習で解いた特筆すべき研究としてQureshiらの研究[8]がある。Qureshiらの実験の様子を図１に示す。

図１ 握手を求めるタイミングを映像から判断するロボット([8]より引用)

Qureshiらは人間を含む映像を入力として握手などの行動を出力する意思決定問題を深層強化学習により世界ではじめて解いている。これは限りなく人間に近い意思決定手法と言えるだろう。

そのアーキテクチャが図2である。アーキテクチャはMultimodal Deep Q-Network (MDQN)と呼ばれている。グレースケールの画像と深度画像を入力とし、握手などの行動を出力としている。アーキテクチャの構造は人間の視覚野と類似している畳み込みニューラルネットワークを用いている。このアーキテクチャが特に人間に似ているように見える。

図２　Multimodal Deep Q-Networkのアーキテクチャ（[8]より引用）

筆者であるAI Labの尾崎安範もこの分野を研究する者の一人である。「空気を読むロボット」というコンセプトをベースに、人間の心的状態と相関する行動に基づいて、コミュニケーションの意思決定を強化学習で学ぶロボットを開発した[10]。ロボットの様子を図３に示す。

図３　展示員のタスクを与えられた、空気を読むロボット（右側）（[10]より引用）

このロボットは図2の環境にいる展示員のタスクを与えられており、トイレに行く人を邪魔せずに展示に興味がありそうな人だけに声をかけるように学習した。

図４　展示員のタスクを与えられたロボットの実験環境（[10]より引用）

筆者の研究はQureshiらとは違い、既存研究に基づいた人間の行動モデルを明示的に仮定して強化学習を行う。このため、明示的に人間の心的状態と相関する行動を判断できるようにできている。この人間の行動モデルにより、ロボット工学三原則の第一条と第二条に適する行動を自律的に獲得できるように強化学習できている。

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは

コミュニケーションにおける人間の意思決定とロボットの意思決定との境界線とは、対話相手の心的状態を理解した上での意思決定ができないところである。例えば、「おはよう」と人間が言ったものの元気がない様子であれば、「おはようございます。昨日は何かあったんですか？」とロボットが心配することは今の所できない。もちろん、そのルールだけを実現することは可能ではあるが、類似のルールを記述しきることは難しい。

コミュニケーションにおいて人間とロボットを区別する方法として、チューリングテスト[11]がある。チューリングテストは例えばテキストベースの雑談で人間と人工知能で見分けるものであった。実はすでにこのチューリングテストを突破する人工知能は現れており[12]、この問題は解決されたとされている。もう少し発展させて複雑な意思決定に関しても人間と変わらないことを示せれば、意思決定に関しても人間とロボットを区別できないという結論が得られるかもしれない。

やがて社会で活躍するロボットの意思決定とは

やがて社会で活躍するロボットの意思決定とは、心の理論に基づいた意思決定である。心の理論とは、”他者の心を類推し、理解する能力である”[13]。また、同義語として、”mentalizing”がある[13]。心の理論を持つロボットを実現することは容易ではない。特に非言語の領域ではプログラミング言語のような言葉にすること自体が困難であるため、研究が難しい。

心の理論の一部を機械的に説明した「心を読むシステム」をバロン・コーヘンが提案している[14]。心を読むシステムは、意図の検出器、視線方向の検出器、注意共有の仕組み、心の理論の仕組みで構成されるシステムである。ここで注目してほしいのは視線方向の検出器である。他のモジュールと違い、かなり物理的で客観的である。ロボットに実現するには容易な部類であると言えよう。ただし、その容易な視線検出も、例えば、歩行者の視線を取るのは現代の技術でも難しいというのが実情である。なお、Proof of Conceptとしての心を読むシステムを筆者が実装した例[15]がある。その様子を図５に示す。

図５　心を読むシステムを実装した対話システムの例 ([15]より引用)

筆者が実装した心を読むシステムは、以下のステップで心を読む。

1. 画面上のエージェントが画面と向き合っている人間がいる。
2. 画面上には表示されている物体、球と立方体２種類が表示されている。
3. 人間は球か立方体、あるいは虚空をみて、「これはなんですか？」という代名詞の質問を行う。
4. 画面上のエージェントは人間の視線を見てどの物体を見ているか推察し、例えば「これは球です」といった返答を行う。

これという代名詞は言語の外にある非言語情報がなければ、実現は不可能である。人間は決して言語だけでできているわけではないことがわかる。心を読むシステムをさらに発展させたシステムをロボットに実現することが今後の課題と言える。

近い将来には人間の意思決定とロボットの意思決定にコミュニケーションにおいて違いはないと言える日が来るのだろう。そのときには多くの人の命の救う意思決定が客観的にできるようになるかもしれない。

しかし、その日が来なければ、その違いが人間らしさというものになるのだろう。その人間らしさを探すのが我々認知科学を研究するもののの勤めではないかとも私は思うのだ。

参考文献

[1] ハーバートA・サイモン, 稲葉元吉, 倉井武夫共訳, “意思決定の科学”, 1979

[2] “最新 心理学事典”, 2013, https://kotobank.jp/word/意思決定-30537

[3] “エキスパートシステム”, IT用語辞典 e-Words, 2018 https://e-words.jp/w/エキスパートシステム.html

[4] “Proposal for a Regulation laying down harmonised rules on artificial intelligence”, 2021

[5] 吉本潤一郎, 伊藤真, 銅谷賢治, “《第10回》脳の意思決定機構と強化学習”, 計測と制御, 2013

[6] アイザック・アシモフ作, 小尾芙佐訳, “われはロボット〔決定版〕”, 2014

[7] Neziha Akalin et al., “Reinforcement Learning Approaches in Social Robotics”, Sensors, 2021

[8] Ahmed Hussain Qureshi, Yutaka Nakamura, Yuichiro Yoshikawa and Hiroshi Ishiguro, “Robot gains social intelligence through multimodal deep reinforcement learning”, Humanoids, 2016

[10] Yasunori Ozaki, Tatsuya Ishihara, Narimune Matsumura, Tadashi Nunobiki, “Can User-Centered Reinforcement Learning Allow a Robot to Attract Passersby without Causing Discomfort?”, IROS 2019

[11] A. M. TURING, “I.—COMPUTING MACHINERY AND INTELLIGENCE”, Mind, 1950

[12] “露スパコンに「知性」、史上初のチューリングテスト合格”. AFP通信, 2014 https://www.afpbb.com/articles/-/3017239

[13] 大神田 麻子, 板倉 昭二, “心の理論”, 2021, https://bsd.neuroinf.jp/wiki/心の理論

[14] サイモン バロン=コーエン, 長野 敬 (翻訳), 今野 義孝 (翻訳), 長畑 正道 (翻訳), “自閉症とマインド・ブラインドネス”, 2002

[15] 尾崎安範, “これ”はなんですか、コンピュータさん？ -「心を読むシステム」の実装- https://qiita.com/alfredplpl/items/81d6e56a48323dadec6d

AI Labの尾崎です。
主に人間とロボットとのインタラクションに関する技術開発を担当しております。

さて、ロボットといえば、コミュニケーションロボットや自動運転車など、自律的に動いてもらって人の労働を助けるものが多いと思います。人の労働を助けるほど、ロボットに人並みに自律的で賢く動いてもらうためには、たとえば、ロボットに視覚を与える必要が出てきます。このときに役立つのがロボットビジョンを始めとした人工知能 (AI) です。特にロボットのAIのようなインターネットの末端 (エッジ) にいるAIをエッジAIと呼びます[1,22]。

最近では深層学習と呼ばれる技術が生まれ、このエッジAIの分野も革新的に進歩しました。深層学習のおかげでロボットは、目の前の歩行者を画像から認識したり、部屋のものを認識できるようになったりしました。しかし、この深層学習で作られたモデルを使うには莫大な量の計算をしなければならない問題があります。また、その計算をすると、計算に使う電力が大きくなる問題があります。ロボットという物理的に限られたスペースでは、この２つの問題を解決するのはとても難しいのです。そのため、この２つの問題を解決するために、ロボットなどを対象としたエッジAI専用のデバイスが開発されるようになってきました。

本記事では、エッジAIに役立つデバイスについて、その種類とそれぞれの仕様、実際の画像検出結果を分析してお伝えします。

市販のエッジAI用デバイスの種類を比較

エッジAI用デバイスはたくさんあります。その中でも特にみなさんが使いやすい市販されているものを今回紹介したいと思います。まず、エッジAI用デバイスを体系的に理解するために、デバイスの種類と特徴を写真付きで簡単に説明します。

シングルボードコンピュータ（SBC）の特徴

SBCはコストや処理速度、消費電力に優れているという特徴があります。汎用IO（GPIO）が備わっていることが多く、電子工作などで機能を拡張することができます。ここでは例としてJetson Nano Developer Kitの写真を図１に示します。ただし、拡張性が高く、専用のデバイスであるため、開発や取り扱いに専門知識が必要という弱点があります。

図１ Jetson Nano Developer Kitの写真

ミニPCの特徴

ミニPCは開発や取り扱いがとても簡単である特徴があります。実は多くのミニPCはディスプレイとキーボード、バッテリがないノートパソコンと同じような構成になっているためです。このため、パソコンを取り扱うようにミニPCを取り扱えます。また、パソコン周辺機器がそのまま使えるため、拡張性が高い傾向にあります。ここでは例としてNUCの写真を図２に示します。ただし、コストや消費電力が高かったり、GPIOを備えていなかったりする弱点があります。

図２ NUCの写真

コプロセッサの特徴

コプロセッサは他のデバイスの処理速度を底上げできるという特徴があります。コストや処理速度、消費電力にも優れます。ここでは例として、Edge TPU USB Acceleratorの写真を図３に示します。ただし、このデバイス単体ではシステムを構築することができないという弱点があります。SBCやミニPCなどと組み合わせましょう。

図３ Edge TPU USB Acceleratorの写真

スマートフォンの特徴

スマートフォンは多くのユーザが持っているデバイスという特徴があります。また、センサも充実しており、カメラや慣性センサなどデフォルトで備わっていることが多いです。最初からインターネットと接続されていることが多く、エッジAIと対をなすクラウドAIとの相性が良いです。ポータブルで耐衝撃性に優れ、いいとこづくめです。読者の皆様は外見を知っていると思うので、写真は割愛します。ただし、目的に対して余計な機能が多い分コストが高かったり、電子工作するのは比較的苦手で拡張性が低かったりする弱点はあります。

市販のエッジAI用デバイスを仕様を比較

さて、SBCをはじめとしてエッジAIに使える様々な種類のデバイスがでてきました。それぞれの種類について具体的な製品名をあげるときりがないので、たくさんあるエッジAI用デバイスの中から、著者がピックアップしたものを表１と表２にまとめます。

表１ 市販のエッジAI用デバイスの仕様一覧 (FP32:単精度浮動小数点数演算, FP16:半精度浮動小数点数演算、 INT8: 8ビット整数演算)

注１：Raspberry Pi 4にもGPUがありますが、アセンブリレベルで処理を書かない限りは、CPUのほうが処理が速いので、このようにしました。
注２：ベンチマークなどで測定はできますが、ここでは公開されている仕様ということで明記しません
※AIアクセラレータとはAIに対する処理速度を特にあげることができる処理装置のことです。

表２ 市販のエッジAI用デバイスの仕様一覧（SBC以外）

エッジAI用デバイスによる画像認識テスト

さて、エッジAI用デバイスがたくさんでてきましたが、AIに対してどのような特性があるのかよくわかりません。そこで、実際に画像認識をさせて、エッジAI用デバイスの処理速度を比較してみましょう。

実験方法

今回はエッジAI用デバイスの数が多すぎるため、一部のデバイスを比較対象とします。デバイスに与える処理は骨格検出 (Human Pose Estimation) とします。この処理を１００回繰り返して、その平均画像検出時間[sec]を求め、その逆数である平均処理速度[fps]を比べます。また、骨格検出の様子がわかるように可視化した図も合わせて表示します。骨格検出などの組み合わせを一覧にした実験条件を表３に示します。比較に使う画像は肖像権の都合上自分のプロフィール画像を使います。対象の画像を図４に示します。

図４ 実験時に入力として使う画像

表３　デバイスなどの組み合わせによる実験条件

実験結果

Edge TPU USB Acceleratorで骨格検出した結果を可視化したものを図５に示します。なお、ほかのデバイスでも結果はほぼ同じなので可視化は割愛します。また、それぞれの条件における平均処理速度を図６に示します。

図５　Edge TPU USB Acceleratorで骨格検出を行った結果
（緑の点が目などの特徴点の位置であることを示している）

図６　各エッジAI用デバイスで骨格検出を行った際の平均処理速度

考察

Edge TPUは速いですね。処理速度と消費電力の兼ね合いに優れています。一方、Edge TPUに比べて、Jetson Nanoは平均処理速度が遅い上、消費電力も高いのは、なぜでしょうか。これには２つの理由があります。
１つはグラフィックス専用のプロセッサであるGPUを使っているとはいえ、Jetson Nano向けに調整されていない汎用的なWeb技術（Tensorflow.js）を使って実装しているためです。Jetson Nanoを活かすにはメーカーが提供している技術（TensorRT）を使うとよいそうです[16]。
もう１つはEdge TPUに使われているディープニューラルネットワーク (以下、DNN) が量子化されているためです。一般的にDNNは実数を扱うため、浮動小数点演算を行う必要が出てきます。このため、今回のJetson Nanoは浮動小数点演算でDNNを演算しています。しかし、この実数を量子化して整数で演算してしまえばいいのでは？という発想がハードウェア側からDNN初期から綿々と続けられてきました[17, 18]。それというのも実数を取り扱う浮動小数点演算の電子回路は論理的にとても煩雑な一方で、整数演算の電子回路は極めてシンプルであるためです。そこで、Edge TPUではDNNを浮動小数点演算ではなく、整数演算で処理しています。つまり、電子回路が論理的にシンプルであるため、Edge TPUは処理速度と消費電力の兼ね合いに優れていると考えられるのです。今回のJetson NanoではGPUが整数演算処理に対応していない[19]ので、この恩恵に預かれません。しかし、最新のJetson Xavier NXでは整数演算に特化しているため、Edge TPUと同じような効果が得られるかもしれません。

また、同じNUCで同じCPUでも、CPUとCPU内部のGPU（iGPU）で平均処理速度がおよそ３倍差になっていることがわかります。グラフィックボード（GPU）のほうが目立つため、iGPUは見落とされがちです。しかし、iGPUも処理速度が出ることがわかります。

余談ですが、今回の推定方法は人数が増えてもほとんど平均処理速度は変わりません。これは、OpenPoseのようなボトムアップ・アプローチを使っているためです。この性質はおおよそ処理時間を一定にすることが望まれるエッジAIには好まれる特性です。また、各検出方法のネットワーク構造は MobileNetV1ベースであることから、手法間に大幅な違いはありません。

エッジAI用デバイスの今後の展望予想

今後は微細化などの限界から演算装置そのものが速くなることは見込み薄いです。このため、用途を限定したコプロセッサを設計していくことになるのでしょう。たとえば、演算装置の電子回路を整数演算の畳み込みに特化していくと考えられます。他にもまだ動画認識の定番アルゴリズムができてくれば、それ専用のコプロセッサができるのだと思われます。
また、データの入出力を高速化することにより処理速度を上げていくと期待しています。AIではデータの入出力が処理速度の障害になることがたくさんあります。そこで、CPUとGPUの帯域幅を広げたり、GPUのメモリの量を増やしたりしてデータの入出力を高速化していくと思われます。さらに、極端な例だと、データ入出力を高速化させるためにセンサの素子に処理用の素子をくっつけた製品が出てきています[20]。

まとめ

今回はエッジAI用デバイスの仕様や画像検出速度を比較し、今後の展望について述べました。結論から言うと、たとえ似たようなデバイスで同じようなアルゴリズムであったとしても、ソフトウェアやハードウェアの実装によって画像検出速度がかなり変わることがわかりました。コミュニケーションロボットなどの、エッジAIによるシステムを構築する際に本記事の内容がお役に立てば幸いです。

なお、余談ですが、世界最速のスーパーコンピュータである富岳は約416,000 [TOPS] (FP64) で、消費電力は28,500,000[W]  [21] です。
やばいですね。

参考文献

[1] 小林啓倫, “なぜクラウドではダメなのか？　いま「エッジAI」が注目されるワケ”, https://www.itmedia.co.jp/news/articles/2003/19/news050.html
[2] “Jetsonの各開発キットを比較！選び方も合わせて紹介！”, https://www.macnica.co.jp/business/semiconductor/articles/nvidia/133162/
[3] “Dev Board datasheet”, https://coral.ai/docs/dev-board/datasheet/
[4] “Raspberry Pi 4”, https://www.raspberrypi.org/products/raspberry-pi-4-model-b/
[5] “インテル® NUC キット NUC7i7BNH”, https://ark.intel.com/content/www/jp/ja/ark/products/95065/intel-nuc-kit-nuc7i7bnh.html
[7] “Intel® Neural Compute Stick 2”, https://ark.intel.com/content/www/us/en/ark/products/140109/intel-neural-compute-stick-2.html
[8] “USB Accelerator datasheet”, https://coral.ai/docs/accelerator/datasheet/
[9] “Pixel スマートフォンのハードウェア技術仕様”, https://support.google.com/pixelphone/answer/7158570?hl=ja
[10] “iPhone 11”, https://www.apple.com/jp/iphone-11/specs/
[11] Andrei Frumusanu, “Apple Announces New iPhone 11, iPhone 11 Pro, & iPhone 11 Pro Max”, https://www.anandtech.com/show/14859/apple-announces-new-iphone-11-iphone-11-pro-iphone-11-pro-max
[12] “@tensorflow-models/posenet”, https://www.npmjs.com/package/@tensorflow-models/posenet/v/1.0.3
[13] “node-red-contrib-tf-model”, https://github.com/yhwang/node-red-contrib-tf-model#note
[14] “Coral PoseNet”, https://github.com/google-coral/project-posenet
[15] “human-pose-estimation-0001”, https://docs.openvinotoolkit.org/latest/　_models_intel_human_pose_estimation_0001_description_human_pose_estimation_0001.html
[16] https://twitter.com/terryky1220/status/1271410014498861056?s=20
[17] Itay Hubara et al., “Binarized Neural Networks”, NIPS 2016
[18] Benoit Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference”, CVPR 2018
[19] “Why jetson nano not support int8”, https://forums.developer.nvidia.com/t/why-jetson-nano-not-support-int8/84060
[20] “Sony to Release World’s First Intelligent Vision Sensors with AI Processing Functionality”, https://www.sony.net/SonyInfo/News/Press/202005/20-037E/
[21] “日本の「富岳」が世界最速スパコンに–世界ランキング「TOP500」”, https://japan.cnet.com/article/35155694/
[22] M.G. Sarwar Murshed et al., “Machine Learning at the Network Edge: A Survey”, arXiv

WPP とは「White Paper Project」の略で、アドテクスタジオに所属するエンジニアやAI Labのリサーチャー有志で集まり、各々の業務・研究の成果を論文形式でまとめている冊子です。

WPPに関する詳細はこの記事にまとめられています。

今回で6回目の刊行になり、非常に興味深い内容のものばかりとなりました。

▼今回掲載されている内容はこちらです。
・馬場さん・折原さん「商品検討時のWeb行動ログの分析と可視化」
・森脇さん「位置情報によるAirTrackユーザの来訪推計」
・菅原さん「滞在時間最大化ロジックについて」
・野村さん「シンプルなベイズ最適化について」

今回掲載された論文のアブストラクトを用いてWord Cloudを作ると以下のようになりました。

アドテクらしい「最適化」や「要因」といったキーワードから、アドテクではあまり見かけない「チャット」や「来訪」のようなキーワードもあります。

WPPはこれまでアドテクスタジオ独自の施策として社内限定で公開を行ってきましたが、
今後このWPPをより良いものにし、さらに盛り上げていくために、
アドテクという枠を超えてサイバーエージェントグループ全体のプロジェクトにしていくことを考えています！

WPPのCAグループ全体のプロジェクト化の旨を伝えに、藤田社長にお届けしました！

藤田社長は「頑張って読むね」との言葉とともに、ベイズ最適化のところに関しては「これは読めなさそう」という言葉もいただきました（笑）
WPPをCAグループ全体のプロジェクトにしていきたいということを社長に伝えたところ、「いいね」と言っていただけました！
全社化が成功した暁には、またお届けする予定です！

アドテク本部の責任者、上級執行役員である内藤さんにもお届けしました。

内藤さんもCAグループ全体のプロジェクトにしていくことに関して、
「是非やろう、巻き込むなら大きく巻きこもう」とかなりポジティブに捉えていただきました。
また、僕たちが内藤さんの部屋を出る時までずっとWPPに釘付けになって読んでくださいました。

現在このWPPは社内限定で公開を行っていますが、今後社外にも公開できるものを厳選して公開する予定です。
過去にも一部公開しているものがあるので以下のリンクをご覧ください。

「Computer Vision meets Fashion」　著者 AI Lab山口

「なぜ人はカスタマーサポートで怒りが湧くのか」　著者 AI Lab馬場

今週、6/18（月）からソルトレークシティで行われている「CVPR2018」※1にて開催されている、ビジュアル広告を理解するためのワークショップ「ADS」のコンペティションにAI Labのクリエイティブリサーチのメンバーで挑戦していたのですが、なんと…1位で技術コンペ通過となりました！
6/22（金）にソルトレークシティ現地にてコンペの技術詳細について発表もおこないます。
　※1コンピュータビジョンやパターン認識の分野における国際会議

『AI Lab』のクリエイティブリサーチチームでは、
「広告クリエイティブの自動制作支援と自動生成」について研究開発を進めており、大学や研究機関との産学連携も進めながらアカデミックで進めている研究技術を、広告の配信技術やクリエイティブ生成技術に活かすべく日々研究開発を行っています。

関連リリース
「AI Lab」、バージニア大学の研究者らとの共著論文が、コンピュータビジョン分野の国際会議「CVPR」にて採択
【AI Lab】国際会議のCVPR@USに続き、CHI@Canadaのワークショップも2本採択！ 採択論文概要とAI Labの研究オフィス紹介

このような活動の中、今回の「CVPR2018」ではAI Labから４つの発表を予定しています。

たくさんの発表が行われるCVPR2018、今回１位通過したコンペティションについて詳しく研究員に聞いてみました。

ビジュアル広告の理解のためのワークショップ「ADS」
コンペティション１位通過！ＵＳ現地で発表へ

－－コンペ１位通過おめでとうございます！
まずはどういう形でコンペが行われるのか？など詳しく教えてください

CVPRでは本会議以外にもコンピュータビジョンの多数の詳細研究領域についてのワークショップが開催されます。今回はADにもAI Lab大谷が言語と画像理解のためのLanguage and Visionワークショップにてポスター発表を予定しております。今回1位で通過したのはビジュアル広告の理解のためのワークショップ「ADS」の中で行われた画像認識を競うコンペ。与えられた広告画像のデータセットに対する認識性能を競います。競技は3−4月の準備期間を経て、5−6月の競技期間中に正解が不明なテストデータに対する性能を主催者側が判定するという形で行われます。(山口)

－－今回の課題は具体的にどのような内容ですか？

今回の課題は、あるバナー画像について与えられた15個のテキストから正しい記述を1つ選び出すというタスクの性能を競います。15個中正解となりうるものが3つ含まれているのでこの3つのどれかを当てれば正解となります。バナー画像を対象としているため、例えばチラシのように商品と価格が並んだものから禁煙や自然保護を訴える印象的な広告まで、幅広い対象を認識する必要がある点が難しい設問になっています。我々は多くの広告画像に含まれるテキスト領域に着目し、深層学習を用いた画像認識モデルに文字認識モデル（OCR）を組み合わせた手法で1位を獲得することができました。(山口)

－－たとえば、今回の手法/提案を活かすと広告ではどんなことが期待できるのでしょう？

広告画像が何を表現しているのかを直接理解するための技術は、様々な応用が期待できます。例えば広告クリエイティブの制作者は制作現場でリアルタイムに広告の受け手の印象や理解内容のフィードバックを受けることができるようになります。意図しない表現があればすぐに修正を加えることができますし、どんな箇所に視線が集まりそうかといった情報を推定することも可能になります。また、自動で広告を生成した場合の表現の品質評価に使うことで、制作自動化技術・制作支援技術の改善に繋がることが期待できます。(山口)

AI Labのクリエイティブリサーチチームで研究をすすめている、『広告クリエイティブ自動製作支援と自動生成』の研究テーマにどんぴしゃのコンペティションで１位という結果、とてもうれしいです！

■同ワークショップでのポスター発表について

－－同ワークショップでポスター発表を行う大田さんです
今回の発表をもとに、今後の意気込みやカンファレンスから持ち帰りたいことなどあれば教えてください。

▼画像を感情に沿うようにレタッチした一例

たしかにレタッチが違うだけで画像から受け取る印象がとても違います・・・
様々な切り口から画像に関する研究を行っている『AI Lab』クリエイティブリサーチチーム。
今まさに現地でインプット&アウトプットに取り組んでいます！

アドテクスタジオ、AI Labでは多くの国際カンファレンスや学会に参加していますが、インプットだけではなくアウトプットの場としてもどんどん挑戦しています。

CVPRに関する詳細のレポートは、参加後にAI Labのリサーチブログにおいて参加レポートを予定しております。
ぜひご覧ください。