論文名：Practical Insights into Designing Context-Aware Robot Voice Parameters in the Wild

著者：Amy Koike, Yuki Okafuji, Sichao Song

はじめに

公共空間で働く対話ロボットにとって、声はインタフェースそのものです。聞き取りやすさや理解しやすさはもちろん、好ましさや話しかけやすさにも直結します。一方で、声の設計に関する知見はラボ実験に偏りがちで、実環境のノイズや人の流れ、多人数・立ち話といった現場のややこしさが入ると、同じ設定でも受け取られ方が大きく変わります。本研究は、ショッピングモールでの自然発生的な対話を対象に、音声パラメータ（音量・話速）がどのように知覚され、どのような文脈でちょうどよさが変わるのかを、①6名へのインタビューと、②8日間・725件のアンケート調査の大規模フィールド実験（3×3デザイン）で検証し、コンテキストに応じた声設計の実務的示唆をまとめたものです。

研究背景

たとえば、同じモールでも週末は騒がしく、平日は比較的静かです。周囲に人がいるか、ひとりで使っているか、グループで使っているかによっても、「大きい／小さい」「速い／遅い」の感じ方は変わります。論文には象徴的な場面が示されています。例えば、ロボットが同じパラメータで話していても、ひとりで使うユーザは「大きすぎる」とジェスチャーをする一方で、グループのユーザは「小さすぎて聞こえない」と身を乗り出します。つまり、音声設計は単なるデフォルト値ではなく、環境・社会的状況・関与の深さに応じて変えるべき制御対象だ、というのが本研究の問題意識です。

研究方法

本研究は2段階の自然実験で構成されます：
（1）事前インタビュー：ショッピングモールに設置した案内ロボットと実際に対話してもらい、6名の参加者に半構造化インタビューを実施しました。ここで「時間帯と環境ノイズ」「周囲の人の存在」「ひとり／同伴」「会話への関与の深さ」といった文脈要因が、声の好みを変えることが整理されます。
（2）フィールド実験：続く8日間のモール運用で、音量（V1–V3）×話速（S1–S3）の3×3デザインを被験者間で割り当て、対話後アンケートで「音量がどれくらいに聞こえたか（Q_V）」「話速がどれくらいに聞こえたか（Q_S）」を7件法で取得しました。最終的に725件の有効回答を分析しています。

実験設定

音量は、現場の環境ノイズ（ロボット以外で65–70dB程度）を踏まえて、S/N比で3水準を設計しました。V1はおよそ70–73dB、V2は79–80dB、V3は83–85dBです。話速はGoogle TTSの倍率として、S1=0.8（約120WPM）、S2=1.2（約150WPM：基準）、S3=1.6（約230WPM）を採用しました。

また、動画アノテーションにより年齢（若年層／中年層／高齢層）、平日/週末、周囲の人の有無、1人かグループか、会話が続いたか、動機（機能目的/実験/興味本位/教育目的）を付与し、音量・話速の知覚がどの文脈で変わるかを分析しています。

結果

本研究からまず分かったのは、ロボットの音声パラメータ（音量・話速）には「これが絶対に正しい」という固定の最適値があるわけではなく、置かれている状況によってちょうどよさが変わるということです。公共空間では周囲の騒がしさ、人の流れ、利用者が一人かグループかといった条件が常に変動します。そうした環境では、同じ設定でも「うるさい／小さい」「速い／遅い」の受け取られ方が変わり得ます。

音量については、基本的には環境ノイズに合わせた調整が重要ですが、それだけでは足りません。年齢によって聞こえ方・感じ方が変わることが示唆され、同じ音量でも受け止められ方が一様ではないことが分かりました。つまり、音量は「周囲がうるさいから上げる／静かだから下げる」だけで完結しない設計対象だと言えます。

話速については、特に周囲に人がいるかどうかや、会話がどれくらい深まっているかによって、ユーザがテンポに敏感になる場面があることが示されました。さらに、利用者が「何のために話しかけているか」（目的・動機）によっても、適切に感じる話速のレンジが変わる可能性があります。つまり話速は、単に“聞き取りやすい速度”を選ぶというより、場の空気や対話の進み方に合わせて設計する必要がある、というのが重要な結論です

考察

本研究が示す実務的なポイントは、音量と話速で「適応させるべき文脈」が少し違うことです。音量はまず環境ノイズに合わせるのが基本ですが、そこに年齢差が加わります。高齢者に配慮して大きくすれば聞き取りやすさは改善し得る一方で、周囲の人への外部性（うるささ、会話内容が周囲に漏れること）や、利用者本人の“目立ってしまう”気恥ずかしさを増やす可能性もあります。音量の単純な増幅は、効果と副作用が同時に出やすい「諸刃の剣」になり得る点が重要です。

一方、話速は周囲の人の存在や、対話の深まり方によって「敏感さ」が変わりやすいパラメータです。周囲に人がいると、利用者は無意識に「早く終わらせたい／待たせたくない」という社会的な圧力を感じやすくなり、テンポや“間”に対してシビアになります。逆に会話が深まるほど、ターンテイキングのリズムとしての話速が効いてきます。つまり話速は、環境ノイズというより社会的状況と対話フェーズに合わせて設計するのが合理的です。

これらを踏まえると、公共空間の音声設計は「一つの万能設定」を探すのではなく、(1) 環境ノイズ＋年齢を見て音量を調整し、(2) 周囲の人・会話の深さ・利用目的に応じて話速や間を調整するという二段構えの適応戦略が現実的だと考えられます。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：From Metrics to Meaning: Insights from a Mixed-Methods Field Experiment on Retail Robot Deployment

著者：Sichao Song, Yuki Okafuji, Takuya Iwamoto, Jun Baba, Hiroshi Ishiguro

はじめに

小売領域では、サービスロボットの導入によって「通行人の注目を集める」「立ち止まりを増やす」効果が報告されてきました。一方で現場で本当に問われるのは、その注目が意味のある顧客体験や購買につながるプロセスに転換されるかどうかです。本研究は、数値（Metrics）として観測できるファネル指標と、現場スタッフの解釈・実務上の判断（Meaning）をつなぎ、ロボット導入の効果がなぜそのように現れるのかを、混合研究（Mixed-Methods）で解き明かします。

研究背景

小売店舗でロボットが担いやすい役割は、入口での声かけや存在感によるアテンション獲得です。実際、先行研究でも、立ち止まりや滞在時間の増加は比較的一貫して示されています。しかし、立ち止まりが増えても、店員による接客、入店、試用、そして購入といった下流工程が同じように伸びるとは限りません。さらに実店舗では、ロボットと顧客の二者関係だけでなく、店員がいつ・どのように介入するかという三者協調が結果を左右します。このため、KPIを追うだけでは見落とされる「現場で何が起きていたのか」を同時に捉える必要があります。

研究目的

本研究では、次の2つの研究目的を設定しています：

• RO1：実店舗におけるロボット導入（および入口演出としての什器の併用）が、顧客行動ファネルとサービス成果に与える影響を定量的に検証する。
• RO2：観測された定量パターンを、店舗スタッフの解釈を通じて説明し、実務導入に向けた論点と示唆を抽出する。

研究方法

寝具専門店にて実験を実施しました。高関与・高価格帯の商品を扱うため、来店者はなんとなく見るだけでなく、試用や説明を通じた意思決定が重要になります。実験は12日間で、次の3条件を4日ずつ実施しました。
（1）通常条件：ロボットなし（通常営業）
（2）ロボットだけの条件：入口に対話ロボットを設置
（3）ロボット＋什器の条件：ロボットを専用什器と組み合わせて入口演出を強化

データは2台のカメラで撮影し、通行人→立ち止まり→ロボットによる初期対応→店員への接客引き継ぎ→入店→接客→購入、というサービスファネルを動画アノテーションで定量化しました。加えて、実験直後に店舗スタッフ6名（店長1名＋店員5名）への半構造化インタビューを行い、数値の背景にある判断・規範・フリクションを抽出しました。

結果

定量結果

もっとも象徴的な結果は、「入口で立ち止まる人は増えるのに、店員さんが主導するその先の流れは減ってしまう」というねじれです。店の前を通った人数は、通常条件が 20,180人、ロボットだけの条件が 21,938人、ロボット＋什器の条件が 20,035人でした。通行人のうち「立ち止まった割合」は、0.73% （通常条件）→ 1.50%（ロボットだけ条件） → 2.48% （ロボット+什器条件）と段階的に増えており、条件による差は統計的にもはっきりしていました。

一方で、「立ち止まった人の中でその後どうなったか」を見ると、店員さんが関わる指標は全体として下がっています。

• 店員さんが声をかけた割合： 19.7% （通常条件）→ 13.4%（ロボットだけ条件） → 4.8%（ロボット+什器条件）
• 入店した割合は：32.0% （通常条件）→ 20.1% （ロボットだけ条件）→ 9.5%（ロボット+什器条件）
• 店内で接客を受けた割合： 18.4%（通常条件） → 6.1% （ロボットだけ条件）→ 4.0%（ロボット+什器条件）
• 立ち止まった人のうち購入した割合： 11.6% （通常条件）→ 5.5%（ロボットだけ条件） → 2.6% （ロボット+什器条件）

で、いずれも条件による差は有意でした。

なお、購入を「通行人全体あたり」に換算すると 0.08% （通常条件）→ 0.08%（ロボットだけ条件） → 0.07%（ロボット+什器条件） で、有意な差はありませんでした。つまり、入口で注目を集めても、それがそのまま売上の量（買う人の増加）につながるとは限らないことが示されました。

定性結果

インタビュー分析は、上記のねじれを説明する複数のメカニズムを提示します。

第一に、入口のロボットは強い視覚的アンカーとなり、特に子どもを中心に注意を引きました。その結果、家族連れが立ち止まる割合が増えますが、寝具の購入意思決定者である大人の購買意図と必ずしも一致しません。「子どもが会話して満足し、そのまま去る」という入口でニーズが閉じるパターンが報告されています。

第二に、店員側の「非侵入」規範が介入を遅らせます。ロボットが話している最中に割り込むことを避け、適切な間（会話の切れ目）を探す必要がある一方、応答生成の待ち時間や聞き返しなどの間が曖昧で、店員がタイミングを掴みにくいという指摘がありました。

第三に、什器は視認性を高め、試用（サンプルに触るなど）を促す一方で、入口に「小さなブース＝マイクロスペース」を形成し、そこで会話や試用が完結しやすくなる可能性があります。入口演出の強化は引き留める力を上げるが、店内へ誘導する力を同時に弱めることがあり得る、という含意です。

考察

本研究は、店にロボットを入れたときの効果を、ひとつの数字だけで見るのではなく、「流れ」として見ていく考え方を示しています。入口で人の目を引いて立ち止まってもらうだけでは足りません。ロボットが話しかけたあと、店員さんが評価や提案に引き継ぐ（Handoff）がうまく起きてはじめて、入店・接客・購入といった店内の行動が動き出します。

今回の運用では、店員さんの判断ややり方を尊重するために、「こういう手順で引き継ぐ」といった決まった型（台本）をあえて作りませんでした。現場の自然さは保てる一方で、引き継ぎの合図がはっきりしなくなり、店員さんが入るタイミングが遅れる → その先の行動が弱くなる、という可能性が考えられます。

本論文では、現場で導入していく上でのポイントを次のように整理しています。

（1）役割と入るきっかけをはっきりさせる

ロボットは入口での案内・呼び込み、店員さんは評価・提案・最後の後押し、という役割分担を言葉で明確にします。そのうえで、どんなときに引き継ぐか（会話が途切れたとき、サンプルに触れている時間が一定を超えたとき、など）を、重くならない範囲で決めておきます。

（2）引き継ぎを見て分かる形にする

ロボットのひと言（例：「スタッフがご案内します」）や、ライト・画面表示など、強すぎない合図で店員さんが入りやすくします。あわせて、店員さんが状況をつかみやすい配置（視線が届く、会話が聞こえる距離）も大事です。

（3）入口の見せ方は「見つけやすさ」と「店内への進みやすさ」を両立する

什器で目立つほど、入口の周りだけで完結してしまうリスクもあります。サンプルを少し店内側に置く、境目を作りすぎない、見通しを確保する、といった工夫で、「自然に中へ進める流れ」を設計します。

（4）見るべき指標を広げる

立ち止まりだけでなく、引き継ぎがうまく起きた割合（店員さんの介入が発生した割合）や、店内で評価・提案が始まった割合など、流れの途中の指標も、KPIとして持つことが重要です。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

論文名：What You Reward Is What You Learn: Comparing Rewards for Online Speech Policy Optimization in Public HRI

著者：Sichao Song, Yuki Okafuji, Kaito Ariu, Amy Koike

はじめに

対話ロボットを公共空間に設置すると、ロボットとインタラクションを行う利用者の年齢等の属性や、 対話目的は多種多様となります。こうした多様な環境に対して、オンライン学習（多腕バンディットなど）でロボットの振る舞いを現場適応させる試みは増えています。一方で現場導入で必ずぶつかるのが、「何を成功（reward）とみなして学習させるか」という設計です。満足度を上げたいのか、会話をきれいに終えたいのか、会話を続けてエンゲージメントを取りたいのか。どれも良さそうですが、実は報酬の置き方が変わると、学習される最適な話し方も変わってしまいます。本研究はこの点を、12日間・1,400件超の実地運用で比較検証しました。

研究背景

Thompson Sampling（TS）をはじめとする多腕バンディット(Multi-Armed Bandit; MAB)は、探索と活用のバランスを取りながら限られた試行で累積報酬を最大化でき、公共空間のように属性が多様な環境と相性が良いとされています。ただしMABは、最終的に「観測できる報酬」しか最適化できません。主観評価（ユーザアンケート）のように分かりやすい指標もあれば、会話の終わり方や継続といった行動指標もあります。それぞれが指す良い対話は異なるため、報酬の選び方がそのままロボットの人格・運用方針を規定します。本研究は、同一環境・同一行動空間・同一学習アルゴリズムのまま、報酬定義だけを切り替えて比較しました。

研究方法

本研究では、対話ロボットの話し方を2軸で離散化し、計6つのアーム（行動）から選ぶ問題として定式化します。
・話速：Slow（遅い） / Normal（普通） / Fast（速い）
・冗長さ：Concise（簡潔）/ Detailed（詳細）
6アームは SC（Slow-Concise）、SD（Slow-Detailed）、NC（Normal-Concise）、ND（Normal-Detailed）、FC（Fast-Concise）、FD（Fast-Detailed）です。

学習アルゴリズムはベルヌーイ報酬×Beta事前分布のThompson Samplingを採用し、各対話の終了後に報酬を受け取って事後分布を更新します。初期偏りを避けるため、各条件で30件のコールドスタート（各アーム5回ずつ）を行った上で、450件の学習フェーズへ移行しました。

実験

実験は商業施設にサービスロボットを設置し、12日間運用して実施しました。総インタラクションは1,400件超です。

比較した報酬条件は、運用上の目的が異なる3種類の二値報酬です。
（1）Ru（利用者評価）：対話後アンケート（7段階）で6以上を成功
（2）Rc（会話の締め）：ありがとう／さようなら等の明示的なクロージングに到達したら成功
（3）Rt（≥2ターン）：2ターン以上（ロボット1→ユーザー1→ロボット2→ユーザー2）が成立したら成功
Ruは満足度、Rcは効率的な完結、Rtは対話継続意欲をそれぞれ反映しています。

各報酬条件では、ユーザがインタラクションを行うごとにリアルタイムに報酬を与えました。Ru条件の場合は、インタラクションごとに利用者にアンケートを取って、アンケート評価を収集しました。RcとRt条件の場合では、裏にいる観測者が対話内容を観測しており、インタラクションが終わるタイミングで報酬評価を行いました。報酬のための評価が得られたタイミングで学習が回るようなシステムを組むことで、インタラクションごとに学習を回していく設計としました。

結果

結論から言うと、同じアーム集合でも、報酬定義が違うだけでTSが好むアームは明確に変わりました。満足度（Ru）では、選択率が最も高かったのはND（50.0%）で、成功率が最も高かったのはNC（63.3%）でした。学習の前半ではNDが強く選ばれ、後半でNCが伸びていくという学習途中での逆転も観察されています。会話完結（Rc）では、NCが選択率30.8%、成功率39.2%と最も良く、SC/ND/FCも近い水準で推移しました。一方でSDとFDは全期間で成功率0%となり、完結指標とは相性が悪いことが示唆されます。会話継続（Rt）では、選択率が最も高かったのはSC（42.4%）、成功率が最も高かったのはFD（59.8%）でした。ゆっくり簡潔と速く詳細という、異なるスタイルがそれぞれ継続に寄与する可能性が示されました。

考察

本研究では、全インタラクションを動画記録し、混雑、単独/グループ、案内要求、動機をアノテーションした上で、GLM（一般化線形モデル）でアーム×文脈の相互作用を分析しています。たとえばRuでは、単独ユーザはグループより高評価を得にくい一方で、単独場面ではNDが相対的に有利になる傾向が示されました。また教育目的の来訪者ではNC/ND/FDが高評価になりやすいなど、目的によって良い話し方が変わる可能性が示唆されています。Rtでは、混雑時にNDやFCが不利になるなど、同じ継続指標でも周辺状況で成否が変わる兆候が見られます。

本研究のメッセージは明快です。オンライン学習において「何を報酬とするか」は、最終的にロボットがどんな会話を学ぶかを決めます。満足度を取りたいならRuに寄せた設計が必要ですし、回転率や案内効率を重視するならRcが合います。会話を続けたいならRtが使えますが、その結果として生まれる話し方は、満足度最適化とは一致しないかもしれません。また、文脈によって最適アームが変わる以上、将来的には文脈付きバンディットのように「状況を見て話し方を切り替える」枠組みへ進むのが自然です。実運用におけるセンサー設計・ログ設計・公平性や社会的許容性なども含め、報酬と文脈を一体で設計することが重要になります。

おわりに

実フィールドでの対話型のロボットの設計に課題を感じていたり、実証実験や導入を検討しているような企業・研究者の皆さまは、ぜひ現地で議論の機会をいただければ幸いです。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

Title：Robust Multimodal Emotion Recognition from Incomplete Modalities via Query-Based Unimodal and Cross-Modal Learning

Authors：Ryo Miyoshi, Mayu Otani, Yuki Okafuji

はじめに

HRI（Human-Robot Interaction）では、ロボットが人と同じ空間で関わるため、相手の感情やストレス状態を把握し、声かけや動作の強度・タイミングを調整することが重要です。ユーザの感情を適切に捉えられないと、不適切な応答や過度な介入につながり、ユーザ体験や信頼に影響し得ます。こうした背景から、複数の手がかりを統合して人の状態を推定できる感情認識、とりわけマルチモーダルなアプローチが注目されています。一方で、ロボットを実際にフィールドに持っていくと、必ずしも理想的な条件でセンシングできるとは限りません。人の動きや遮蔽で映像が欠けたり、環境雑音で音声が取りづらかったり、通信やデバイス都合で一部の信号が落ちたりと、結果としてデータ欠損が生じやすくなります。そのため、欠損を前提にしても安定して動く感情認識が求められます。マルチモーダル感情認識（MER）は、テキスト・音声・映像といった複数モダリティを組み合わせて人の感情状態を推定するタスクです。単一モダリティよりも多面的な手がかりを活用できる一方で、現実には次のような理由で入力が欠損することが少なくありません。

• センサー故障や通信エラーで 音声が途切れる／映像が欠ける

• プライバシー要件で 特定モダリティが利用できない

• 収録環境の制約で 品質が悪い（実質的な欠損）

しかし、多くの既存研究は学習時も推論時も全てのモダリティが揃うことを仮定しており、欠損が起きると性能が大きく落ちやすい、という課題があります。そのような課題に対して、ロバスト性を向上させる手法も提案されていますが、学習時には欠損のないデータを必要としています。一方で、実世界で収集されるデータに欠損を含めないことは困難であるため、そのようなデータでもロバストに動作する必要があります。

既存手法の課題

欠損に頑健にするために、従来は主に次の方向性が採られてきました。

1. Reconstruction：観測できたモダリティから欠損モダリティを生成・補完し、完全入力に近づける方法。ただし、感情推定に不要な情報まで生成してしまったり、復元タスクがボトルネックになる可能性があります。

2. Knowledge Distillation：完全モダリティで学習した Teacher を用意し、不完全入力の Student を Teacher に近づける方法。ただし、Teacher 学習のために完全データが必要になりやすく、現場では用意できないケースがあります。

本研究では、「完全モダリティに依存せず、不完全入力だけで頑健な表現学習ができる」ことを狙った手法を提案します。

提案手法

本研究では、欠損（不完全）なモダリティ入力だけで学習できる頑健なMERフレームワーク Dual-Query Fusion（DQF）を提案します。DQFは復元（reconstruction）や蒸留（distillation）に頼らず、学習可能なクエリを用いて「特徴抽出」と「モダリティ融合」を安定化します。

(1) 事前学習エンコーダで特徴抽出：テキスト/音声/映像の埋め込みを取得（エンコーダは固定）。

(2) Q-UA（単一モダリティの頑健化）：各モダリティに対してクエリを自己注意で更新し、入力特徴に注入してTransformerで表現を抽出。欠損やノイズがあっても重要な手がかりを拾いやすくします。

(3) Q-CA（モダリティ融合の安定化）：モダリティ対（ta/tv/av）ごとに共有クエリを介した注意で融合し、強いモダリティへの過度な依存を抑えながら補完情報を統合します。

(4) 多粒度の学習：単一・2モダリティ・3モダリティの各粒度で予測損失を入れ、欠損パターンが変わっても性能が崩れにくいように学習します。

実験

実験条件

本実験では、CMU-MOSEIというセンチメントに関するデータセット、MELDという7感情の分類タスクに関するデータセットの2つの公開データセットを用いて評価しました。これらのデータセットには欠損が含まれていないため、各モダリティの系列に対してランダムにマスクし、欠損フレームをゼロベクトルに置換します。欠損率は 0〜1 の範囲で変化させ、幅広い欠損状況を評価します。また、実験では欠損のない入力に対する評価、欠損のある入力に対する評価を実施しました。

実験結果

欠損のない入力および欠損のある入力のいずれの評価において、提案手法は比較手法を上回る性能を達成しました。特に欠損なし条件では、DQFは欠損入力のみで学習しているにもかかわらず、完全モダリティを前提に学習する代表的手法（MulT / MISA / DMD など）を含む complete-modality系ベースラインを上回る結果となりました（表1）。

また欠損あり条件でも、復元系・蒸留系といった従来のロバスト手法を一貫して上回り、特に3モダリティ全てに欠損が入る最難条件でも改善が確認されています（表2・表3）。

おわりに

論文中でも述べている通り、現時点の評価は主にシミュレーション欠損と2つのベンチマークに基づいています。今後は、実運用に近い欠損データでの検証や感情認識以外のより広いアフェクティブ（affective）タスクへの展開などを進めていきたいと考えています。

また、我々のチームでは一緒に Human-Robot Interaction / Human-Computer Interaction の研究・開発を行っていただける研究者・エンジニア・博士インターン生を募集しています。本ブログを見てご興味を持っていただけた方はぜひ一度カジュアルにお話させてください。よろしくお願いします。

• 【AI Lab】リサーチサイエンティスト
• 【AI Lab】リサーチエンジニア（HCI）

はじめに

本論文では、保育所の入所選考にマッチング理論を適用することで、入所選考の実務にて利用可能なマッチングについて提案しています。

日本の保育所入所選考を取り扱ったこれまでの論文では、きょうだいや転園を考慮できていない、または同一世帯から同時に申し込むきょうだいの数に制限がある、という課題がありました。

そこで、本論文ではこれらの課題に対処し、以下のような貢献をしました。

• 以下の性質を満たすマッチング結果を導いた
  • 個人合理性、安定性と呼ばれる望ましい性質を満たす
  • きょうだいの数に制限を設けない
  • 転園に対応する
  • 異年齢間で定員を共有できる
• 制約プログラミング（Constraint Programming：CP）による高速な計算

このモデルを実際のデータに適用したところ、実際のマッチング結果よりも少なくとも同等以上に望ましいマッチング結果を得ることができました。また、一部の制約を緩和することで待機児童を更に減少できることを確認しました。

また、本論文はSun et al. [2]を発展させた論文です。保育所入所選考の問題意識や難しさについては、Sun et al. [2]を解説したブログに詳しく記載していますので、あわせてご覧ください。

これまでの保育所入所選考に関する研究

日本の保育所入所選考における待機児童問題は、社会的な問題として注目されており、国や自治体において待機児童対策が進められています。この問題の解決策のひとつとして、資源の最適な配分を考える学問であるマッチング理論を適用することが考えられます。実際に、マッチング理論を用いた保育所入所選考について、いくつかの研究があります。

Okumura[3]とKamada and Kojima[4]は、待機児童を最大限削減するため、異年齢間で定員を融通することを提案しました。例えば、保育所では、1歳や2歳について募集人数の余裕がなく、多くの待機児童が存在している一方、4歳や5歳については募集人数に余裕がある場合が存在します。これらの研究では、ある年齢にて余剰となっている保育士や面積といった資源を、募集人数に余裕のない年齢に振り分けることで、全体の待機児童を減少させるアルゴリズムが提案されています。しかし、これらの研究では、

• きょうだい同時申し込みに対応していない
• 転園を希望する場合に対応していない

という問題があり、これらのアルゴリズムを保育所入所選考の実務にそのまま適用することはできませんでした。

Sun et al. [2]では、線形計画法の一種である整数計画法を用いて、以下のようなマッチングを導く方法を提案しました。

• 3人までのきょうだい同時申し込みに対応
• 転園にも対応
• 以下の性質を満たす
  • 個人合理性：希望していない保育所に割り当てない
  • 公平性：優先順位が高い人を優先して割り当てる
  • 非浪費性：「その保育所を希望する応募者がいるにもかかわらず受け入れ枠に空きがある状況」（浪費的な状況）をつくらない

しかし、この研究には、以下のような問題がありました。

• 4人以上のきょうだい同時申し込みに対応していない
• 異年齢間の定員共有に対応していない

異年齢間の定員共有を行っている保育所では、例えば4歳と5歳で合計5名まで受け入れ可能、という具合に、異年齢間で定員を共有しています。このような保育所がある自治体では、4歳と5歳の児童を年齢に関係なく優先順位が高い順にその保育所へとマッチングさせる必要があります。また、こういった保育所が複数存在している自治体では、入所選考が複雑になります。

この論文の貢献

そこで、本論文ではSun et al. [2]の制約をクリアする新たなアルゴリズムを提案しました。本論文による貢献は次の通りです。

• 以下の性質を満たすマッチング方法（この記事では「CPモデル」と呼ぶことにします）の提案
  • 個人合理性、安定性（公平性と非浪費性）を満たす
  • きょうだい同時申し込みの人数制限がない
  • 異年齢間の定員共有ができる
• CPモデルによるシミュレーション
  • CPモデルによるマッチング結果と実際のマッチング結果とを比較すると、実際の割り当てよりも少なくとも同等以上に望ましいマッチング結果が得られる
  • 制約を緩和することによってマッチングできる児童が増える
• 制約プログラミング（CP）によるモデリングおよび高速化
  • NP困難である保育所マッチング問題に対して、CPを使うことで高速化を実現
• 計算複雑性に関する問題
  • 初期配分と異なる、実現可能で個人合理的なマッチングが存在するかどうかチェックすることが、NP完全であることを示した

以下では、CPモデルによるマッチング結果、および制約を緩和することで達成できるマッチング結果について解説します。

CPモデルによるマッチング結果

本論文で提案しているCPモデルによるマッチング結果と、自治体における実際のマッチング結果とを比較します。

ここでは、東京都渋谷区と多摩市（それぞれ2021 年度と 2022 年度の一斉入所）、および福島県郡山市から提供された 2022 年度の一斉入所のデータ（匿名加工処理済み）を利用しています。マッチした児童数は保育所に内定した児童の数です。また、ブロッキング連合の数についてもカウントしています。ブロッキング連合があると、ある児童にとってより望ましい保育所に入所できた可能性があることを示しており、これがゼロであれば公平なマッチングが実現できていると言えます。

表1 実際のマッチング結果（実際）とCPモデルによるマッチング結果（CP）との比較

表1は、各自治体における実際のマッチング結果とCPモデルのマッチング結果を比較したものです。この表から、CPモデルについて次のことが言えます。

• 各自治体で実際のマッチング結果と少なくとも同等以上に望ましいマッチングを達成できた
  • 渋谷区においては、実際のマッチングと同一の結果が得られた
  • それ以外の多摩市と郡山市においては、CPモデルを用いることで実際の結果よりも多く児童をマッチングできた。
• 公平なマッチングが実現できている
  • CPモデルではブロッキング連合が存在しないため、公平なマッチングが実現できていると言える

待機児童をさらに減少させるために

本論文では、CPモデルを用いてさらに待機児童を減少させるために、3つの案を示しています。

1. 同点解消をせず、無差別に取り扱う
2. ブロッキング連合を許容する
3. 異年齢間の定員共有をさらに許容する

1については、後述します。

2については、ブロッキング連合を許容することで、待機児童数を減少できることがシミュレーションでわかりました。しかし、公平なマッチングが実現できなくなる、計算時間が増えるという欠点があります。

3については、異年齢間の定員共有を許容することで、待機児童数が減ると期待されます。しかし、我々が保有するデータのうち、定員共有を許容しているデータではサイズが小さく、シミュレーションでは明確なことが言えませんでした。

同点を解消せず、同点者を無差別に取り扱うと、待機児童数は減少する

多くの自治体では、就労状況や世帯状況を指数化し、指数が高い児童から順に割り当てています。この際、指数が同点になることもあります。例えば、郡山市[5]では1月140時間以上の就労で200点加算され、育児休業明けだとさらに30点加算されます。つまり、両親ともにフルタイム勤務で育児休業明けの場合、合計430点となります。しかし、同様の世帯状況である申込者は多く、同じ点数の申込者が多数存在することが予想されます。

自治体はこのような事態を想定し、同点者に対してタイブレークするルールを設けています。郡山市では、「満3歳に達する日以後の最初の3月31日までを対象年齢とする保育施設等を満了する入所児童が連携施設を希望している場合」、「現に認定こども園を1号認定で利用している入所児童が、同施設で2号認定での利用を希望している場合」、「類型間の優先順位」、「養育している小学生以下の子どもの人数が多い世帯」、「経済的状況」…の順に優先することとなっています。

ここで、実際のルールを一旦無視して、タイブレークを行わず、同点者を無差別に取り扱った場合のシミュレーションを実施します。このCPモデルには、同点者に差をつけず、無差別に取り扱うことができる機能があるため、これを利用してシミュレーションを実施しました。このとき、個人合理性と安定性は保持されています。

表2では、各自治体データを用いて、CPモデルによるマッチング結果と、タイブレークせず同点者を無差別に取り扱ったCPモデルによるマッチング結果とを比較しています。

表2 CPモデルによるマッチング結果（CP）と、タイブレークせず同点者を無差別に取り扱ったCPモデルによるマッチング結果（CP無差別）の比較

表2では、同点者を無差別に扱うCP無差別において、いずれのデータでもマッチした児童の数が増加しています。CPモデルは最大限に待機児童を減らすという目的のもとでマッチングしています。同点者を無差別に扱うことにより、マッチングの自由度が増し、その結果マッチした児童の数が増えています。ただし、渋谷区2021の例のように、計算時間が大きく増加する可能性もあります。

社会実装に向けて

AI LabとGovTech開発センターは、本論文で示されたアルゴリズムを用いた自治体向け保育所入所選考システムを開発しており、自治体に提供することができます。

研究に基づいた保育所入所選考システムや、待機児童減少に向けた取り組みにご興味のある自治体の方はこちらからご連絡をください。

参考文献

[1] Sun, Z., Yamada, N., Takenami, Y., Moriwaki, D., & Yokoo, M. (in press) ”Stable Matchings in Practice: A Constraint Programming Approach”, AAAI, Thirty-Eighth AAAI Conference on Artificial Intelligence.

[2] Sun, Z., Takenami, Y., Moriwaki, D., Tomita, Y., & Yokoo, M. 2023. Daycare Matching in Japan: Transfers and Siblings. Proceedings of the AAAI Conference on Artificial Intelligence, 37(12), 14487-14495.

[3] Okumura, Y. 2019. School choice with general constraints: a market design approach for the nursery school waiting list problem in Japan. The Japanese Economic Review, 70(4): 497–516.

[4] Kamada, Y.; and Kojima, F. 2023. Fair matching under constraints: Theory and applications. The Review of Economic Studies.

[5] 福島県郡山市. 2023. 郡山市保育施設等の利用調整及び保育の必要性の認定に関する事務取扱要領 https://www.city.koriyama.lg.jp/uploaded/attachment/69154.pdf

チーム概要

AI Labはサイバーエージェント内にある研究組織です。企業の組織ですが学会発表などの学術貢献も積極的に行っています。2016年に設立された比較的若い組織でありますが、AI研究をリードする企業として日本で4位、世界で49位として評価されています[1]。

AI Labには大きく分けて5つの研究領域を対象に複数のチームが存在し、約70名のリサーチサイエンティストが在籍しています。私が所属するInteractive Agentチームでは「ヒトが信頼したくなる対話エージェント」の開発を目指し、自律的な接客対話エージェントや遠隔操作ロボットを用いた遠隔接客、ユーザの行動を変えるインタラクションについての技術開発に挑戦しています。　チーム紹介ページ

メンバーはAI技術の社会実装を目指すリサーチエンジニアと、トップカンファレンスや事業に貢献する研究を行うリサーチサイエンティストが約10名所属しています。 複数のプロジェクトに従事していますが、今回のブログでは、販売促進を行うエージェントの研究に絞って紹介します。実際の店舗にエージェントを設置して販売促進をする研究は、世界的に見ても数少ない研究事例であり、実際のビジネス事情も考慮した研究を実施できていることは、我々のチームの特徴でもあり強みでもあります。

そしてもう一つの特徴として2017年から大阪大学大学院基礎工学研究科の石黒浩教授と共に、ロボットなどの対話エージェントによる接客・広告技術の確立や科学的知見の獲得を目的とした共同研究に取り組んでいます。メンバーの多くが大阪大学に招聘研究員として参画し、大学内の研究室でも活動をしています。

販促とHCI

販売促進は、消費者の購買意欲を高めてもらうために行う活動のことを指します。身近なところでは、POP、デジタルサイネージ、クーポンやサンプル配布、実演販売、などが挙げられます。これらは「セール情報」「商品情報」などのメッセージを様々な形で伝達し、商品の良さをユーザに伝えます。 しかし、販促を行ったからと言って、ユーザに情報が適切に伝わるとは限りません。ユーザは頻繁に目にする広告やプロモーションコンテンツに対して無意識に無視する傾向があると言われています[2]。また気がついてもらうために派手な演出や大きな音を使ってしまうと、不快感を与えてしまうなどの問題や課題が存在します。

我々はこのような現実世界での販売促進の課題を解決するためにHCIやAIロボットなどの最新技術の研究を行っています。販促に関する実験のほとんどは営業している店舗内で実験し、リアルなデータを分析しています。これまでにスーパーマーケット、空港内のお土産屋、雑貨店、ECサイト、パン屋、コンビニエンスストア、高級寝具展などで実験を行い、その結果を論文などで報告しています。

研究紹介

Interactive Agentチームでは、主にロボットなどのエージェントを使って販促の実験を行っています。ロボットは人のような振る舞いを行うことで、対話相手と認識されやすく、他の広告媒体では難しかった対話や信頼関係を構築したり、注意を向けられたりしやすいといった特徴が確認されています。 これまでの研究では、ロボットによる販促がどのような特性を持ち、可能性があるかを明らかにしてきました。今回はその中から3つ概要を紹介します。

研究１

タイトル：Influence of collaborative customer service by service robots and clerks in bakery stores　リンク

学会/論文誌名：Frontiers in Robotics and AI

概要：近年ではソーシャルロボットを用いた商品推薦の研究事例が増えており、効果の高いロボットの対話戦略や動作の調査がされています。一方で顧客への推薦能力は、ロボット自身の振る舞いだけでなく、店舗スタッフなどロボットの周囲にいる人々によっても影響を受ける可能性があります。そこで本研究では、ロボットと店舗スタッフが協業した接客をすることによって、社会的影響力が向上し、結果としてロボットによる推薦能力が向上する可能性を検証しました。店舗スタッフとの協業接客の有無による効果を検証するために、ベーカリーの2店舗で同時実験を実施しました。実験の結果、店舗スタッフとの協業接客により、ロボットの推薦能力が向上し、ロボットに対する顧客の印象や店舗体験が向上することが分かりました。

知見：店員と協業することで接客ロボットの効果は向上する

研究２

タイトル：Out for In!: Empirical Study on the Combination Power of Two Service Robots for Product Recommendationリンク

学会/論文誌名：HRI 2023

概要：本研究では、店内に1台のみ設置した状態より、複数台（店頭/店内2台）のロボットが連携を行い商品推薦を行うことで、より高い推薦効果が得られるかを調査しました。実験は大阪府内にあるベーカリーで実施され、下記の3条件を比較しました。

・ベースライン：ロボット設置無し
・条件①： 店内に1台のロボットを設置して商品推薦を行う
・条件②： 店内に1台のロボットを設置して商品推薦を行う上、店頭にもう1台のロボットを設置し、店内ロボットと連携して商品推薦を行う

→店頭のロボットは「店の中に僕の弟の〇〇（店内ロボットの名前）がいるよ！弟が商品にとても詳しいのでぜひ話に行ってみてね！」などと店内にロボットがいることを来店客に伝えるなどの連携を行いました。

その結果、条件②では、推薦商品の販売率（販売数/製造数）がベースラインと条件①より有意的に高いことがわかりました。一方、条件①はベースラインと統計的に有意な販売率の差は確認できませんでした。さらに、条件②では、「買い物客が店内ロボットを見た率」、「ロボットが推薦した商品を確認した率」、「推薦商品の購入率」が、条件①よりも有意的に高いことが分かりました。
これらの結果から、複数台（店頭店内2台）のロボットが連携し、店頭ロボットが紹介することで「来店客の店内ロボットへの注意」が高まり、商品推薦効果が向上することが確認できました。

知見：事前にロボットの存在と役割を伝えることで、そのロボットに対する注意が向上する

研究3

タイトル：Playful Recommendation: Sales Promotion That Robots Stimulate Pleasant Feelings Instead of Product Explanation リンク

学会/論文誌名：IEEE Robotics and Automation Letters(RA-L)

概要： 一般的にロボットによる商品推薦は、商品や店舗などの状況に応じてセリフや振る舞いを準備する必要があります。そのため、商品や状況が変化するたびにそれらを準備する必要があり、商品推薦の度に労力が必要になります。そこで本研究では、商品情報の代わりに快感情を刺激し、状況に依存しない販売促進方法である「Playful Recommendation」を提案しました。Playful Recommendation の効果を検証するために2度の実証実験を実施し、提案手法が有効であることが実験結果から示唆されました。また商品が自らを推薦する自己推薦ロボットでは販売数が 667% 増加するなどの有効性を確認しました。

知見：低関与商材を推薦する場合は快感情を刺激すると、購買意欲を高めることができる

インターン情報

AI Labでは2018年からリサーチインターンシップを開始しています。博士後期課程の学生を対象にしており、 2ヶ月間で研究計画・実装・実験を行いトップカンファレンスを目指します。 リモートでも参加可能なのでぜひご応募お待ちしています。 リンク

登壇情報

2023年12月22日(金) に東京大学でCCSEという民間企業による研究カンファレンスを開催します。今回は15社が登壇し、LLM、アルゴリズム、CV、ロボットなど様々なテーマの発表を行います。AI Labも登壇するのでみなさんぜひご参加ください。サイト

[1] AI Lab、2022年のAI研究をリードするトップ100企業にランクイン！日本4位、世界49位へ https://www.cyberagent.co.jp/news/detail/id=28134

[2]Dalton, Nicholas S., Emily Collins, and Paul Marshall. “Display blindness? Looking again at the visibility of situated displays using eye-tracking.” Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. 2015.

背景

保活と情報収集

子どもを認可保育所等に入所させるために保護者が行う一連の活動は、通称 「保活」 と呼ばれ、日本における子育て家庭が抱える課題の１つとされています。その中で最も重要な活動の１つは情報収集です。

どこにどのような保育園があるのか、自分の子どもの年齢クラスに空きはあるのか、自分の家庭は基準を満たしているのか、いつまでに申し込まなければならないのか、どのような書類が必要かなど、集めるべき情報は多岐にわたります。場合によっては、保育所に問合せや見学に行ったり、市役所などを訪問したりなど日中に時間を取られる活動が必要になり、そのため保護者の負担が大きく、情報格差が生まれるケースも考えられます。

2016年に厚生労働省が公表した「『保活』の実態に関する調査の結果」のレポートによると、多くの保護者が負担を感じた活動は、「市役所などを何度も訪問」すること、「情報収集」でした。同レポートでは、市区町村に「保活に関する情報をより多く提供する」ことを望む保護者が非常に多いことが伺えます[1]。株式会社キッズライン[2]やBABY JOB株式会社[3]などの民間企業が行ったより最近の調査でも、情報収集が大変だったとする回答が上位に見られます。

よりよい情報提供というアプローチ

「保活」が注目される大きな理由の１つに「待機児童問題」があります。特に入所を希望する人数が保育所の入所枠を上回る地域では、すべての応募者を受け入れられない状態が起こります。そのため、各自治体は保育所を必要とする事由や過程の状況等を基に点数をつけ、各々の基準で希望者の優先順位を決定する「利用調整」が行われています。

待機児童問題の解決には、この「利用調整」が適切に行われることが重要です。これまで、AI Labは利用調整の制度変更やマッチングに用いるアルゴリズムの改善などに取り組んできました。その中で明らかになったのは、保育所の利用調整が適切に行われるためには、利用希望者が正しい情報を集め、それを吟味した上で、保育所に関する希望順位を正直に表明することが望ましいということです。

つまり、正しい情報を的確に提供できることは、保護者の負担軽減になるだけでなく、待機児童問題の解消にも大きく貢献すると考えられます。保活とは若干異なりますが、海外では公立学校や大学などの選択において、個人に合わせた情報提供を行うことで、より望ましい学校選択につながったとする結果が報告されています[4]。AI LabとUTMDは、過去に保護者の負担を軽減しよりよい保育園選びを後押しするための方法として、保育所場所や情報を提供するオンラインマップを提供することで、待機児童が4割減少する可能性を示しました[5]。

生成AI の活用

今回、もう１つの情報提供の方法として注目したのは、膨大な情報の中から適切な情報を見つけ出し要約することができる生成AIの活用です。生成AIを使うことで、学習や情報収集にかかる時間が短縮され、生産性が向上するといった研究結果が多く報告されています。例えば、2023年7月にScience紙に掲載された論文によると、ChatGPTは文章作成などの作業にかかる時間を大幅に削減し、アウトプットの質を大きく向上すると報告されています[6]。この研究では、マーケターやコンサルタント、人事担当、管理職など大卒のビジネス・プロフェッショナルに対し、それぞれの職業に特化した文章作成タスクを与え、所要時間や書かれた文章の質（第三者により評価）などを比較しました。無作為に選ばれた半分のグループにChatGPTを与え、ChatGPTを利用したグループと、利用しなかったグループで比較したところ、文章作成にかかった時間が40％短縮され、文章の質が18％向上しました。

近年、行政においても生成AIを使ったチャットボットの活用は着目されており、これらの技術の社会実装が期待されています。デジタル庁が中央省庁向けに「生成AI活用ワークショップ」を行ったり、さまざまな自治体がChatGPTや国産生成AIを導入したりといった事例が増えています。しかし、実際に生成AIを活用するには、さまざまな課題や障壁が考えられます。また、生成AIの活用範囲はまだ限定的で、「保活」における活用例は、我々の知る範囲ではまだありません。

そこで、生成AIチャットボット利用における課題や障壁を明らかにしつつ、より望ましい形で活用することで「保活」における保護者の負担軽減ができないかと考え、一連の研究を開始しました。今回はその第１弾の内容と結果をご紹介します。

調査の目的と内容について

今回の調査の目的は２つありました。１つ目はチャットボットを利用する保護者が利用申請に関してどのような質問を抱えているかを把握することです。これは、今後のチャットボットの回答精度と有用性を高めるための調査です。２つ目はチャットボットの利用に対する期待度と利用した結果の印象を知ることです。これは、今後保活の情報収集ツールの１つとしての効果を期待できるかどうかの可能性を探るための調査です。

今回の調査では、令和5年11月16日と17日の2日間に佐賀市子育て支援部保育幼稚園課の窓口へ来訪した保護者に対し、その場で実験参加を依頼しました（図１）。令和6年4月の入所申込みの期間であったため来訪者が多く、実験を行っていた2日間でそれぞれ70名以上の来訪者が見られました。合計25名の保護者に参加していただきました。

実際の調査では、まず事前アンケートで来訪目的や利用申請における過程や、ChatGPTのような生成AI型チャットボットへの一般的な印象等を聞きました。その後、実際にチャットボットを活用してもらい（図２）、利用申請に関する質問を投げかけ、回答を見てもらうという作業を行いました。その後、事後アンケートで実際に使ってもらったチャットボットへの印象などを確認しました。

図１：実験の様子

図２：今回使用したチャットボットの画面

調査結果について

生成AI型チャットボット利用経験と一般的な印象

実験参加者の多くがChatGPTを含む生成AIチャットボットに不慣れであり、「利用経験あり」、「利用経験無し」、「わからない」の三択で選んでもらったところ、「利用経験あり」とした人は4分の1程度でした。そのため、事前のアンケートではチャットボットの有用性に関して、「有用だと思う」、「まあまあ有用だと思う」、「あまり有用ではない」、「有用ではない」、「わからない」の五択で選んでもらったところ、「わからない」を選ぶ割合が約45％と最も多い傾向にありました（図２）。一方で、「有用である」と「まあまあ有用である」を選んだ割合はそれぞれ約25％、約29％で、ネガティブな印象は見られませんでした。

図３：生成AIチャットボットの利用経験と、生成AIチャットボットへの印象

チャットボットへの質問内容

チャットボットへの質問内容として最も多かったのは、具体的な特徴（例：安全管理がしっかりしている）を持つ施設や、特定の施設（例：〇〇保育園）に関する質問でした（表１）。

さらに、佐賀市子育て支援部保育幼稚園課の窓口でよく聞かれる質問を窓口職員に確認し、参加者のチャットボットへの質問と比較しました。窓口で多く寄せられる質問は、必要書類や手続きに関するものが最も多く、次に保育料に関する質問でした（表１）。チャットボットと窓口職員との間で期待される回答の種類に違いがあり、質問者がそれに応じて使い分けている可能性が考えられます。

表１：窓口および実験参加者よりそれぞれ得られた質問のカテゴリトップ５と、それぞれが占める割合

チャットボットへの質問の難しさ

今回テストに用いたチャットボットの画面では、ChatGPTに似て質問例が表示されているものの、どのような質問をするかは利用者に委ねられています。実際に、多くの参加者が「いきなり何を聞いたらいいかわからない」という声を上げていました。その結果、比較的思いつきやすい保育施設や施設見学に関する質問が多くなった可能性があります。

また、実験参加者は市役所来訪の目的により、保育施設利用申請書を提出に来たグループと、利用申請についての質問に来たグループの２つに分かれていました。前者はすでにさまざまな情報収集を行ったグループであり、後者はこれから情報収集を行うグループでした。前者はこれからさまざまな質問を行う過程にあり、質問を考えるのが難しい一方、後者はすでに行った質問を思い出しながらチャットボットに確認として質問をしていました。

チャットボットの回答について

今回のチャットボットには、佐賀市子育て支援部保育幼稚園課がウェブサイト上で提供している情報を検索し、その結果を基に回答を生成するRetrieval-augmented Generation（検索により強化した文章生成、通称「RAG」）と呼ばれるフレームワークを活用しました（図４）。従来のチャットボットは、聞かれた質問と事前に用意された質問の類似度を計算し、もっと近い質問に対してあらかじめ準備された回答を返すというものが一般的です。一方、RAGは事前に用意された回答ではなく、関連する情報から回答を生成するため、より柔軟な対応が可能になります。RAGのもう１つの利点は、チャットボットの回答が何に基づいているかの情報源を明示できることです。

図４．RAG（検索により強化した文章生成）を活用した生成AIチャットボットの仕組み

しかし、今回検索範囲にない情報については、回答を生成できないという制約を設けていたため、情報不足により有用な回答を生成できない質問が多く見られました。具体的には、市役所では提供していない、特定の保育園に関する情報（例：食事アレルギーに対する対応）などです。これらの質問について、市役所役員に話を聞いたところ、それぞれの園の細かな特徴については市として公表しておらず、園から直接情報を入手する必要があるとのことでした。また、質問には直接書かれていない質問者の意図や文脈を十分にくみとれない場合に、不十分な回答を生成する場面も見られました。

一方で、生成AI型のチャットボットになれない利用者が多いためか、チャットボットが作り出すもっともらしい回答に対し、驚きや好印象を持つ利用者が多く見られました。

チャットボット利用後の印象

チャットボット利用後の印象は、全体的に良好で、実験参加者の半数以上が「有用だと思う」と答えました。これは使用前の印象よりも「有用だと思う」という割合が２倍に増えたことを意味します。残りの半数も「まあまあ有用だと思う」と答え、ネガティブな印象を持つ参加者はいませんでした。

図５：生成AIチャットボット体験前と体験後のチャットボットへの印象の変化

今後の方向性について

今回の調査を通じて、実際のユーザーや自治体の窓口職員とのやり取りを通じて、チャットボットのどのような利用が想定されているかを明らかにできたことは、今後の研究を続ける上で非常に有用であると考えています。また、質問を考えることが意外と難しいことであるという発見についても、今後のチャットボットの改良に大いに役立つと考えます。今回ご協力いただいた佐賀市職員の皆様、そしてお忙しい中ご参加いただいた保護者の皆様、本当にありがとうございました。

どんなに優れた技術でも、使ってもらえなければ意味がありません。実際にこのようなチャットボットが保護者の保活をサポートするためには、使いやすさと利便性を向上させながらも、安全性と信頼性を担保する必要があります。過去の研究でも、行政が提供するチャットボットに対する市民の目線は必ずしもポジティブではなく、特に子育てに関する分野におけるチャットボット利用に対して信頼性などの観点から慎重であることが明らかにされています[7]。

今後、より使いやすく信頼できる生成AIチャットボットを使って、保活における負担削減と望ましい保育所選考に貢献できるよう、研究を進めていく予定です。実証実験などにご協力いただけるパートナーを募集しておりますので、ぜひこちらからご連絡をいただけますと幸いです。

参考文献

[1]  厚生労働省 雇用均等・児童家庭局 保育課. (2016).「保活」の実態に関する調査の結果 retrieved December 10, 2023 from https://www.mhlw.go.jp/file/06-Seisakujouhou-11900000-Koyoukintoujidoukateikyoku/hokatsu-chousa_1.pdf

[2] 株式会社KidLine. (2018). 【2018年速報】ママ500人の保活実態調査　#保育園落ちた retrieved December 10, 2023 from https://kidsline.me/hokatsu/contents/article/219

[3] Babyjob株式会社. (2022). 【保活実態調査】母親1人で保活をした家庭はなんと半数以上！保活が大変だったと感じた人は6割超。保活で大変だったことランキングも公開！～保活テックの『えんさがそっ♪』がリスト共有機能をリリースし”夫婦で保活”を推進～

[4] Cohodes, S. R., Corcoran, S. P., Jennings, J. L., & Sattin-Bajaj, C. (2022). When do informational interventions work? Experimental evidence from New York City high school choice. Educational Evaluation and Policy Analysis, 01623737231203293.

[5] Moriwaki, D., Takida, A., Goto, K. & Yoshikawa, T. (2023). Reducing Waiting Children with Daycare Search Map: Evidence from an RCT in Shibuya City. Available at SSRN: https://ssrn.com/abstract=4431332 or http://dx.doi.org/10.2139/ssrn.4431332

[6] Noy, S. & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. science, 381(6654), 187-192.

[7] Aoki, N. (2020). An experimental study of public trust in AI chatbots in the public sector. Government Information Quarterly, 37(4), 101490.

2024年4月入所から、郡山市の新しい保育所利用調整基準により、兄弟姉妹がいる家庭はより多く加点され、保育所に入りやすくなることが期待されています。これは、私たちが郡山市と2022年9月より取り組んできた「保育所の利用調整基準の改善」に関する実証実験の成果の一つです。

背景

保育所に入所するためには、まず自治体への申し込みが必要です。しかし、申し込み数が保育所の入所枠を上回る場合、自治体は「利用調整基準」に基づいて子供たちの優先順位を決定します。この「利用調整基準」では、各家庭の就労状況や世帯の状況など、保育が必要な理由を具体的に評価し、それを点数化します。そして、得られた点数が高い順に優先順位が決まります。例えば、郡山市では両親がフルタイムの労働をしていると200点+200点=400点というように点数化されます[1]。最終的に、この優先順位と保護者の希望に基づき、入所できる保育所が決定されます。優先順位は、社会厚生の最大化などの目的に従って、適切に決定される必要があり、さまざまな提案がされています[2][3][4]。

今回、郡山市が問題として認識していたのは、兄弟姉妹の同所入所です。

兄弟姉妹を保育所に通わせたい場合、なるべく同じ保育所に通わせることが望ましいと考えられます。なぜなら、兄弟姉妹が異なる保育所に通うと、保護者と子供たちの両方に負担がかかると考えられるからです。川崎市の資料[5]によれば、以下のような負担があげられています。

• 異なる保育所に通うことで生じる保護者の負担：複数の保育所への送迎、各園の異なる準備要件、就労時間の制約、重複する学校行事への対応など
• 異なる保育所に通うことで生じる子供たちの負担：異なる保育所への送迎による生活リズムの乱れや、体力的・精神的ストレスなど

さらに、兄弟姉妹が同じ保育所に通えないことで入所を諦め、結果として就労を断念するケースも考えられます。このような負担を考慮すると、多くの保護者は兄弟姉妹が同じ保育所に通うことを望んでいると思われます。

しかし、兄弟姉妹を同一の保育所に入所させる際には、以下のような問題が浮き彫りになります。

• 兄弟姉妹全員が同じ保育所に入るためには、全員分の空き枠が必要となり、入所難易度を高めている
• 上の子が在籍している保育所を下の子も希望するなど、通園可能な選択肢が少なくなりがちなことが入所難易度を高めている

このような問題を解決するためには、兄弟姉妹に関する利用調整基準の見直しが有効と考えられます。実際、神奈川県横浜市[6]や川崎市[7]では、このような基準の見直しを実施しています。

課題

郡山市の利用調整基準では、兄弟姉妹が同時に申し込んでも特別な加点がなかったため、一人の子供だけで申し込む場合と比べて、兄弟姉妹が一緒に申し込む場合の入所が難しい状況でした。

図１をご覧ください。これは郡山市における2022年の実際の割り当てにおける点数と入所率の関係を表しています。ここでは緑の線が単独での申し込みを表し、黄の線が兄弟姉妹での同時申し込みを表しています。図の左側、点数が低いグループに注目すると、黄の線が緑の線を大きく下回っています。これは、点数が低いほど兄弟姉妹での申し込みの入所率が単独での申し込みに比べて低くなり、その差が大きくなることを示しています。つまり、同じ点数の子供でも、兄弟姉妹で申込む場合、単独で申し込む場合に比べて保育所への入所可能性が低くなっていることがわかります。図2（2023年の実際の割り当て）においても同様の関係がわかります。

図１　2022年の実際の割り当てにおける点数と入所率の関係

注：この図は、一般化線形混合モデル（GLMM）を用いたロジスティック回帰の結果を示しています。単独申込をした方と兄弟姉妹同時申込をした方とにデータを分け、それぞれのグループにおいて、加点する前の点数と入所できたか否かの関係を表しています。他の図2〜4も同様です。

図2　2023年の実際の割り当てにおける点数と入所率の関係

この問題を解決するために、郡山市はルールを見直し、兄弟姉妹が同時に申し込む際には追加の優先点を付けることを考えました。この改善により、兄弟姉妹が一緒に同じ保育所に通えるようになることを目指し、子供が複数いる家庭をより支援することを目指しました。

解決手法

兄弟姉妹への加点を導入しながらも、公平な入所を実施するためには、適切な加点の基準が必要です。しかし、その基準をどう設定するべきかは明らかではありませんでした。そのため、私たちは東京大学マーケットデザインセンターの小島教授、鎌田准教授のアドバイスを踏まえながら、望ましい基準を探るためにシミュレーションを行いました。今回は、兄弟姉妹がいない場合と兄弟姉妹が同時に申し込む場合とで入所率に差があることから、どちらの申込でも入所率が均等になるような加点を検討しました。

また、郡山市とシミュレーションの検討を重ねていくに連れ、より具体的な要望が郡山市側から出てきました。当初は、兄弟姉妹に点数を足したいという要望でしたが、対話を重ねるうちに、特定の属性の方々についてこのような順番で優先したいという要望が郡山市から出てきました。このような郡山市の要望を前提にシミュレーションを実施することで、より具体的な優先順位の設定が可能となりました。

シミュレーションの詳細

入所率が均等になるような加点を検討するために、郡山市から提供された匿名化された申込者データ（2022年と2023年の一斉入所データ）を使用してシミュレーションを行いました。シミュレーションの手順は以下の通りです。

1. 兄弟姉妹で申し込む申込者に対して加点する点数を設定しました。今回は10点から300点まで試しました。
2. 兄弟姉妹がいる申込者に点数を加算した後、AI Labの孫さんが中心となって開発した利用調整アルゴリズム[8]を用いてマッチングを行い、単独で申し込む方や兄弟姉妹で申し込む方の入所率を計算しました（アルゴリズムの詳細はこちら）。
3. それぞれの入所率ができるだけ等しくなり、全体の入所率が現状より悪化しない点数を探索しました。

私たちはシミュレーションの結果を基に、加点すべき点数の提案を郡山市に行いました。その後、郡山市内部で議論され、最終的な点数が決定されました。

結果

図3　2022年の制度変更案における点数と入所率の関係

図4　2023年の制度変更案における点数と入所率の関係

図3と図4をご覧ください。これは兄弟姉妹に加算をしたあとの点数と入所率の関係を表しています。緑の線が単独での申し込みを表し、黄の線が兄弟姉妹での同時申し込みを表しています。図1と図2では左側の点数が低いグループにおいて黄の線が緑の線を下回っていました。しかし、図3と図4では黄の線と緑の線が重なるような軌道となり、差が小さくなっています。つまり、加算後のシミュレーションにおいては、同じ点数の子供であれば、兄弟姉妹での申し込んでも単独で申し込んでも保育所への入所率は差がなくなっており、加算がない場合に比べて公平に扱われていることがわかります。

この新しい利用調整基準は、2023年11月1日から始まる2024年4月一斉入所の申込から適用されます。新しい基準により、兄弟姉妹がより入所しやすくなり、同じ保育所に通う子供の割合も増えると期待しています。

振り返り

この実証実験で苦労した点を振り返ると、まず具体的な基準を設定するのが難しかったことが挙げられます。当初、兄弟姉妹に加算する方針だけは決まっていましたが、その目的は明確ではなく、まずはその目的を決定することが重要でした。詳しいデータ分析から、兄弟姉妹同時申込者と単独申込者の間で入所率に差があることがわかり、この差を公平にすることが必要だと認識しました。

さらに、兄弟姉妹以外の申込者に対しても公平に配慮し、優先順位をどう設定するかが重要となりました。優先順位の設定には、保育所という福祉制度の観点から、自治体ごとの方針が反映されるべきです。しかし、これらの価値基準は一定ではなく、客観的な基準も存在しません。今回、郡山市と私たちとで対話を重ねることで価値基準を伺うことができ、それに合わせて点数の設計を行いました。

このように、データ分析以外にも、自治体との対話を続けることが重要だと認識しました。自治体固有の方針やニーズを理解することは、公平で効果的な制度を設計するために不可欠だからです。

終わりに

私たちとUTMDは、今後も郡山市とともに「保育所の利用調整基準」や「利用調整アルゴリズム」に関する実証実験を継続します。今後の一斉入所が完了した後、今回の基準改定が期待した効果をもたらしたかを確認するために、効果検証を行います。効果検証の結果は論文にまとめ、証拠に基づく政策作成（EBPM）の進歩的な取り組みとしての知見を共有する予定です。

今回の基準改定に限らず、

• 利用調整ルールの変更
• 保護者への情報提供のあり方
• 職員負担を軽減し待機児童を最小化する利用調整システムの提供

など、私たちのさまざまな取り組みにご興味がある自治体の方は、こちらからご連絡をいただければ幸いです。

参考文献

[1] 郡山市.(2022).郡山市保育施設等の利用調整及び保育の必要性の認定に関する事務取扱要領 https://www.city.koriyama.lg.jp/uploaded/attachment/36090.pdf

[2] Bodoh-Creed, A.L. (2020). Optimizing for Distributional Goals in School Choice Problems. Management Science, 66(8), 3657-3676.

[3] Shi, P. (2021). Optimal Priority-Based Allocation Mechanisms. Management Science, 68(1), 171-188.

[4] Çelebi, O., & Flynn, J.P. (2022). Priority Design in Centralized Matching Markets. The Review of Economic Studies, 89(3), 1245-1277.

[5] 川崎市.(2023).「保育所等の利用における多子世帯支援の拡充に向けた取組について（案）」意見を募集します https://www.city.kawasaki.jp/templates/press/cmsfiles/contents/0000151/151828/houdou.pdf

[6] 横浜市.(2023).令和６年４月入所に向けた「横浜市給付認定及び利用調整に関する基準」の一部改正について（意見公募）https://www.city.yokohama.lg.jp/kurashi/kosodate-kyoiku/hoiku-yoji/shisetsu/hoikuriyou/r06kijunkaisei.html

[7] 川崎市.(2023).保育所等の利用における多子世帯支援の拡充について https://www.city.kawasaki.jp/450/page/0000154113.html

[8] Sun, Z., Takenami, Y., Moriwaki, D., Tomita, Y., & Yokoo, M. (2023). Daycare Matching in Japan: Transfers and Siblings. Proceedings of the AAAI Conference on Artificial Intelligence, 37(12), 14487-14495.

拡散モデルはテキストを条件に、初期ノイズを変換することで画像を生成します。この記事ではACMMM2023に採択された、拡散モデルの初期ノイズを操作する手法について紹介します。

Guided Image Synthesis via Initial Image Editing in Diffusion Model

Jiafeng Mao, Xueting Wang, Kiyoharu Aizawa

はじめに

本論文では、生成に失敗する要因について調査し、生成されたコンテンツを制御する新たな方向性を提案しました。現在一般的に使用されているサンプリング手法であるDDIM[1]とPLMS[2]は決定的です。拡散モデル 𝜃、プロンプト 𝑝、初期ノイズ画像\(x_T\)が与えられた場合、生成される画像\(x_0\)は一定であり、\(x_0=f_𝜃(p, x_T)\)と表現されます。プロンプトとモデルパラメータが同じであれば、最終的な生成画像はランダムにサンプリングされた初期画像によって確定されるはずです。初期ノイズ画像は生成プロセスにおいて極めて重要な役割を果たす一方で、これまでほとんど注目されていませんでした。そこで、本研究では初期ノイズが生成結果に及ぼす影響について詳細に分析しました。

本論文では、生成傾向の性質と編集に関する実験を実施し、生成傾向の形成の理論的な側面も考察しました。実験の結果と分析から、生成画像の一部の再生成による修正と、レイアウトに基づく画像生成という二つの応用についても提案しました。

図１：初期ノイズに基づく生成傾向の制約応用の例

初期化画像の生成傾向

まず、初期化画像自体がどれだけ情報を保持しているかを調査する実験を実施しました。具体的には、ランダムな初期化画像と一定のモデルパラメータを用い、プロンプトを変更しながら画像生成を行い、その結果を観察しました（図２の上段）。次に、初期化画像を別のランダムな初期化画像に変え、同じプロンプトで再び生成を行い、生成された結果を観察しました（図２の下段）。

ここでのプロンプトは、a (bus) and a (cat) のような簡単な文で、括弧内の単語は画像下の赤と青の単語です。

図２：生成傾向の検証する実験の結果

図２の結果から、次のような結論を導くことができます。

• 同じ行の画像を比較すると、初期化画像が固定された後、異なるプロンプトを使用しても、背景やオブジェクトの位置、画像全体のトーンなど、生成されるコンテンツに顕著な共通点が見られます。
• 同じ列の画像を比較すると、異なる初期化画像を用いると、同じプロンプトを使用していても、生成されるコンテンツが背景やオブジェクトの視覚的な表現、オブジェクトの位置などにおいて大きく異なることが分かります。

これは、初期化画像そのものが最終的な生成結果に対して決定的な影響を及ぼすことを示唆しています。初期化画像が決定されると、特定のコンテンツが特定の位置に生成されやすくなる傾向があることを示唆しています。

初期化画像の編集で生成結果の修正

上記の実験結果から、なぜ画像生成が成功する場合と失敗する場合があるのかの一つの可能性を解析できます。初期画像の生成傾向がプロンプトの内容と一致する場合、生成が成功しやすくなります。つまり、初期画像が生成される際に既に望ましいコンテンツの特徴と近いため、それに基づいて生成が進行しやすくなると考えられます。逆に、初期画像の生成傾向がプロンプトの内容と合致しない場合、生成が失敗しやすくなります。初期画像とプロンプトの一致度が生成の成功率に影響を与えることが、この実験によって示されています。

初期画像は生成に非常に重要ですが、それを編集する可能性について実験で検証しました。画像生成が失敗する原因の一つは、先述の分析によると、望ましい内容と初期画像の生成傾向が一致しないためです。そこで、この衝突を解消し、生成が成功するかどうかを確認します。衝突を解消する方法も非常にシンプルです。具体的には、どの部分で衝突が発生しているかを特定し、その部分を再サンプリングします。たとえば、図３の場合、プロンプトの指示に従って、猫が椅子の上に生成されることが期待されていましたが、結果的には画像右下に生成されてしまいました。先述の分析によると、これは初期画像の椅子の領域（領域 B）の猫を生成する傾向が低く、一方で右隅の領域（領域 A）で猫を生成する傾向が高いためです。実験では、初期画像のこれらの領域を再サンプリングし、他の領域のピクセル値を変更せずに再生成しました。４〜５回の試行の結果、最終的には右側の画像の生成に成功しました。

図３：初期化画像の編集で生成結果を修正する実験

この実験によって、初期画像は非常に重要であり、単純に2つの小さな領域を再サンプリングするだけで、失敗した生成を修正できることが確認できました。これにより、初期化された画像の生成傾向とプロンプトの内容との間に調和をもたせることが、生成を制御するカギとなることが示唆されています。そして、このような生成の傾向は局所的なものです。初期化画像が再サンプリングされた領域では、生成結果に大きな変化が見られます。一方で、他の領域では基本的に生成結果は一貫しており、大きな変化は生じていません。このことは、生成のプロセスが局所的な特性を持ち、必要な部分だけを調整することが可能であることを意味しています。この特性を利用して、生成された画像の調整に応用できます。

図４：生成された画像を修正するタスク

図４の例のように、ユーザーが生成画像の一部に不満がある場合、同じ初期化画像を用いて、修正したい箇所を再サンプリングし、再生成することで、その部分を改善することが可能です。

生成傾向に関する分析

画像生成プロセスは、ランダムな出発点（初期画像）を徐々に潜在空間での実際の画像分布に近づけていると解釈できます。テキストからの画像生成で用いられる拡散モデルでは、ノイズを取り除き、Cross-attention Layerを用いて初期画像の各ピクセルとプロンプトに含まれる各オブジェクトとの類似度を表すAttention Mapを計算します。簡単に言えば、Cross-attention Layerは、query Q（入力画像の埋め込み）とkey K（プロンプト中の各単語の埋め込み）の間の類似度を計算します。ある単語に対するAttention Mapの値は、入力画像の対応する領域の特徴と単語の特徴との類似性を示しています。Value Vは各単語のセマンティックな特徴を含んでいます。Attention Mapに従って、Cross-attention Layerは、単語と既に十分に類似している領域に、その単語の特徴を繰り返し追加します。その結果、特定の単語に関連するコンテンツの生成は、最終的にそのAttention Mapの信号が強い場所で発生します。このメカニズムが初期画像の生成傾向を形成しています。Cross-attention Mapは初期化画像の各領域の生成傾向を示すことができます。 このようなCross-attention mapの性質を使って、特定のオブジェクトを生成しやすい領域をユーザーが指定する領域に移動することで生成結果を制御する実験を実施しました。

図５：ピクセルブロックを移動する実験

図５の例では、ユーザーがオレンジと青い枠で羊と車の位置を指定しています。羊を生成する傾向を持つ初期画像のピクセルブロックを、左側のオレンジ色の枠内に移動し、一方で車を生成する傾向のピクセルブロックを右側の青色の枠内に移動させました。その結果、羊をオレンジの枠内に、車は青色の枠内に生成することができました。

図６：編集したAttention Mapと編集した初期画像で再計算したAttention Map

図６では、編集したAttention Mapと、編集した初期画像で再計算されたAttention Mapを表示しています。羊を生成する傾向のピクセルブロックが左側の領域に収束することで、左側の領域は強い羊の生成傾向を示すように変化します。この手法は、レイアウトからの画像生成タスクに適用できます。我々の手法は既存手法[3,4]と同じ程度のコントロール有効性ができ、既存手法と組み合わせて使う場合、既存手法の有効性をさらに向上できます。図７は生成の例を示しています。

図７：レイアウトからの画像生成の例

おわりに

この研究では、初期化画像の特性を探求し、その特性を新たな制御メカニズムとして活用することを試みました。この手法により、生成された画像の修正や、レイアウトからの画像生成を実現しました。

参考文献

[1] Song et al.,  “Denoising Diffusion Implicit Models”, In ICLR, 2021

[2] Liu et al., “Pseudo Numerical Methods for Diffusion Models on Manifolds”, In ICLR, 2022

[3] Mao et al., “Training-Free Location-Aware Text-to-Image Synthesis”, In ICIP, 2023

[4] Balaji et al., “eDiff-I: Text-to-Image Diffusion Models with Ensemble of Expert Denoisers”, In arXiv, 2022

この記事では私がAI Labのリサーチインターンで取り組んだ顔交換(Face-Swapping)の研究やAI Labでのインターン生活について紹介します。

インターンで取り組んだ研究について

初めに

今回のインターンでは、顔交換(Face-Swapping)という画像生成の問題に取り組みました。顔交換は与えられたターゲット人物画像に対して、その表情や背景、髪型など(これらを属性という)を維持しながら、顔のアイデンティティだけをソース人物画像の顔のアイデンティティで置き換えるタスクです。顔交換の技術は映像制作やバーチャルアバターなどの娯楽用途のほか、顔の非匿名化などのプライバシー保護のための技術としても近年需要が高まっています。

顔交換は既に多くの既存研究がありますが、既存法ではソース画像の属性情報が生成画像に漏れ出てしまうことがあるということが経験的にわかっていました(図1)。本研究では、この問題が顔交換で広く使われている顔認識モデル(ArcFace)にあることを突き止め、顔認識モデルを顔交換用に再設計した新しいエンコーダ(BlendFace)を用いて顔交換モデルを訓練することで、この問題を解決しました。

この研究成果はコンピュータビジョン分野の難関国際会議の一つであるICCV2023に採択されています。

BlendFace: Re-designing Identity Encoders for Face-Swapping
Kaede Shiohara, Xingchao Yang, Takafumi Taketomi
IEEE/CVF International Conference on Computer Vision (ICCV) 2023

既存研究の課題と提案法

なぜ既存手法で属性情報の漏れが起きているのかを解明するため、顔認識モデルを分析してみます。顔認識モデルは同一人物のさまざまなシーンの画像が同じ埋め込みになるように訓練されており、その特徴を使って人物識別を行います。人はさまざまなシーンにおいて似たような髪型や肌の色をしているため、それらの情報も個人の特徴として埋め込まれます。ここで、図2の左側に示すように、ある人物の画像(アンカー画像)と、同一人物の別シーンの画像(赤)、異なる人物の画像(青)、異なる人物の顔を簡単な画像処理によって同一人物に置き換えた画像(黄)の4つを用意して、アンカー画像とのアイデンティティ類似度を測定しました(横軸は類似度、縦軸は件数)。

この図からわかるように、既存の顔認識モデルは置き換えた画像(黄)の類似度が本人の別シーンの画像(赤)との類似度よりも低くなっています。つまり、顔認識モデルは髪型や肌の色の情報が類似度に影響しているということが統計的にわかりました。

顔交換モデルに戻ると、これはソース画像と生成画像の顔認識モデルの特徴量によるアイデンティティ類似度を近づけようとした時に、髪型や肌の色までもを過剰に近づけさせるということを意味しています。これにより冒頭で示したような属性の漏れが発生します。

本研究ではこの問題を解決するために、属性情報が交換された画像(黄)も本人であると認識されるように属性情報を交換した画像を訓練データに用いて顔認識モデルを訓練し直しました。その結果が図2の右側で、属性情報を交換した画像(黄)の類似度が属性情報を交換していない画像(赤)の類似度に極めて近く分布していることが確認できます。このような顔認識モデルを使って顔交換モデルを訓練することで、属性の漏れがない顔交換モデルを実現できることが予想されます。顔を交換した画像(ブレンド画像)を用いて顔認識モデルを訓練することから本手法をBlendFaceと名付けています。

実際にBlendFaceを用いた顔交換モデルと既存法を比べた結果が図3です。ソース画像とターゲット画像の属性が大きく離れている場合に、属性情報の漏れによって顔の内外で不連続な領域が生じてしまっているのに対し、提案法では一貫性のある顔交換が行えていることが確認できました。詳細はぜひ原論文を確認してみてください。

サイバーエージェントでのインターンについて

インターンの参加経緯

応募当時は博士課程が始まった直後だったため就職活動は意識していませんでした。サイバーエージェントAI Labの博士インターンがアツいらしいという割とぼんやりとしたイメージと、インターンで大きな成果を生み出したいという圧倒的モチベーションがあり応募しました。他社の研究開発のインターンとも迷いましたが、自分の所属研究室のOBOGの方が複数人AI Labに勤めているということもあってサイバーエージェントを選びました。

研究テーマについて

修士課程の時にディープフェイクの検出の研究をやっていたので、広告のためのアバター生成を研究しているGraphicsチームにて、顔の生成に関する研究を提案しました。このように募集テーマから選ぶだけではなく、自分でテーマを提案できるのもAI Labのインターンの利点です。

インターン生活

サイバーエージェントAI Labの博士インターンでは2ヶ月間、正社員の方と同様にフルタイムで研究開発に取り組みます。自分の場合は週に1度のメンター・チームリーダーとの進捗報告ミーティング以外は黙々と実装や調査・実験を繰り返していました。そのため、社員の方やインターン生と昼食を食べるのが良い息抜きになりました。また、Graphicsチームでは週に1度カジュアルミーティングという、研究だけではなく生活等の話題を持ち寄って話す会があり、社員の方の多様な私生活やワークライフバランスについて聞くことができたのは面白かったです。

私の研究については、持ち込みテーマではありますが顔の生成については今まで研究として取り組んだことがなかったので、既存法のコードを見て理解するところから始めました。結果として2ヶ月では国際会議に投稿するほどの成果を出すことができませんでしたが、この期間に色々な実験を行ってじっくりと基礎を固めることができたのが後の国際会議採択に繋がったと感じています。

インターンを通して特に印象に残っているのはAI Labの非常に整備された環境です。社内GPUサーバなどのインフラ管理の部門がAI Labとは別に存在していたり、PCの社内ソフトのセットアップでわからないことがあった時にすぐに対応していただけるサポートデスクがあったりと、会社としての強みというのを存分に感じました。また、渋谷駅直結のスクランブルスクエアにオフィスがあるので、通いやすい、オフィスが綺麗という精神衛生上の利点や、飲み物飲み放題、割安の弁当がオフィス内で販売されているなどの間接的な経済的支援もあり、国内有数の働きやすい研究組織であること間違い無いでしょう。

インターン後の生活

インターンが終了してからは、論文投稿に向けて具体的に目標を立てて研究を進めていきました。当初は11月に投稿締切のCVPR2023に向けて動いていましたが、実験が間に合わず、納得のいかないものを投稿せざるを得なくなってしまい、その結果リジェクトされてしまいました。その後、大幅な修正を加えてICCV2023(3月投稿締切)に投稿し無事採択されました。

リサーチインターンに参加してみて

サイバーエージェントAI Labでのインターンは、国内トップレベルの研究者に囲まれながら研究に取り組める非常に刺激的な体験でした。社員の方はもちろんのこと、周りのインターン生も優秀な方ばかりで、モチベーティブな環境で研究に集中することができました。

特に私の場合は、自身の専門(コンピュータビジョン)とは少しだけ異なるコンピュータグラフィックスのチームを希望して所属させていただいたため、初めて知ることが多く非常に学びが多かったです。

優れた環境とメンターやチームリーダーの手厚いサポートのもとで難関国際会議への論文投稿、採択に繋げることができ、非常に良い経験になりました。
もし参加を迷われている方は一度応募してみてはいかがでしょうか。