こんにちは。サイバーエージェントAI Labの経済学社会実装チームに所属している松木です。今回は、我々のチームと東京大学マーケットデザインセンター（UTMD）と共に取り組んでいるプロジェクトの１つである、生成AIチャットボットを使った研究について紹介し、その第一弾となる佐賀市役所での調査について紹介します。

背景

保活と情報収集

子どもを認可保育所等に入所させるために保護者が行う一連の活動は、通称 「保活」 と呼ばれ、日本における子育て家庭が抱える課題の１つとされています。その中で最も重要な活動の１つは情報収集です。

どこにどのような保育園があるのか、自分の子どもの年齢クラスに空きはあるのか、自分の家庭は基準を満たしているのか、いつまでに申し込まなければならないのか、どのような書類が必要かなど、集めるべき情報は多岐にわたります。場合によっては、保育所に問合せや見学に行ったり、市役所などを訪問したりなど日中に時間を取られる活動が必要になり、そのため保護者の負担が大きく、情報格差が生まれるケースも考えられます。

2016年に厚生労働省が公表した「『保活』の実態に関する調査の結果」のレポートによると、多くの保護者が負担を感じた活動は、「市役所などを何度も訪問」すること、「情報収集」でした。同レポートでは、市区町村に「保活に関する情報をより多く提供する」ことを望む保護者が非常に多いことが伺えます[1]。株式会社キッズライン[2]やBABY JOB株式会社[3]などの民間企業が行ったより最近の調査でも、情報収集が大変だったとする回答が上位に見られます。

よりよい情報提供というアプローチ

「保活」が注目される大きな理由の１つに「待機児童問題」があります。特に入所を希望する人数が保育所の入所枠を上回る地域では、すべての応募者を受け入れられない状態が起こります。そのため、各自治体は保育所を必要とする事由や過程の状況等を基に点数をつけ、各々の基準で希望者の優先順位を決定する「利用調整」が行われています。

待機児童問題の解決には、この「利用調整」が適切に行われることが重要です。これまで、AI Labは利用調整の制度変更やマッチングに用いるアルゴリズムの改善などに取り組んできました。その中で明らかになったのは、保育所の利用調整が適切に行われるためには、利用希望者が正しい情報を集め、それを吟味した上で、保育所に関する希望順位を正直に表明することが望ましいということです。

つまり、正しい情報を的確に提供できることは、保護者の負担軽減になるだけでなく、待機児童問題の解消にも大きく貢献すると考えられます。保活とは若干異なりますが、海外では公立学校や大学などの選択において、個人に合わせた情報提供を行うことで、より望ましい学校選択につながったとする結果が報告されています[4]。AI LabとUTMDは、過去に保護者の負担を軽減しよりよい保育園選びを後押しするための方法として、保育所場所や情報を提供するオンラインマップを提供することで、待機児童が4割減少する可能性を示しました[5]。

生成AI の活用

今回、もう１つの情報提供の方法として注目したのは、膨大な情報の中から適切な情報を見つけ出し要約することができる生成AIの活用です。生成AIを使うことで、学習や情報収集にかかる時間が短縮され、生産性が向上するといった研究結果が多く報告されています。例えば、2023年7月にScience紙に掲載された論文によると、ChatGPTは文章作成などの作業にかかる時間を大幅に削減し、アウトプットの質を大きく向上すると報告されています[6]。この研究では、マーケターやコンサルタント、人事担当、管理職など大卒のビジネス・プロフェッショナルに対し、それぞれの職業に特化した文章作成タスクを与え、所要時間や書かれた文章の質（第三者により評価）などを比較しました。無作為に選ばれた半分のグループにChatGPTを与え、ChatGPTを利用したグループと、利用しなかったグループで比較したところ、文章作成にかかった時間が40％短縮され、文章の質が18％向上しました。

近年、行政においても生成AIを使ったチャットボットの活用は着目されており、これらの技術の社会実装が期待されています。デジタル庁が中央省庁向けに「生成AI活用ワークショップ」を行ったり、さまざまな自治体がChatGPTや国産生成AIを導入したりといった事例が増えています。しかし、実際に生成AIを活用するには、さまざまな課題や障壁が考えられます。また、生成AIの活用範囲はまだ限定的で、「保活」における活用例は、我々の知る範囲ではまだありません。

そこで、生成AIチャットボット利用における課題や障壁を明らかにしつつ、より望ましい形で活用することで「保活」における保護者の負担軽減ができないかと考え、一連の研究を開始しました。今回はその第１弾の内容と結果をご紹介します。

調査の目的と内容について

今回の調査の目的は２つありました。１つ目はチャットボットを利用する保護者が利用申請に関してどのような質問を抱えているかを把握することです。これは、今後のチャットボットの回答精度と有用性を高めるための調査です。２つ目はチャットボットの利用に対する期待度と利用した結果の印象を知ることです。これは、今後保活の情報収集ツールの１つとしての効果を期待できるかどうかの可能性を探るための調査です。

今回の調査では、令和5年11月16日と17日の2日間に佐賀市子育て支援部保育幼稚園課の窓口へ来訪した保護者に対し、その場で実験参加を依頼しました（図１）。令和6年4月の入所申込みの期間であったため来訪者が多く、実験を行っていた2日間でそれぞれ70名以上の来訪者が見られました。合計25名の保護者に参加していただきました。

実際の調査では、まず事前アンケートで来訪目的や利用申請における過程や、ChatGPTのような生成AI型チャットボットへの一般的な印象等を聞きました。その後、実際にチャットボットを活用してもらい（図２）、利用申請に関する質問を投げかけ、回答を見てもらうという作業を行いました。その後、事後アンケートで実際に使ってもらったチャットボットへの印象などを確認しました。

 

調査結果について

生成AI型チャットボット利用経験と一般的な印象

実験参加者の多くがChatGPTを含む生成AIチャットボットに不慣れであり、「利用経験あり」、「利用経験無し」、「わからない」の三択で選んでもらったところ、「利用経験あり」とした人は4分の1程度でした。そのため、事前のアンケートではチャットボットの有用性に関して、「有用だと思う」、「まあまあ有用だと思う」、「あまり有用ではない」、「有用ではない」、「わからない」の五択で選んでもらったところ、「わからない」を選ぶ割合が約45％と最も多い傾向にありました（図２）。一方で、「有用である」と「まあまあ有用である」を選んだ割合はそれぞれ約25％、約29％で、ネガティブな印象は見られませんでした。

 

チャットボットへの質問内容

チャットボットへの質問内容として最も多かったのは、具体的な特徴（例：安全管理がしっかりしている）を持つ施設や、特定の施設（例：〇〇保育園）に関する質問でした（表１）。

さらに、佐賀市子育て支援部保育幼稚園課の窓口でよく聞かれる質問を窓口職員に確認し、参加者のチャットボットへの質問と比較しました。窓口で多く寄せられる質問は、必要書類や手続きに関するものが最も多く、次に保育料に関する質問でした（表１）。チャットボットと窓口職員との間で期待される回答の種類に違いがあり、質問者がそれに応じて使い分けている可能性が考えられます。

順位	窓口質問	％		順位	チャットボット質問	％
1	必要書類・手続き	16%		1	保育施設	29%
2	保育料	15%		2	必要書類・手続き	11%
3	退職・求職活動・育休・出産関連	10%		2	退職・求職活動・育休・出産関連	11%
3	保育施設	10%		4	保育料	10%
5	入所できない可能性に対する不安	9%		4	入所できない可能性に対する不安	10%
				4	空き状況	10%

表１：窓口および実験参加者よりそれぞれ得られた質問のカテゴリトップ５と、それぞれが占める割合

 

チャットボットへの質問の難しさ

今回テストに用いたチャットボットの画面では、ChatGPTに似て質問例が表示されているものの、どのような質問をするかは利用者に委ねられています。実際に、多くの参加者が「いきなり何を聞いたらいいかわからない」という声を上げていました。その結果、比較的思いつきやすい保育施設や施設見学に関する質問が多くなった可能性があります。

また、実験参加者は市役所来訪の目的により、保育施設利用申請書を提出に来たグループと、利用申請についての質問に来たグループの２つに分かれていました。前者はすでにさまざまな情報収集を行ったグループであり、後者はこれから情報収集を行うグループでした。前者はこれからさまざまな質問を行う過程にあり、質問を考えるのが難しい一方、後者はすでに行った質問を思い出しながらチャットボットに確認として質問をしていました。

チャットボットの回答について

今回のチャットボットには、佐賀市子育て支援部保育幼稚園課がウェブサイト上で提供している情報を検索し、その結果を基に回答を生成するRetrieval-augmented Generation（検索により強化した文章生成、通称「RAG」）と呼ばれるフレームワークを活用しました（図４）。従来のチャットボットは、聞かれた質問と事前に用意された質問の類似度を計算し、もっと近い質問に対してあらかじめ準備された回答を返すというものが一般的です。一方、RAGは事前に用意された回答ではなく、関連する情報から回答を生成するため、より柔軟な対応が可能になります。RAGのもう１つの利点は、チャットボットの回答が何に基づいているかの情報源を明示できることです。

しかし、今回検索範囲にない情報については、回答を生成できないという制約を設けていたため、情報不足により有用な回答を生成できない質問が多く見られました。具体的には、市役所では提供していない、特定の保育園に関する情報（例：食事アレルギーに対する対応）などです。これらの質問について、市役所役員に話を聞いたところ、それぞれの園の細かな特徴については市として公表しておらず、園から直接情報を入手する必要があるとのことでした。また、質問には直接書かれていない質問者の意図や文脈を十分にくみとれない場合に、不十分な回答を生成する場面も見られました。

一方で、生成AI型のチャットボットになれない利用者が多いためか、チャットボットが作り出すもっともらしい回答に対し、驚きや好印象を持つ利用者が多く見られました。

チャットボット利用後の印象

チャットボット利用後の印象は、全体的に良好で、実験参加者の半数以上が「有用だと思う」と答えました。これは使用前の印象よりも「有用だと思う」という割合が２倍に増えたことを意味します。残りの半数も「まあまあ有用だと思う」と答え、ネガティブな印象を持つ参加者はいませんでした。

今後の方向性について

今回の調査を通じて、実際のユーザーや自治体の窓口職員とのやり取りを通じて、チャットボットのどのような利用が想定されているかを明らかにできたことは、今後の研究を続ける上で非常に有用であると考えています。また、質問を考えることが意外と難しいことであるという発見についても、今後のチャットボットの改良に大いに役立つと考えます。今回ご協力いただいた佐賀市職員の皆様、そしてお忙しい中ご参加いただいた保護者の皆様、本当にありがとうございました。

どんなに優れた技術でも、使ってもらえなければ意味がありません。実際にこのようなチャットボットが保護者の保活をサポートするためには、使いやすさと利便性を向上させながらも、安全性と信頼性を担保する必要があります。過去の研究でも、行政が提供するチャットボットに対する市民の目線は必ずしもポジティブではなく、特に子育てに関する分野におけるチャットボット利用に対して信頼性などの観点から慎重であることが明らかにされています[7]。

今後、より使いやすく信頼できる生成AIチャットボットを使って、保活における負担削減と望ましい保育所選考に貢献できるよう、研究を進めていく予定です。実証実験などにご協力いただけるパートナーを募集しておりますので、ぜひこちらからご連絡をいただけますと幸いです。

 

参考文献

[1]  厚生労働省 雇用均等・児童家庭局 保育課. (2016).「保活」の実態に関する調査の結果 retrieved December 10, 2023 from https://www.mhlw.go.jp/file/06-Seisakujouhou-11900000-Koyoukintoujidoukateikyoku/hokatsu-chousa_1.pdf

[2] 株式会社KidLine. (2018). 【2018年速報】ママ500人の保活実態調査　#保育園落ちた retrieved December 10, 2023 from https://kidsline.me/hokatsu/contents/article/219

[3] Babyjob株式会社. (2022). 【保活実態調査】母親1人で保活をした家庭はなんと半数以上！保活が大変だったと感じた人は6割超。保活で大変だったことランキングも公開！～保活テックの『えんさがそっ♪』がリスト共有機能をリリースし”夫婦で保活”を推進～

[4] Cohodes, S. R., Corcoran, S. P., Jennings, J. L., & Sattin-Bajaj, C. (2022). When do informational interventions work? Experimental evidence from New York City high school choice. Educational Evaluation and Policy Analysis, 01623737231203293.

[5] Moriwaki, D., Takida, A., Goto, K. & Yoshikawa, T. (2023). Reducing Waiting Children with Daycare Search Map: Evidence from an RCT in Shibuya City. Available at SSRN: https://ssrn.com/abstract=4431332 or http://dx.doi.org/10.2139/ssrn.4431332

[6] Noy, S. & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. science, 381(6654), 187-192.

[7] Aoki, N. (2020). An experimental study of public trust in AI chatbots in the public sector. Government Information Quarterly, 37(4), 101490.