経済学 | AI tech studio https://cyberagent.ai AI事業本部は、サイバーエージェントグループのデジタルマーケティング分野におけるサービス開発を行う組織です。 Sun, 21 Jan 2024 23:33:53 +0000 ja hourly 1 https://wordpress.org/?v=5.3.26 【採択論文紹介】制約プログラミングによる新しい保育所マッチング(AAAI2024) https://cyberagent.ai/blog/research/economics/19145/ Sun, 21 Jan 2024 23:33:53 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=19145 AI Lab EconSIチームの孫と竹浪です。この記事では、人工知能分野のトップカンファレンスであるAAAI-24に採択されたSun et al. ”Stable Matchings in Practice: A Constraint Programming Approach” [1]について紹介します。本研究は孫を中心とし、山田、竹浪、森脇および九州大学の横尾真教授により実施されました。本論文のarXivリンクはこちらです。

はじめに

本論文では、保育所の入所選考にマッチング理論を適用することで、入所選考の実務にて利用可能なマッチングについて提案しています。

日本の保育所入所選考を取り扱ったこれまでの論文では、きょうだいや転園を考慮できていない、または同一世帯から同時に申し込むきょうだいの数に制限がある、という課題がありました。

そこで、本論文ではこれらの課題に対処し、以下のような貢献をしました。

  • 以下の性質を満たすマッチング結果を導いた
    • 個人合理性、安定性と呼ばれる望ましい性質を満たす
    • きょうだいの数に制限を設けない
    • 転園に対応する
    • 異年齢間で定員を共有できる
  • 制約プログラミング(Constraint Programming:CP)による高速な計算

このモデルを実際のデータに適用したところ、実際のマッチング結果よりも少なくとも同等以上に望ましいマッチング結果を得ることができました。また、一部の制約を緩和することで待機児童を更に減少できることを確認しました。

また、本論文はSun et al. [2]を発展させた論文です。保育所入所選考の問題意識や難しさについては、Sun et al. [2]を解説したブログに詳しく記載していますので、あわせてご覧ください。

これまでの保育所入所選考に関する研究

日本の保育所入所選考における待機児童問題は、社会的な問題として注目されており、国や自治体において待機児童対策が進められています。この問題の解決策のひとつとして、資源の最適な配分を考える学問であるマッチング理論を適用することが考えられます。実際に、マッチング理論を用いた保育所入所選考について、いくつかの研究があります。

Okumura[3]とKamada and Kojima[4]は、待機児童を最大限削減するため、異年齢間で定員を融通することを提案しました。例えば、保育所では、1歳や2歳について募集人数の余裕がなく、多くの待機児童が存在している一方、4歳や5歳については募集人数に余裕がある場合が存在します。これらの研究では、ある年齢にて余剰となっている保育士や面積といった資源を、募集人数に余裕のない年齢に振り分けることで、全体の待機児童を減少させるアルゴリズムが提案されています。しかし、これらの研究では、

  • きょうだい同時申し込みに対応していない
  • 転園を希望する場合に対応していない

という問題があり、これらのアルゴリズムを保育所入所選考の実務にそのまま適用することはできませんでした。

Sun et al. [2]では、線形計画法の一種である整数計画法を用いて、以下のようなマッチングを導く方法を提案しました。

  • 3人までのきょうだい同時申し込みに対応
  • 転園にも対応
  • 以下の性質を満たす
    • 個人合理性:希望していない保育所に割り当てない
    • 公平性:優先順位が高い人を優先して割り当てる
    • 非浪費性:「その保育所を希望する応募者がいるにもかかわらず受け入れ枠に空きがある状況」(浪費的な状況)をつくらない

しかし、この研究には、以下のような問題がありました。

  • 4人以上のきょうだい同時申し込みに対応していない
  • 異年齢間の定員共有に対応していない

異年齢間の定員共有を行っている保育所では、例えば4歳と5歳で合計5名まで受け入れ可能、という具合に、異年齢間で定員を共有しています。このような保育所がある自治体では、4歳と5歳の児童を年齢に関係なく優先順位が高い順にその保育所へとマッチングさせる必要があります。また、こういった保育所が複数存在している自治体では、入所選考が複雑になります。

この論文の貢献

そこで、本論文ではSun et al. [2]の制約をクリアする新たなアルゴリズムを提案しました。本論文による貢献は次の通りです。

  • 以下の性質を満たすマッチング方法(この記事では「CPモデル」と呼ぶことにします)の提案
    • 個人合理性、安定性(公平性と非浪費性)を満たす
    • きょうだい同時申し込みの人数制限がない
    • 異年齢間の定員共有ができる
  • CPモデルによるシミュレーション
    • CPモデルによるマッチング結果と実際のマッチング結果とを比較すると、実際の割り当てよりも少なくとも同等以上に望ましいマッチング結果が得られる
    • 制約を緩和することによってマッチングできる児童が増える
  • 制約プログラミング(CP)によるモデリングおよび高速化
    • NP困難である保育所マッチング問題に対して、CPを使うことで高速化を実現
  • 計算複雑性に関する問題
    • 初期配分と異なる、実現可能で個人合理的なマッチングが存在するかどうかチェックすることが、NP完全であることを示した

以下では、CPモデルによるマッチング結果、および制約を緩和することで達成できるマッチング結果について解説します。

CPモデルによるマッチング結果

本論文で提案しているCPモデルによるマッチング結果と、自治体における実際のマッチング結果とを比較します。

ここでは、東京都渋谷区と多摩市(それぞれ2021 年度と 2022 年度の一斉入所)、および福島県郡山市から提供された 2022 年度の一斉入所のデータ(匿名加工処理済み)を利用しています。マッチした児童数は保育所に内定した児童の数です。また、ブロッキング連合の数についてもカウントしています。ブロッキング連合があると、ある児童にとってより望ましい保育所に入所できた可能性があることを示しており、これがゼロであれば公平なマッチングが実現できていると言えます。

  多摩市2021 多摩市2022 渋谷区2021 渋谷区2022 郡山市2022
  実際 CP 実際 CP 実際 CP 実際 CP 実際 CP
マッチした児童数 558 560 464 470 1307 1307 1087 1087 979 1200
ブロッキング連合の数 26 0 2 0 0 0 0 0 1059 0

表1 実際のマッチング結果(実際)とCPモデルによるマッチング結果(CP)との比較

 

表1は、各自治体における実際のマッチング結果とCPモデルのマッチング結果を比較したものです。この表から、CPモデルについて次のことが言えます。

  • 各自治体で実際のマッチング結果と少なくとも同等以上に望ましいマッチングを達成できた
    • 渋谷区においては、実際のマッチングと同一の結果が得られた
    • それ以外の多摩市と郡山市においては、CPモデルを用いることで実際の結果よりも多く児童をマッチングできた。
  • 公平なマッチングが実現できている
    • CPモデルではブロッキング連合が存在しないため、公平なマッチングが実現できていると言える

待機児童をさらに減少させるために

本論文では、CPモデルを用いてさらに待機児童を減少させるために、3つの案を示しています。

  1. 同点解消をせず、無差別に取り扱う
  2. ブロッキング連合を許容する
  3. 異年齢間の定員共有をさらに許容する

1については、後述します。

2については、ブロッキング連合を許容することで、待機児童数を減少できることがシミュレーションでわかりました。しかし、公平なマッチングが実現できなくなる、計算時間が増えるという欠点があります。

3については、異年齢間の定員共有を許容することで、待機児童数が減ると期待されます。しかし、我々が保有するデータのうち、定員共有を許容しているデータではサイズが小さく、シミュレーションでは明確なことが言えませんでした。

同点を解消せず、同点者を無差別に取り扱うと、待機児童数は減少する

多くの自治体では、就労状況や世帯状況を指数化し、指数が高い児童から順に割り当てています。この際、指数が同点になることもあります。例えば、郡山市[5]では1月140時間以上の就労で200点加算され、育児休業明けだとさらに30点加算されます。つまり、両親ともにフルタイム勤務で育児休業明けの場合、合計430点となります。しかし、同様の世帯状況である申込者は多く、同じ点数の申込者が多数存在することが予想されます。

自治体はこのような事態を想定し、同点者に対してタイブレークするルールを設けています。郡山市では、「満3歳に達する日以後の最初の3月31日までを対象年齢とする保育施設等を満了する入所児童が連携施設を希望している場合」、「現に認定こども園を1号認定で利用している入所児童が、同施設で2号認定での利用を希望している場合」、「類型間の優先順位」、「養育している小学生以下の子どもの人数が多い世帯」、「経済的状況」…の順に優先することとなっています。

ここで、実際のルールを一旦無視して、タイブレークを行わず、同点者を無差別に取り扱った場合のシミュレーションを実施します。このCPモデルには、同点者に差をつけず、無差別に取り扱うことができる機能があるため、これを利用してシミュレーションを実施しました。このとき、個人合理性と安定性は保持されています。

表2では、各自治体データを用いて、CPモデルによるマッチング結果と、タイブレークせず同点者を無差別に取り扱ったCPモデルによるマッチング結果とを比較しています。

  多摩市2021 多摩市2022 渋谷区2021 渋谷区2022 郡山市2022
  CP CP無差別 CP CP無差別 CP CP無差別 CP CP無差別 CP CP無差別
マッチした児童数 560 571 470 478 1307 1335 1087 1135 1200 1217
計算時間 9.6秒 12.5秒 1.7秒 3.0秒 18.1秒 1000秒 11.6秒 803秒 18.5秒 24.1秒

表2 CPモデルによるマッチング結果(CP)と、タイブレークせず同点者を無差別に取り扱ったCPモデルによるマッチング結果(CP無差別)の比較

表2では、同点者を無差別に扱うCP無差別において、いずれのデータでもマッチした児童の数が増加しています。CPモデルは最大限に待機児童を減らすという目的のもとでマッチングしています。同点者を無差別に扱うことにより、マッチングの自由度が増し、その結果マッチした児童の数が増えています。ただし、渋谷区2021の例のように、計算時間が大きく増加する可能性もあります。

社会実装に向けて

AI LabとGovTech開発センターは、本論文で示されたアルゴリズムを用いた自治体向け保育所入所選考システムを開発しており、自治体に提供することができます。

研究に基づいた保育所入所選考システムや、待機児童減少に向けた取り組みにご興味のある自治体の方はこちらからご連絡をください。

 

参考文献

[1] Sun, Z., Yamada, N., Takenami, Y., Moriwaki, D., & Yokoo, M. (in press) ”Stable Matchings in Practice: A Constraint Programming Approach”, AAAI, Thirty-Eighth AAAI Conference on Artificial Intelligence.

[2] Sun, Z., Takenami, Y., Moriwaki, D., Tomita, Y., & Yokoo, M. 2023. Daycare Matching in Japan: Transfers and Siblings. Proceedings of the AAAI Conference on Artificial Intelligence, 37(12), 14487-14495.

[3] Okumura, Y. 2019. School choice with general constraints: a market design approach for the nursery school waiting list problem in Japan. The Japanese Economic Review, 70(4): 497–516.

[4] Kamada, Y.; and Kojima, F. 2023. Fair matching under constraints: Theory and applications. The Review of Economic Studies.

[5] 福島県郡山市. 2023. 郡山市保育施設等の利用調整及び保育の必要性の認定に関する事務取扱要領 https://www.city.koriyama.lg.jp/uploaded/attachment/69154.pdf

]]>
保活の負担軽減に向けた生成AI型チャットボットの活用実験第一弾 in 佐賀市 https://cyberagent.ai/blog/research/economics/19022/ Mon, 18 Dec 2023 02:00:48 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=19022 こんにちは。サイバーエージェントAI Labの経済学社会実装チームに所属している松木です。今回は、我々のチームと東京大学マーケットデザインセンター(UTMD)と共に取り組んでいるプロジェクトの1つである、生成AIチャットボットを使った研究について紹介し、その第一弾となる佐賀市役所での調査について紹介します。

背景

保活と情報収集

子どもを認可保育所等に入所させるために保護者が行う一連の活動は、通称 「保活」 と呼ばれ、日本における子育て家庭が抱える課題の1つとされています。その中で最も重要な活動の1つは情報収集です。

どこにどのような保育園があるのか、自分の子どもの年齢クラスに空きはあるのか、自分の家庭は基準を満たしているのか、いつまでに申し込まなければならないのか、どのような書類が必要かなど、集めるべき情報は多岐にわたります。場合によっては、保育所に問合せや見学に行ったり、市役所などを訪問したりなど日中に時間を取られる活動が必要になり、そのため保護者の負担が大きく、情報格差が生まれるケースも考えられます。

2016年に厚生労働省が公表した「『保活』の実態に関する調査の結果」のレポートによると、多くの保護者が負担を感じた活動は、「市役所などを何度も訪問」すること、「情報収集」でした。同レポートでは、市区町村に「保活に関する情報をより多く提供する」ことを望む保護者が非常に多いことが伺えます[1]。株式会社キッズライン[2]やBABY JOB株式会社[3]などの民間企業が行ったより最近の調査でも、情報収集が大変だったとする回答が上位に見られます。

よりよい情報提供というアプローチ

「保活」が注目される大きな理由の1つに「待機児童問題」があります。特に入所を希望する人数が保育所の入所枠を上回る地域では、すべての応募者を受け入れられない状態が起こります。そのため、各自治体は保育所を必要とする事由や過程の状況等を基に点数をつけ、各々の基準で希望者の優先順位を決定する「利用調整」が行われています。

待機児童問題の解決には、この「利用調整」が適切に行われることが重要です。これまで、AI Labは利用調整の制度変更やマッチングに用いるアルゴリズムの改善などに取り組んできました。その中で明らかになったのは、保育所の利用調整が適切に行われるためには、利用希望者が正しい情報を集め、それを吟味した上で、保育所に関する希望順位を正直に表明することが望ましいということです。

つまり、正しい情報を的確に提供できることは、保護者の負担軽減になるだけでなく、待機児童問題の解消にも大きく貢献すると考えられます。保活とは若干異なりますが、海外では公立学校や大学などの選択において、個人に合わせた情報提供を行うことで、より望ましい学校選択につながったとする結果が報告されています[4]。AI LabとUTMDは、過去に保護者の負担を軽減しよりよい保育園選びを後押しするための方法として、保育所場所や情報を提供するオンラインマップを提供することで、待機児童が4割減少する可能性を示しました[5]。

生成AI の活用

今回、もう1つの情報提供の方法として注目したのは、膨大な情報の中から適切な情報を見つけ出し要約することができる生成AIの活用です。生成AIを使うことで、学習や情報収集にかかる時間が短縮され、生産性が向上するといった研究結果が多く報告されています。例えば、2023年7月にScience紙に掲載された論文によると、ChatGPTは文章作成などの作業にかかる時間を大幅に削減し、アウトプットの質を大きく向上すると報告されています[6]。この研究では、マーケターやコンサルタント、人事担当、管理職など大卒のビジネス・プロフェッショナルに対し、それぞれの職業に特化した文章作成タスクを与え、所要時間や書かれた文章の質(第三者により評価)などを比較しました。無作為に選ばれた半分のグループにChatGPTを与え、ChatGPTを利用したグループと、利用しなかったグループで比較したところ、文章作成にかかった時間が40%短縮され、文章の質が18%向上しました。

近年、行政においても生成AIを使ったチャットボットの活用は着目されており、これらの技術の社会実装が期待されています。デジタル庁が中央省庁向けに「生成AI活用ワークショップ」を行ったり、さまざまな自治体がChatGPTや国産生成AIを導入したりといった事例が増えています。しかし、実際に生成AIを活用するには、さまざまな課題や障壁が考えられます。また、生成AIの活用範囲はまだ限定的で、「保活」における活用例は、我々の知る範囲ではまだありません。

そこで、生成AIチャットボット利用における課題や障壁を明らかにしつつ、より望ましい形で活用することで「保活」における保護者の負担軽減ができないかと考え、一連の研究を開始しました。今回はその第1弾の内容と結果をご紹介します。

調査の目的と内容について

今回の調査の目的は2つありました。1つ目はチャットボットを利用する保護者が利用申請に関してどのような質問を抱えているかを把握することです。これは、今後のチャットボットの回答精度と有用性を高めるための調査です。2つ目はチャットボットの利用に対する期待度と利用した結果の印象を知ることです。これは、今後保活の情報収集ツールの1つとしての効果を期待できるかどうかの可能性を探るための調査です。

今回の調査では、令和5年11月16日と17日の2日間に佐賀市子育て支援部保育幼稚園課の窓口へ来訪した保護者に対し、その場で実験参加を依頼しました(図1)。令和6年4月の入所申込みの期間であったため来訪者が多く、実験を行っていた2日間でそれぞれ70名以上の来訪者が見られました。合計25名の保護者に参加していただきました。

実際の調査では、まず事前アンケートで来訪目的や利用申請における過程や、ChatGPTのような生成AI型チャットボットへの一般的な印象等を聞きました。その後、実際にチャットボットを活用してもらい(図2)、利用申請に関する質問を投げかけ、回答を見てもらうという作業を行いました。その後、事後アンケートで実際に使ってもらったチャットボットへの印象などを確認しました。

図1:実験の様子

図2:今回使用したチャットボットの画面

 

調査結果について

生成AI型チャットボット利用経験と一般的な印象

実験参加者の多くがChatGPTを含む生成AIチャットボットに不慣れであり、「利用経験あり」、「利用経験無し」、「わからない」の三択で選んでもらったところ、「利用経験あり」とした人は4分の1程度でした。そのため、事前のアンケートではチャットボットの有用性に関して、「有用だと思う」、「まあまあ有用だと思う」、「あまり有用ではない」、「有用ではない」、「わからない」の五択で選んでもらったところ、「わからない」を選ぶ割合が約45%と最も多い傾向にありました(図2)。一方で、「有用である」と「まあまあ有用である」を選んだ割合はそれぞれ約25%、約29%で、ネガティブな印象は見られませんでした。

図3:生成AIチャットボットの利用経験と、生成AIチャットボットへの印象

 

チャットボットへの質問内容

チャットボットへの質問内容として最も多かったのは、具体的な特徴(例:安全管理がしっかりしている)を持つ施設や、特定の施設(例:〇〇保育園)に関する質問でした(表1)。

さらに、佐賀市子育て支援部保育幼稚園課の窓口でよく聞かれる質問を窓口職員に確認し、参加者のチャットボットへの質問と比較しました。窓口で多く寄せられる質問は、必要書類や手続きに関するものが最も多く、次に保育料に関する質問でした(表1)。チャットボットと窓口職員との間で期待される回答の種類に違いがあり、質問者がそれに応じて使い分けている可能性が考えられます。

順位

窓口質問

%

 

順位

チャットボット質問

%

1

必要書類・手続き

16%

 

1

保育施設

29%

2

保育料

15%

 

2

必要書類・手続き

11%

3

退職・求職活動・育休・出産関連

10%

 

2

退職・求職活動・育休・出産関連

11%

3

保育施設

10%

 

4

保育料

10%

5

入所できない可能性に対する不安

9%

 

4

入所できない可能性に対する不安

10%

       

4

空き状況

10%

表1:窓口および実験参加者よりそれぞれ得られた質問のカテゴリトップ5と、それぞれが占める割合

 

チャットボットへの質問の難しさ

今回テストに用いたチャットボットの画面では、ChatGPTに似て質問例が表示されているものの、どのような質問をするかは利用者に委ねられています。実際に、多くの参加者が「いきなり何を聞いたらいいかわからない」という声を上げていました。その結果、比較的思いつきやすい保育施設や施設見学に関する質問が多くなった可能性があります。

また、実験参加者は市役所来訪の目的により、保育施設利用申請書を提出に来たグループと、利用申請についての質問に来たグループの2つに分かれていました。前者はすでにさまざまな情報収集を行ったグループであり、後者はこれから情報収集を行うグループでした。前者はこれからさまざまな質問を行う過程にあり、質問を考えるのが難しい一方、後者はすでに行った質問を思い出しながらチャットボットに確認として質問をしていました。

チャットボットの回答について

今回のチャットボットには、佐賀市子育て支援部保育幼稚園課がウェブサイト上で提供している情報を検索し、その結果を基に回答を生成するRetrieval-augmented Generation(検索により強化した文章生成、通称「RAG」)と呼ばれるフレームワークを活用しました(図4)。従来のチャットボットは、聞かれた質問と事前に用意された質問の類似度を計算し、もっと近い質問に対してあらかじめ準備された回答を返すというものが一般的です。一方、RAGは事前に用意された回答ではなく、関連する情報から回答を生成するため、より柔軟な対応が可能になります。RAGのもう1つの利点は、チャットボットの回答が何に基づいているかの情報源を明示できることです。

図4.RAG(検索により強化した文章生成)を活用した生成AIチャットボットの仕組み

しかし、今回検索範囲にない情報については、回答を生成できないという制約を設けていたため、情報不足により有用な回答を生成できない質問が多く見られました。具体的には、市役所では提供していない、特定の保育園に関する情報(例:食事アレルギーに対する対応)などです。これらの質問について、市役所役員に話を聞いたところ、それぞれの園の細かな特徴については市として公表しておらず、園から直接情報を入手する必要があるとのことでした。また、質問には直接書かれていない質問者の意図や文脈を十分にくみとれない場合に、不十分な回答を生成する場面も見られました。

一方で、生成AI型のチャットボットになれない利用者が多いためか、チャットボットが作り出すもっともらしい回答に対し、驚きや好印象を持つ利用者が多く見られました。

チャットボット利用後の印象

チャットボット利用後の印象は、全体的に良好で、実験参加者の半数以上が「有用だと思う」と答えました。これは使用前の印象よりも「有用だと思う」という割合が2倍に増えたことを意味します。残りの半数も「まあまあ有用だと思う」と答え、ネガティブな印象を持つ参加者はいませんでした。

図5:生成AIチャットボット体験前と体験後のチャットボットへの印象の変化

今後の方向性について

今回の調査を通じて、実際のユーザーや自治体の窓口職員とのやり取りを通じて、チャットボットのどのような利用が想定されているかを明らかにできたことは、今後の研究を続ける上で非常に有用であると考えています。また、質問を考えることが意外と難しいことであるという発見についても、今後のチャットボットの改良に大いに役立つと考えます。今回ご協力いただいた佐賀市職員の皆様、そしてお忙しい中ご参加いただいた保護者の皆様、本当にありがとうございました。

どんなに優れた技術でも、使ってもらえなければ意味がありません。実際にこのようなチャットボットが保護者の保活をサポートするためには、使いやすさと利便性を向上させながらも、安全性と信頼性を担保する必要があります。過去の研究でも、行政が提供するチャットボットに対する市民の目線は必ずしもポジティブではなく、特に子育てに関する分野におけるチャットボット利用に対して信頼性などの観点から慎重であることが明らかにされています[7]。

今後、より使いやすく信頼できる生成AIチャットボットを使って、保活における負担削減と望ましい保育所選考に貢献できるよう、研究を進めていく予定です。実証実験などにご協力いただけるパートナーを募集しておりますので、ぜひこちらからご連絡をいただけますと幸いです。

 

参考文献

[1]  厚生労働省 雇用均等・児童家庭局 保育課. (2016).「保活」の実態に関する調査の結果 retrieved December 10, 2023 from https://www.mhlw.go.jp/file/06-Seisakujouhou-11900000-Koyoukintoujidoukateikyoku/hokatsu-chousa_1.pdf

[2] 株式会社KidLine. (2018). 【2018年速報】ママ500人の保活実態調査 #保育園落ちた retrieved December 10, 2023 from https://kidsline.me/hokatsu/contents/article/219

[3] Babyjob株式会社. (2022). 【保活実態調査】母親1人で保活をした家庭はなんと半数以上!保活が大変だったと感じた人は6割超。保活で大変だったことランキングも公開!~保活テックの『えんさがそっ♪』がリスト共有機能をリリースし”夫婦で保活”を推進~

[4] Cohodes, S. R., Corcoran, S. P., Jennings, J. L., & Sattin-Bajaj, C. (2022). When do informational interventions work? Experimental evidence from New York City high school choice. Educational Evaluation and Policy Analysis, 01623737231203293.

[5] Moriwaki, D., Takida, A., Goto, K. & Yoshikawa, T. (2023). Reducing Waiting Children with Daycare Search Map: Evidence from an RCT in Shibuya City. Available at SSRN: https://ssrn.com/abstract=4431332 or http://dx.doi.org/10.2139/ssrn.4431332

[6] Noy, S. & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. science, 381(6654), 187-192.

[7] Aoki, N. (2020). An experimental study of public trust in AI chatbots in the public sector. Government Information Quarterly, 37(4), 101490.

 

]]>
郡山市の保育所利用調整基準改定: シミュレーションによる検証 https://cyberagent.ai/blog/research/economics/18950/ Thu, 26 Oct 2023 00:56:29 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=18950 こんにちは。サイバーエージェントAI Labの竹浪です。今回はAI Labの森脇さん、Wuさん、松木さんと私が東京大学マーケットデザインセンター(UTMD)と共に取り組んできた、福島県郡山市の保育所利用調整基準の改定について紹介します。

2024年4月入所から、郡山市の新しい保育所利用調整基準により、兄弟姉妹がいる家庭はより多く加点され、保育所に入りやすくなることが期待されています。これは、私たちが郡山市と2022年9月より取り組んできた「保育所の利用調整基準の改善」に関する実証実験の成果の一つです。

背景

保育所に入所するためには、まず自治体への申し込みが必要です。しかし、申し込み数が保育所の入所枠を上回る場合、自治体は「利用調整基準」に基づいて子供たちの優先順位を決定します。この「利用調整基準」では、各家庭の就労状況や世帯の状況など、保育が必要な理由を具体的に評価し、それを点数化します。そして、得られた点数が高い順に優先順位が決まります。例えば、郡山市では両親がフルタイムの労働をしていると200点+200点=400点というように点数化されます[1]。最終的に、この優先順位と保護者の希望に基づき、入所できる保育所が決定されます。優先順位は、社会厚生の最大化などの目的に従って、適切に決定される必要があり、さまざまな提案がされています[2][3][4]。

今回、郡山市が問題として認識していたのは、兄弟姉妹の同所入所です。

兄弟姉妹を保育所に通わせたい場合、なるべく同じ保育所に通わせることが望ましいと考えられます。なぜなら、兄弟姉妹が異なる保育所に通うと、保護者と子供たちの両方に負担がかかると考えられるからです。川崎市の資料[5]によれば、以下のような負担があげられています。

  • 異なる保育所に通うことで生じる保護者の負担:複数の保育所への送迎、各園の異なる準備要件、就労時間の制約、重複する学校行事への対応など
  • 異なる保育所に通うことで生じる子供たちの負担:異なる保育所への送迎による生活リズムの乱れや、体力的・精神的ストレスなど

さらに、兄弟姉妹が同じ保育所に通えないことで入所を諦め、結果として就労を断念するケースも考えられます。このような負担を考慮すると、多くの保護者は兄弟姉妹が同じ保育所に通うことを望んでいると思われます。

しかし、兄弟姉妹を同一の保育所に入所させる際には、以下のような問題が浮き彫りになります。

  • 兄弟姉妹全員が同じ保育所に入るためには、全員分の空き枠が必要となり、入所難易度を高めている
  • 上の子が在籍している保育所を下の子も希望するなど、通園可能な選択肢が少なくなりがちなことが入所難易度を高めている

このような問題を解決するためには、兄弟姉妹に関する利用調整基準の見直しが有効と考えられます。実際、神奈川県横浜市[6]や川崎市[7]では、このような基準の見直しを実施しています。

課題

郡山市の利用調整基準では、兄弟姉妹が同時に申し込んでも特別な加点がなかったため、一人の子供だけで申し込む場合と比べて、兄弟姉妹が一緒に申し込む場合の入所が難しい状況でした。

図1をご覧ください。これは郡山市における2022年の実際の割り当てにおける点数と入所率の関係を表しています。ここでは緑の線が単独での申し込みを表し、黄の線が兄弟姉妹での同時申し込みを表しています。図の左側、点数が低いグループに注目すると、黄の線が緑の線を大きく下回っています。これは、点数が低いほど兄弟姉妹での申し込みの入所率が単独での申し込みに比べて低くなり、その差が大きくなることを示しています。つまり、同じ点数の子供でも、兄弟姉妹で申込む場合、単独で申し込む場合に比べて保育所への入所可能性が低くなっていることがわかります。図2(2023年の実際の割り当て)においても同様の関係がわかります。

郡山市2022データにおける実際の割り当て

図1 2022年の実際の割り当てにおける点数と入所率の関係

注:この図は、一般化線形混合モデル(GLMM)を用いたロジスティック回帰の結果を示しています。単独申込をした方と兄弟姉妹同時申込をした方とにデータを分け、それぞれのグループにおいて、加点する前の点数と入所できたか否かの関係を表しています。他の図2〜4も同様です。

郡山市2023データにおける実際の割り当て

図2 2023年の実際の割り当てにおける点数と入所率の関係

この問題を解決するために、郡山市はルールを見直し、兄弟姉妹が同時に申し込む際には追加の優先点を付けることを考えました。この改善により、兄弟姉妹が一緒に同じ保育所に通えるようになることを目指し、子供が複数いる家庭をより支援することを目指しました。

解決手法

兄弟姉妹への加点を導入しながらも、公平な入所を実施するためには、適切な加点の基準が必要です。しかし、その基準をどう設定するべきかは明らかではありませんでした。そのため、私たちは東京大学マーケットデザインセンターの小島教授、鎌田准教授のアドバイスを踏まえながら、望ましい基準を探るためにシミュレーションを行いました。今回は、兄弟姉妹がいない場合と兄弟姉妹が同時に申し込む場合とで入所率に差があることから、どちらの申込でも入所率が均等になるような加点を検討しました。

また、郡山市とシミュレーションの検討を重ねていくに連れ、より具体的な要望が郡山市側から出てきました。当初は、兄弟姉妹に点数を足したいという要望でしたが、対話を重ねるうちに、特定の属性の方々についてこのような順番で優先したいという要望が郡山市から出てきました。このような郡山市の要望を前提にシミュレーションを実施することで、より具体的な優先順位の設定が可能となりました。

シミュレーションの詳細

入所率が均等になるような加点を検討するために、郡山市から提供された匿名化された申込者データ(2022年と2023年の一斉入所データ)を使用してシミュレーションを行いました。シミュレーションの手順は以下の通りです。

  1. 兄弟姉妹で申し込む申込者に対して加点する点数を設定しました。今回は10点から300点まで試しました。
  2. 兄弟姉妹がいる申込者に点数を加算した後、AI Labの孫さんが中心となって開発した利用調整アルゴリズム[8]を用いてマッチングを行い、単独で申し込む方や兄弟姉妹で申し込む方の入所率を計算しました(アルゴリズムの詳細はこちら)。
  3. それぞれの入所率ができるだけ等しくなり、全体の入所率が現状より悪化しない点数を探索しました。

私たちはシミュレーションの結果を基に、加点すべき点数の提案を郡山市に行いました。その後、郡山市内部で議論され、最終的な点数が決定されました。

結果

郡山市2022データにおけるシミュレーション結果

図3 2022年の制度変更案における点数と入所率の関係

郡山市2023データにおけるシミュレーション結果

図4 2023年の制度変更案における点数と入所率の関係

図3と図4をご覧ください。これは兄弟姉妹に加算をしたあとの点数と入所率の関係を表しています。緑の線が単独での申し込みを表し、黄の線が兄弟姉妹での同時申し込みを表しています。図1と図2では左側の点数が低いグループにおいて黄の線が緑の線を下回っていました。しかし、図3と図4では黄の線と緑の線が重なるような軌道となり、差が小さくなっています。つまり、加算後のシミュレーションにおいては、同じ点数の子供であれば、兄弟姉妹での申し込んでも単独で申し込んでも保育所への入所率は差がなくなっており、加算がない場合に比べて公平に扱われていることがわかります。

この新しい利用調整基準は、2023年11月1日から始まる2024年4月一斉入所の申込から適用されます。新しい基準により、兄弟姉妹がより入所しやすくなり、同じ保育所に通う子供の割合も増えると期待しています。

振り返り

この実証実験で苦労した点を振り返ると、まず具体的な基準を設定するのが難しかったことが挙げられます。当初、兄弟姉妹に加算する方針だけは決まっていましたが、その目的は明確ではなく、まずはその目的を決定することが重要でした。詳しいデータ分析から、兄弟姉妹同時申込者と単独申込者の間で入所率に差があることがわかり、この差を公平にすることが必要だと認識しました。

さらに、兄弟姉妹以外の申込者に対しても公平に配慮し、優先順位をどう設定するかが重要となりました。優先順位の設定には、保育所という福祉制度の観点から、自治体ごとの方針が反映されるべきです。しかし、これらの価値基準は一定ではなく、客観的な基準も存在しません。今回、郡山市と私たちとで対話を重ねることで価値基準を伺うことができ、それに合わせて点数の設計を行いました。

このように、データ分析以外にも、自治体との対話を続けることが重要だと認識しました。自治体固有の方針やニーズを理解することは、公平で効果的な制度を設計するために不可欠だからです。

終わりに

私たちとUTMDは、今後も郡山市とともに「保育所の利用調整基準」や「利用調整アルゴリズム」に関する実証実験を継続します。今後の一斉入所が完了した後、今回の基準改定が期待した効果をもたらしたかを確認するために、効果検証を行います。効果検証の結果は論文にまとめ、証拠に基づく政策作成(EBPM)の進歩的な取り組みとしての知見を共有する予定です。

今回の基準改定に限らず、

  • 利用調整ルールの変更
  • 保護者への情報提供のあり方
  • 職員負担を軽減し待機児童を最小化する利用調整システムの提供

など、私たちのさまざまな取り組みにご興味がある自治体の方は、こちらからご連絡をいただければ幸いです。

参考文献

[1] 郡山市.(2022).郡山市保育施設等の利用調整及び保育の必要性の認定に関する事務取扱要領 https://www.city.koriyama.lg.jp/uploaded/attachment/36090.pdf

[2] Bodoh-Creed, A.L. (2020). Optimizing for Distributional Goals in School Choice Problems. Management Science, 66(8), 3657-3676.

[3] Shi, P. (2021). Optimal Priority-Based Allocation Mechanisms. Management Science, 68(1), 171-188.

[4] Çelebi, O., & Flynn, J.P. (2022). Priority Design in Centralized Matching Markets. The Review of Economic Studies, 89(3), 1245-1277.

[5] 川崎市.(2023).「保育所等の利用における多子世帯支援の拡充に向けた取組について(案)」意見を募集します https://www.city.kawasaki.jp/templates/press/cmsfiles/contents/0000151/151828/houdou.pdf

[6] 横浜市.(2023).令和6年4月入所に向けた「横浜市給付認定及び利用調整に関する基準」の一部改正について(意見公募)https://www.city.yokohama.lg.jp/kurashi/kosodate-kyoiku/hoiku-yoji/shisetsu/hoikuriyou/r06kijunkaisei.html

[7] 川崎市.(2023).保育所等の利用における多子世帯支援の拡充について https://www.city.kawasaki.jp/450/page/0000154113.html

[8] Sun, Z., Takenami, Y., Moriwaki, D., Tomita, Y., & Yokoo, M. (2023). Daycare Matching in Japan: Transfers and Siblings. Proceedings of the AAAI Conference on Artificial Intelligence, 37(12), 14487-14495.

 

]]>
【採択論文紹介】Daycare Matching in Japan: Transfers and Siblings https://cyberagent.ai/blog/research/publication_review/18396/ Mon, 30 Jan 2023 01:54:41 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=18396 AI Lab EconSIチームの孫と竹浪です。この記事では、人工知能分野のトップカンファレンスであるAAAI-23に採択されたSun et al. ”Daycare Matching in Japan: Transfers and Siblings” [1]について紹介します。本研究は孫を中心とし、竹浪、森脇、冨田および九州大学の横尾真教授により実施されました。論文のarxivバージョンはこちらです。

はじめに

保育所入所選考にはマッチング理論が応用できます。しかし、実務ではきょうだいや転園などに考慮する必要があるため、先行研究で提案されているアルゴリズムをそのまま実務に適用することはできません。そこで、本論文では実務で求められる性質を全て満たすアルゴリズムを整数計画法にてデザインしました。このアルゴリズムを実際のデータに適用したところ、実際の割り当てよりも少なくとも同等以上に望ましいマッチング結果を得ることができました。

保育所入所選考とマッチング理論

保育所を利用するときは、自治体で行う保育所入所選考を経る必要があります。

利用希望者は、居住している自治体に希望保育所名とその希望順位、世帯の就労状況等を記載した申請書を提出します。そして、自治体は申請された情報をもとに保育の必要性に応じた指数を決定し、指数順に児童を希望する保育所に割り当てます。まさに児童と保育所のマッチングです。AI Lab EconSIチームでは、マッチング理論による保育所入所選考の改善に取り組んでおり、東京大学マーケットデザインセンター(UTMD)と共同研究を行い、実際に東京都多摩市の制度変更に貢献しました。

保育所入所選考固有の問題

保育所入所選考を難しくさせる固有の問題として、きょうだいの存在と転園の存在があります。

きょうだい

異年齢・同年齢問わず、複数のきょうだいが同時に保育所を希望する場合があります。このとき応募者は、

  • きょうだい全員を同時に入園させたいか、別の時期でも構わないか
  • 同じ保育所への入園だけを希望するか、別々の保育所への入園でも構わないか

といった意思表示を行い、自治体に申請します。例えば、東京都渋谷区では希望の組み合わせを提出できるようになっています。自治体は、こうした希望に配慮して保育所を割り当てています。したがって、マッチングの際はきょうだいの希望の組み合わせを考慮する必要があります。

しかし、標準的なマッチングアルゴリズムではあくまで個人の割り当てを考えているため、きょうだいの希望の組み合わせを踏まえた割り当てには対応していません。例えば、きょうだい2名がともにA保育所が第一希望、B保育所を第二希望にしている場合、きょうだいが一緒に入れない(A保育所、B保育所)という組み合わせではなく、(B保育所、B保育所)の組み合わせを優先したいということがありえます。このように、きょうだいが希望する保育所の組み合わせのパターンによって希望順序が決まりますが、個人をもとにしたアルゴリズムではこうした構造を考慮できません。

転園

通園する保育所を変更したい場合、多くの自治体では転園を希望することができます。その際、転園希望者については、

  • 希望する保育所に入園させる
  • すでに入園している保育所(転園元)に戻る

のいずれかを実現し、待機児童にはさせない入所選考を行う必要があります。

さらに、

  • 転園が成功すれば転園元に空きが出るため、希望者がいれば割り当てる必要がある
  • きょうだいのうち1人が、あるいは全員が転園を希望する場合がある

ことにも留意する必要があります。

きょうだいと転園に関する先行研究

保育所入所選考におけるきょうだいと似た状況として、

  • 学校選択制におけるきょうだいの申し込み
  • 研修医マッチングにおけるカップルの存在

があります。

先行研究におけるきょうだいや転園の取り扱い状況

表1: 先行研究におけるきょうだいや転園の取り扱い状況([1]のTable 1を改変)

表1では、保育所入所選考においてきょうだいを取り扱うにあたり重要な学校選択制、研修医マッチング、保育所入所選考の先行研究における

  • 転園
  • きょうだい・カップル
  • きょうだいの希望の組み合わせ

の取り扱い状況をまとめました。一番下の本論文を除き、

  • 転園のことを検討していない[2,3,5,6,7]
  • きょうだい(カップル)が2名の場合のみを検討しているため、2人より多いきょうだいがいる場合に対応していない[4,5,6]
  • きょうだいの組み合わせに制約がある。例えばきょうだいが同じ学校のみを希望していると仮定しているが、実際にはきょうだいが別の保育所を希望する場合もある[7.8]

という状況であり、先行研究にて提案されているアルゴリズムをそのまま保育所入所選考に応用することができません。

実務において要求される性質

きょうだい、転園の他に、保育所入所選考の実務において要求される性質として、次のようなものがあります。

  • 個人合理性:希望していない保育所に割り当てない
  • 公平性:優先順位が高い人から順に割り当てる
  • 非浪費性:「その保育所を希望する応募者がいるにもかかわらず受け入れ枠に空きがある状況」(浪費的な状況)をつくらない

したがって、保育所入所選考の実務においては、割り当ての結果が以下の制約を満たしている必要があります。

  • きょうだいへの対応
  • 転園への対応
  • 個人合理性
  • 公平性
  • 非浪費性

本論文の貢献

そこで、本論文では上記した制約を満たす新たなアルゴリズムをデザインしました。本論文による貢献は次の通りです。

  • 実際のデータに基づき、日本で実施されている保育所入所選考を現実的なモデルとして定式化しました。転園、きょうだい、制約のないきょうだいの希望の組み合わせを全て取り扱った研究は我々の知る限り初めてです。
  • これまでのマッチング理論で用いられてきた個人合理性(Individual Rationality)、非浪費性(Non-wastefulness)、公平性に関連するブロッキングペア(Blocking Pair)といった概念を、転園やきょうだいの組み合わせを考慮することで一般化しました。具体的には、個人をベースに構成されていたこれらの概念を、家族をベースにし、それぞれ家族合理性(Family Rationality)、家族非浪費性(Family Non-wastefulness)、ブロッキング連合(Blocking Coalition)として定義しました。
  • きょうだい、転園、家族合理性、公平性(ブロッキング連合がない状態)、家族非浪費性に対応したアルゴリズムを開発し、実装しました。
  • 自治体から提供された匿名データにてアルゴリズムの性能を確認したところ、実際の割り当てと少なくとも同等、自治体によっては上回る結果を得られることを確認しました。
  • きょうだい、転園、家族合理性、公平性、家族非浪費性といったすべての制約を満たす解が存在しない場合があり、実際に児童が4人(うち2人はきょうだい)の例でそのような場合を例示しています。しかし、シミュレーションで用いたすべての自治体のデータで、これらすべての制約を満たす解が求められました。

モデル

本論文ではきょうだいに対応するため、家族をベースにしたモデルを設定しています。本論文のモデルは、次のインスタンス\(I\)にて記述しています。

$$I = (C, F, D, G, \omega, \succ_{C}, \succ_{F}, \succ_{D}, q)$$

それぞれ次を意味します。

  • \(C\):児童の集合
  • \(F\):家族の集合
  • \(D\):保育所の集合
  • \(\omega(c)\):児童\(c\)の転園元(転園元がない場合にも対応)
  • \(\succ_C\):\(D\)に対する各個人\(c \in C\)の選好順序\(\succ_c\)の集合
  • \(\succ_F\):\(D\)に対する各家族\(f \in F\)に属する児童\(C_f\)の選好の組み合わせ\(\succ_f\)の集合
  • \(\succ_D\):各個人\(c \in C\)に対する各保育所\(d \in D\)の優先順序\(\succ_d\)の集合
  • \(q\):各保育所の募集人数のベクトル

各児童\(c\)はひとつの家族\(f \in F\)に所属し、各家族\(f\)は児童の集合\(C_f \subseteq C\)により構成されます。

アルゴリズム

アルゴリズムは線形計画法の整数バージョンである整数計画法によりモデリングされています。具体的には、きょうだいの希望の組み合わせ、転園を考慮しつつ、家族合理性、公平性(ブロッキング連合がない状態)、家族非浪費性の制約下で、マッチングされる児童を最大化(待機児童を最小化)する問題を整数計画法により解いています。興味のある方は論文をご覧ください。

自治体データを用いたシミュレーション

実際の割り当ての結果と今回デザインしたアルゴリズムの結果の違いについて解説します。東京都の渋谷区と多摩市から提供された2021 年度と 2022 年度の一斉入所における希望者データ(匿名加工処理済み)と保育所データに対して、このアルゴリズムを用いたシミュレーションを行いました。そこで、各自治体における実際の割り当て結果とシミュレーションの結果とを比較・考察します。

実際の割り当て結果と本論文で提案されたアルゴリズムの割り当て結果の比較

表2: 実際の割り当て結果と本論文で提案されたアルゴリズムの割り当て結果の比較([1]のTable 2を改変)

表2は、各自治体における実際の割り当て結果と本論文で提案されたアルゴリズム(提案手法)の割り当て結果を比較したものです。この表から 2 つのことが言えます。

  1. 各自治体で性質の良い割り当てや待機児童が少ない割り当てが達成できました。多摩市においては、今回実装したアルゴリズム(提案手法)を用いることで実際の結果と同等以上に児童を割り当てているだけではなく、家族合理性と家族非浪費性を満たしています。また、渋谷区においては、実際のマッチングと同一の結果が得られました。
  2. いずれの自治体、年度においてもアルゴリズム(提案手法)により公平性(ブロッキング連合がない状態)を満たすマッチング結果を得ることができました。

アルゴリズムの社会実装

AI LabとGovTech開発センターは、この論文で示されたアルゴリズムを用いた自治体向け保育所入所選考システムを開発しています。研究に基づいた保育所入所選考システムにご興味のある自治体の方はこちらからご連絡をください。

参考文献

[1] Sun, Z., Y. Takenami, D. Moriwaki, Y. Tomita, and M. Yokoo (in press) ”Daycare Matching in Japan: Transfers and Siblings”, AAAI, Thirty-Seventh AAAI Conference on Artificial Intelligence

[2] Biró, P.; Manlove, D. F.; and McBride, I. 2014. The hospitals/residents problem with couples: Complexity and integer programming models. In International Symposium on Experimental Algorithms, 10–21. Springer. 

[3]Manlove, D. F.; McBride, I.; and Trimble, J. 2017. “Almost stable” matchings in the Hospitals/Residents problem with

Couples. Constraints, 22(1): 50–72.

[4]Hamada, N.; Hsu, C.; Kurata, R.; Suzuki, T.; Ueda, S.; and Yokoo, M. 2017. Strategy-proof school choice mechanisms with minimum quotas and initial endowments. Artificial Intelligence, 249: 47–71. 

[5]Okumura, Y. 2019. School choice with general constraints: a market design approach for the nursery school waiting list problem in Japan. The Japanese Economic Review, 70(4): 497–516.

[6]Kamada, Y.; and Kojima, F. 2020. Fair matching under constraints: Theory and applications. Review of Economic Studies.

[7]Dur, U.; Morrill, T.; and Phan, W. 2022. Family Ties: School Assignment with Siblings. Theoretical Economics, 17(1): 89–120.

[8]Correa, J.; Epstein, N.; Epstein, R.; Escobar, J.; Rios, I.; Aramayo, N.; Bahamondes, B.; Bonet, C.; Castillo, M.; Cristi, A.; Epstein, B.; and Subiabre, F. 2022. School choice in Chile. Operations Research, 70(2): 1066–1087.

 

]]>
東京都多摩市における保育所利用調整ルールの改善 https://cyberagent.ai/blog/research/economics/16145/ Tue, 01 Mar 2022 05:32:00 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=16145 こんにちは。CyberAgent AI Labの竹浪 良寛です。

今回は、東京大学マーケットデザインセンター(UTMD)との共同研究の1つとして取り組んでいる「保育所マッチングプロジェクト」において、ともに実証実験に取り組んでいる東京都多摩市の制度を改善した事例を説明します。

この記事の概要

東京都多摩市では、2021年度までの保育所利用調整において、一部の応募者について希望施設の順位を考慮するルールを設けていました。しかし、マッチング理論の観点からすると、このルールは

  • 正直に希望順位を申告せず、​​実際の希望とは異なる順位を申告することで得をする可能性がある

ため、正直な人が損をする可能性があります。

多摩市では、私たちの提言を受けて、2022 年度の募集からこのルールを廃止し、正直な希望施設を申告しても不利がない、シンプルな制度に変更しました。

また、2021年度と2022年度の一斉入所データを比較することで、

  • 一部の応募者において、保育所利用に関する正直な希望の申告が促進されている可能性がある(ただし、統計的に有意ではなく誤差の可能性も否定できない)

という結果を得ました。

多摩市における利用調整の流れ

多摩市における保育所の利用調整は大まかに以下のような流れで行われます。

  1. 各保育所各年齢別の募集定員の決定・募集要項公開
  2. 保護者が希望する保育所のリストを記入した申込書を提出
    • 例:第1希望 A保育所 第2希望 B保育所 第3希望 C保育所 …
  3. 各申込児童について「保育の必要性指数」を計算
  4. 募集定員・各申込児童の希望保育所・「保育の必要性指数」・「優先順位」をもとに利用調整を行い、入園先を決定
  5. 結果通知
  6. 2次募集など

3.については、例えば、親の就労状況に基づき、保育の必要性が高い人については高い「保育の必要性指数」が割り当てられます。

4については、「保育の必要性指数」の同点者が複数いる場合に備えたタイブレークルールとして「優先順位」が存在しています。2021年度の優先順位は次のようなものでした。

図1:2021年度多摩市保育所利用調整における優先順位

指数が同位の場合の優先順位
「保育の必要性指数」が同じだった場合、まず優先順位1「市内在住者」かどうかでタイブレークを行います。もし複数の市内在住者がいる場合、続いて優先順位2でタイブレークを行う、という具合に続いていきます。

そして、空きがある保育所について、「保育の必要性指数」および「優先順位」の高い方から順に、希望する保育所への入所決定が行われます。

「希望施設順位ルール」と耐戦略性

「希望施設順位ルール」では正直な希望順位を申告しないほうがいい(かもしれない)

ここで、優先順位7「希望保育園の順位が高い者」というルールに注目します。このルールでは、優先順位6までで同順位が解消されずに同じ施設を希望する場合、第1希望の人を第2希望の人よりも、第2希望の人を第3希望の人よりも優先します。2021年度の一斉入所では、このルールが適用される応募者は78%もいました。

ここでは、この「希望保育園の順位が高い者」を優先するルールを、「希望施設順位ルール」と呼ぶことにします。「希望施設順位ルール」は、応募者の強い希望を叶えようとするルールに見えます。

しかし、このルールにより、

  • 正直に希望順位を申告せず、​​実際の希望とは異なる順位を申告することで得をする可能性がある

があります。

例えば、本当は非常に人気のある保育所を第1希望としており、本来第2希望の保育所は第1希望と申告すれば入所できそうだが、第2希望では入所できなさそうな場合を考えます。このとき、本当の希望をそのまま申告すると第1希望にも第2希望にも入所できなさそうなため、本来第2希望だった保育所を第1希望として申告することで、無事、本来第2希望だった保育所に入所が決定されます。

耐戦略性:正直に申告することが一番

マッチング理論では、他の応募者の行動に関わらず、自身が希望する保育所の順位を正直に申告することが最適な戦略となるような利用調整方式を、耐戦略的な方式と呼びます[1]。耐戦略的な方式には、次のようなメリットがあります。

  • 自身の本当の希望順位を記入するだけでよい
  • そのため、申請が簡単
  • 利用調整方式への理解度の違いによる不平等がない

耐戦略的な利用調整方式では、他の応募者の申込状況や保育所の募集人数を考慮して、本当の希望順位とは異なる希望順位を申告する必要がなくなります。そのため、自身の本当の希望順位を記入するだけでよくなり、保育所の申請が簡単になります。

一方、耐戦略性を満たさない利用調整方式は、前節で確認したように、正直に希望順位を申告せず、​​実際の希望とは異なる順位を申告することで得をする可能性があります。このような状況では、応募者が他の応募者の申込状況や保育所の募集人数を考慮し、戦略的な希望順位の申告に頭を悩ませる必要があります。さらに、自身の指数では本来もっと望ましい保育所に行けたはずなのに、過度に安全な希望順位を提出した結果、そこに行けないという状況も発生し得ます。また、耐戦略性を満たさない利用調整方式では本当の希望を申告しないことが想定され、実際にそのような実験結果が報告されています[2]。

さらに、耐戦略性を満たさない利用調整方式は、利用調整方式への理解度の違いにより、有利な応募者とそうではない応募者を生み出していることにも注目する必要があります[3]。耐戦略性を満たさない方式において、この方式をよく理解している応募者は自身に有利になるよう最適な希望順位を申告し、望ましい結果を得ることができますが、理解していない応募者は最適な希望順位を申告することができず、望ましい結果を得ることは難しくなります。一方、耐戦略性を満たす利用調整方式では自身の本当の希望順位を申告することが最適となるので、利用調整方式への理解度に関わらず、どの応募者も本当の希望順位を正直に申告するだけで望ましい結果が得られます

保育所の利用調整は行政が執行していることから、制度の透明性や明快さが重要です。耐戦略性を満たす、正直に申告するだけでいいという制度であれば、透明性や明快さが担保されると考えられます。

「希望施設順位ルール」と耐戦略性

「希望順位施設ルール」には耐戦略性がありません。先の例で見たように、自身の希望順位を偽るインセンティブがあるからです。この「希望順位施設ルール」と似たボストン方式と呼ばれる利用調整方式は耐戦略的ではないことが知られています[1]。そのため、「希望順位施設ルール」では次のようなデメリットが発生します。

  • 他人の応募状況や保育所の募集人数を考慮し、自身の希望順位を最適化する必要がある(頭を悩ます)
  • 利用調整方式を熟知している人は自身の希望順位を最適化し希望の保育所に入所できるが、そうではない人は希望を叶えることが難しい

利用調整ルールの変更

多摩市に対して「希望施設順位ルール」の問題点についてお伝えしたところ、2021年10月に開始する2022年4月一斉入所の募集時から利用調整ルールが変更され、優先順位から「希望保育園の順位が高い者」というルールが削除されました。優先順位7が市内在住日数に変わっていることにご注目ください。

図2:2022年度多摩市保育所利用調整における優先順位

2022年度の指数が同位の場合の優先順位
このルールが削除されたことで、多摩市の利用調整方式は希望順位を偽って申告しても得をしない「逐次独裁方式」に近い方式へと改善されました。逐次独裁方式(Serial Dictatorship)とは、「保育の必要性指数」や「優先順位」の高い児童順に、残っている保育所の募集枠から一番希望の高い保育所に入所させる方式です[1]。

例えば、応募者Xさんが、第1希望:A保育所、第2希望:B保育所、第3希望:C保育所としており、Xさんの順番が来たときにA保育所の募集枠は埋まっているものの、B保育所、C保育所は空いている状況を考えます。このとき、逐次独裁方式では残っている保育所の募集枠から一番希望の高い保育所に入所させることから、Xさんを第2希望のB保育所に割り当てます。

また、逐次独裁方式は耐戦略的な利用調整方式であることも知られています。よって、この逐次独裁方式では、自身が希望する順番に保育所の希望順位を申告すべきであることがわかります。

厳密には、きょうだいの同所入所希望や転園を考慮していることから、多摩市の利用調整方式は完全な逐次独裁方式ではありませんが、従前の方式よりも希望順位を偽る余地が小さくなりました。ほとんどのケースで、他の申請者の希望とは関係なく、申請者が通いたい保育所を希望する順に記入しても不利益が発生せず、シンプルな意思決定で済むことが期待されます。

ルール変更の効果について

ここでは、制度の変更前後で応募者の希望が変化したかどうか、多摩市の2021年度一斉入所データと2022年度一斉入所データを比較することで確認します。

予想されること

2021年度までの利用調整では、「希望施設順位ルール」により、正直に希望順位を申告せず、​​実際の希望とは異なる順位を申告することで得をする可能性があることから、人気のある保育所を敬遠し、人気があまりなく確実に入所できそうな保育所を優先して希望していた可能性があります。

一方、2022年度の一斉入所からは、「希望施設順位ルール」がなくなったため、正直に人気のある保育所を希望しても不利ではなくなりました。そのため、あえて希望を偽ることなく、人気のある保育所を希望する応募者が増えることが予想されます。

分析

多摩市から提供された2021年度の一斉入所匿名データ(635名)と2022年の一斉入所匿名データ(550名)を用いて分析を行いました。

ここでは人気園の定義を、1歳児の第1希望園について、2021年度も2022年度も募集人員以上の応募があった保育所としました。この定義に基づくと、人気園は11園あり、それ以外は16園あります。

そして、2021年度と2022年度について、人気園が第1希望や第2希望に書かれた割合を比較しました。
また、2021年の応募者と2022年の応募者で人気園を選ぶ割合について統計的に有意な差があるのか、独立性のカイ二乗検定[4](有意水準5%)で検証しました(帰無仮説:年度(2021年度、2022年度)と人気園を記入する確率は独立である)。

結果

2021年度と比較すると、2022年度の第1希望において人気園が記入される割合は減少したものの、第2希望において人気園が記入される割合は増加しました。

表1:全年齢で人気園を記入した割合

  2021年度 2022年度
第1希望 0.64 0.62
第2希望 0.58 0.61

一方、独立性のカイ二乗検定(有意水準5%)は、第1希望・第2希望いずれについても棄却されました(p値:第1希望の場合0.53、第2希望の場合0.40)。そのため、2021年度と2022年度とで人気園を選ぶ割合について統計的に有意な差があったとは言えません。

次に、対象を「希望施設順位ルール」が適用されやすい「保育の必要性指数」が40点から42点で、かつ0歳から2歳の応募者にします。「保育の必要性指数」が40点から42点の応募者については、全体の6割前後を占めており、同点数となる人が多く、「希望施設順位ルール」が適用されやすい人たちです。そして、0歳から2歳の応募者については応募数が多く、募集人数よりも応募者数が上回ることもあることから、念入りに希望施設の順位を検討していることが想定されます。

この応募者たちについて2021年度と比較すると、2022年度の第1希望・第2希望いずれも人気園を書いた人の割合は増加しており、特に第2希望については7%増加しました。

表2:「保育の必要性指数」が40点から42点で、かつ0歳から2歳の応募者において人気園を記入した割合

  2021年度 2022年度
第1希望 0.65 0.67
第2希望 0.58 0.65

しかし、独立性のカイ二乗検定(有意水準5%)は、第1希望・第2希望いずれについても棄却されました(p値:第1希望の場合0.53、第2希望の場合0.14)。第2希望についてはp値が低くなっているものの、2021年度と2022年度とで人気園を選ぶ割合について統計的に有意な差があったとは言えません。

ただし、ここで実施した検定が信頼できるものかどうかについては、厳密なRCTで得られたデータではなく、2021年度と2022年度の実際のデータの比較であり、統計的に必要な仮定を飛ばしていることも考えられ、留保が必要です。

また、サンプルサイズが限られており、検出力の限界により制度変更の効果が確認できなかった可能性もあります。もし、「保育の必要性指数」が40点から42点で、かつ0歳から2歳の応募者が何千人もいて、この結果が得られたのであれば統計的に有意となることが考えられますが、今回は全体で数百人程度であるため、統計的に制度変更の効果が確認できなかったということも考えられます。そのため、何も介入効果がなかったということを自信を持って言えるわけではない、ということも付記します。

結論

全体としては、制度の変更前後で応募者の希望が変化したとは結論し難い結果になりました。
一方、「希望施設順位ルール」が適用されやすい、指数が40点から42点で、クラス年齢が0歳から2歳の応募者に絞って比較すると、2021年よりも2022年のほうが人気のある保育所に集中する傾向が見られ、ルールの変更が行動の変化を促した可能性があります。ただし、統計的に有意ではなく、誤差である可能性も否定できません。

また、そもそも「希望施設順位ルール」が応募者にどれほど認知されていたのかということも検討する必要があります。日々の生活で忙しい人たちの中には入所案内を熟読しておらず、ルール変更を見落としていた人もいるかもしれません。

一方、検索エンジンで「保育所 順位」等で調べると、希望施設順位の書き方についてのノウハウが共有がされており、保活に熱心な応募者にのみこのルールが認知されていた可能性があります。

そのため、今回の制度変更により、ルールを熟知している応募者については行動変容を促し、そうではない応募者にはなんの変化もなかった可能性も考えられます。しかし、今回のデータでは「ルールを熟知している応募者」と「そうではない応募者」を判別できておらず、そのような分析は実施できませんでした。

おわりに

多摩市の保育所利用調整制度という実際の制度について、マーケットデザインという学問の観点から「希望施設順位ルール」という問題点を発見し、制度をアップデートした例をご紹介しました。

私たちの保育所マッチングプロジェクトでは、こういった既存制度のアップデートのほか、利用調整の本丸とも言える利用調整アルゴリズムの改良にもUTMDと取り組んでいます。

引き続き、マーケットデザインによる待機児童問題の解消を目指して取り組んでまいります。

参考文献

[1] 安田洋祐, 川越敏司, 小島武仁, 佐藤孝弘, 滝沢弘和,友枝健太郎, 成田悠輔:学校選択制のデザイン: ゲーム理論アプローチ, 叢書「制度を考える」, NTT 出版(2010)

[2] Yan Chen, Tayfun Sönmez, School choice: an experimental study, Journal of Economic Theory, Volume 127, Issue 1, 2006, Pages 202-231

[3] Haeringer, G., 栗野盛光:マーケットデザイン: オークションとマッチングの理論・実践, 中央経済社, 中央経済グループパブリッシング(発売) (2020)

[4] 東京大学教養学部統計学教室:統計学入門, 基礎統計学, 東京大学教養学部統計学教室編, No. 1, 東京大学出版会(1991)

UTMD×サイバーエージェント共催シンポジウムのアーカイブ動画を公開

「官学民連携」による新たな官公庁・地方自治体業務の在り方を検討するシンポジウム「Govtechとマーケットデザイン」を2022年2月24日(木)にオンライン開催いたしました。保育所利用調整ルールについて実証実験に取り組む多摩市・渋谷区の担当のみなさまにもご登壇いただき、官民連携を超えた「官学民連携」による、新たな官公庁・地方自治体業務の在り方について意見交換をいたしました。ぜひアーカイブ動画をご覧ください。

]]>
2021年ノーベル経済学賞の簡単な紹介 https://cyberagent.ai/blog/research/nobelprize2021 Mon, 11 Oct 2021 14:16:00 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=15554 2021年度のノーベル経済学賞はDavid Card, Joshua Angrist, Guido Imbensの3名に贈られました。おめでとうございます!
特にJoshua Angirst氏は東京大学(CREPE)で3日間の集中講義を行った際にAI Labからも参加させていただいたため、非常に親近感がありとても嬉しいです。

プレスリリースのタイトルに「Natural experiments help answer important questions for society」とあることから、因果推論の手法それ自体というよりも、自然実験を社会にとって重要な問いへ適用し、重要な洞察を発見したことへの貢献が考慮されているのだと感じました。

このブログ記事では、受賞した3名の貢献をプレスリリースの要約と共に簡単に解説し、それがデータサイエンティストにとってどんな意味があるのかについて触れたいと思います。

 

(Angrist氏から頂いたサイン)

◎簡単な業績紹介(プレスリリースの要約)

社会科学の疑問の多くは、原因と結果を扱うものです。

例えば、

  • 移民がそのほかの住人の給与や雇用に与える影響は?
  • 教育期間は将来の収入にどう影響するのか?

といった質問に応えるためには、移民や教育期間といった「原因」が、給与や雇用といった「結果」にどのような効果を与えるのかを分析する必要がありますが、これはそれほど簡単ではありません。

なぜなら、

  • もっと移民が少なかったら、住民の給料はどうなっていたのか?
  • 教育を受けていなかったら、その人の収入はどうなっていたのか?

といった「現実には起きなかったこと」は、実際にはデータとして観測されないからです。

今回のノーベル経済学の受賞者たちは、偶然の出来事や政策変更によって、似た状況にある人々が異なる扱いを受けるような状況を利用し、冒頭の疑問に答えることができることを示しました。
こうした偶然の出来事や政策によって生まれる擬似的な実験のような状況を、自然実験(Natural Experiment)と呼びます。彼らはこの自然実験を、医学における臨床試験のように、社会科学上の研究に利用することを編み出しました。

David Card氏は、自然実験を用いて、最低賃金・移民・教育の労働市場への影響を分析しました。1990年代初頭に行われた研究では、最低賃金の引き上げが必ずしも雇用の減少につながらないことなど、従来の常識を覆す新たな洞察をもたらしました。
また、新規の移民は受け入れ国の労働者の所得に全体としてプラスの影響を与える一方、既存移民の所得に対しては負の影響を与える可能性があることを明らかにしました。そのほかには、学生が労働市場で成功を収めるために、学校のリソースがこれまで考えられていたよりもはるかに重要であることも明らかにしました。

自然実験のデータを解釈するのはとても困難です。例えば、あるグループの学生に対し義務教育を1年延長したとしても(他のグループには延長しなかったとしても)、グループの各学生が受ける教育の効果は同じではありません。例えば、義務教育の延長をしなかった場合でも勉強を続けるような学生にとっては、義務教育の価値は他の(不勉強な)学生と異なるはずです。
こうした状況下で、学校教育の効果について、何らかの一般的な結論を出すことは可能なのでしょうか。1990年代半ば、Joshua AngristとGuido Imbensの両氏は、自然実験から原因と結果に関する正確な結論を導き出す方法を開発し、これらの問いに一定の答えを与えました。

経済学賞委員会のPeter Fredriksson委員長は「Card氏の社会的に重要な問題に関する研究と、Angrist氏とImbens氏の方法論的貢献により、自然実験が豊かな知識の源であることが示されました。彼らの研究により、重要な因果関係に関する多くの問いに答えることができるようになり、社会に大きな利益をもたらしました。」と述べています。

(引用元:Press release: The Prize in Economic Sciences 2021, LINK)

 

◎今回受賞対象となった業績が、データサイエンティストにとってどんな意味を持つのか?

今回の受賞者3名の功績は、

  • 明示的にABテストを行っていないデータから、自然実験と呼ばれるあたかもABテストをしていたかのような状況のデータをうまく見つけ出し、そこから因果効果を分析するという枠組みを整理した。
  • その方法を使って社会にとって重要な質問のいくつかに回答を示した。

という2点にあります。

ビジネスの現場でデータサイエンスを行っていると、実験が行われてないような場合にも「原因と結果」に対しての分析を求められることが多くあります。その際、オンライン広告などのデジタル化が進んだビジネス領域であれば、ランダムに抽出した顧客にのみ特定の広告を表示する、といった実験を行うコストが比較的小さいため、単純なABテストによる効果測定によって「原因と結果」を比較的高い精度で識別することができます。

一方で、近年ビジネス上の関心が急速に高まっているデジタル・トランスフォーメーションの現場では、施策の効果測定に関する実務上の制約があることがむしろ普通になっています。例えば実店舗の運営を伴う小売業においては、特定の顧客にのみ特定の価格をオファーする、といったような実験を行うことがそもそも困難です。

こういった状況において、自然実験の概念や受賞者たちが整理してきた手法を知らなければ、多くの場合間違った意思決定へと導くような分析結果を得ることになってしまいます。逆に言えば、受賞者らの整理してきた枠組みを学ぶことで、データサイエンティストにとって回答が可能なビジネス上の疑問の範囲が大きく広がることにもなります。

経済学は昔から自然実験のアプローチを利用してきたわけではありません。1980年代は、データの生成過程を構造方程式として表現する方法が主流でした。こうした手法で得られた結果に対し、実験結果と比較した検証などが行われるようになった結果、従来の方法ではうまく実験の結果を再現できないことが徐々に明らかになってきました。このような状況の中で、今回の受賞者三名は、自然実験をうまく利用した分析方法に関する重要な貢献をいくつも生み出し、経済学のみならず、社会科学全体の発展にに大きなインパクトをもたらしました。

彼らの貢献の多くは、効果を検証したい要素(例えばクーポンや広告)がどのような理由によって割り振りが決まっているか、という部分に着目することで、正確な効果を識別しようとしています。これは分析者が、現実の世界における割り振りの決定ルールや、それを行う人間の考え方などに十分な注意を払い、こうしたバックグラウンドを考慮した分析を行うことを要求しています。今回、三氏の業績に対しノーベル賞が与えられたことで、ビジネス上のドメイン知識に左右されない「スマート」なモデル構築手法やアルゴリズムが重視されがちな現状に対し、社会や人間の意思決定への洞察の重要性について、データサイエンティストが考え直すきっかけになるのではないでしょうか。

◎サイバーエージェントでの関連した取り組み

サイバーエージェントには経済学バックグラウンドのデータサイエンティスト・リサーチャーが多数在籍しており(参考A・参考B・参考C)、ABテストができないような環境において、今回の受賞者の提案してきた手法などを日々実務の中で活用しています。具体的には、小売業におけるポイントプログラムの効果や、広告の表示やクーポンの利用といったパーソナライズされたマーケティング施策の効果を検証する際に、今回の受賞対象となった手法を広く用いながら、適切な因果効果の識別を図っています。

また、これらの手法を実際のビジネスで活用した経験を生かし、ビジネスで利用することを前提とした入門書である「効果検証入門」という書籍の出版や、データサイエンティスト協会で講義を行ったりしています。

そんなサイバーエージェントでは、今後もより広い範囲で経済学のアプローチを利用した分析の活用を想定しています。こういった中で、因果推論や自然実験を前提にした分析を行いたい方だけでなく、そういったタイプの分析者と働いてみたいと思う営業職やMLエンジニアやソフトウェアエンジニアといった幅広い職種の方を募集中です。

興味のある方はカジュアル面談なども可能なので、ぜひお声がけください!

 

執筆者

白木(@mori_kogai)・安井(@housecat442)

]]>
続・Synthetic Difference in Differenceの紹介 https://cyberagent.ai/blog/research/causal_inference/14180/ Tue, 24 Nov 2020 09:51:43 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=14180

こんにちは、経済学チームの安井(@housecat442)です。

丁度去年の今頃にSynthetic Difference in Difference(SDID)という手法の簡単な紹介をこのブログで行ったのですが、先日Susan Athey大先生のtwitterで「Working PaperをMajor Revisionしたよ」っていう話が書かれていました。

丁度DID的な設定での効果の分析を行う必要がある状況だったので、updateされた論文を読み直して使ってみました。

今回は使ってみた感想をいくつか書いてみようと思います。

1. SDIDの利点をおさらいする

SDIDとは結局のところ、Difference in Difference(DID)を行う際に、サンプルに重みをつける方法です。

$$(\hat{\tau}^{SDID}, \hat{\mu}, \hat{\alpha}, \hat{\beta}) = arg min \left( \sum_{i=1}^N \sum_{t=1}^T \left( Y_{it} – \mu – \alpha_i – \beta_t – W_{it} \tau \right)^2 \hat{\omega}^{SDID}_i \hat{\lambda}^{SDID}_t  \right)$$

\( \hat{\omega}^{SDID}_i \hat{\lambda}^{SDID}_t \)はサンプル\(i,t\)の重みを表しています。もし、\(\hat{\omega}^{SDID}_i \hat{\lambda}^{SDID}_t  \)が全ての\(i, t\)に対して1であれば、これはDIDと同じ損失最小化を行っていることになります。

ちなみに、そもそもDIDとは・・・?といった方は拙著の効果検証入門を参照していただけると良いかと思います。

 

\(\hat{\omega}^{SDID}_i \hat{\lambda}^{SDID}_t  \)は見ての通り、二種類の重みの掛け合わせになっています。

1つはユーザーや店舗などの個体間につける重み\(\hat{\omega}^{SDID}_i\)です。こちらは介入が行われる前のデータにおいて、非介入群から介入群をうまく近似できるように正則化付きの誤差最小化問題を解いて重みが算出されます。つまり、介入群の介入されていない時期をうまく予測できる重みを学習していることになります。これは例えば、ある店舗 i は介入群の予測にはあまり寄与しないため非常に小さな重みがつく一方で、別の店舗 j は予測で有用であるために大きな値の重みがつくといった状態です。

もう1つは、時間軸につける重み\(\hat{\lambda}^{SDID}_t\)です。こちらは非介入群において、介入前のデータから介入後のデータをうまく近似できるように、誤差最小化問題を解くことで算出されます。つまり、非介入群において、介入後をうまく予測する重みを学習していることになります。これは例えば、ある時期 t は介入後を予測するためには重要ではないけれども、t + 1は重要なので大きな重みがつくといった状態です。

これら2つの重みを掛け合わせたものが、DIDの回帰分析においてサンプルの重みとして使われます。これら2つの重みは直感的には、

・介入群の反実仮想を予測する上で有用でない個体 i の重みを小さくし、有用な個体の重みは大きくする。

・介入群の介入時の反実仮想を予測する上で有用でない時期 t の重みを小さくし、有用な時期の重みは大きくする。

といったものになります。

このような重みをうまく利用する事で、普通のDIDに対してSDIDでは信頼区間がかなり小さくなることが、論文内では実験的に示されています。これは重みをつけたことでモデルのフィットが良くなったことに起因するとされています。論文内での実験ではSynthetic Controlもほぼ同様の恩恵がありますが、これはおそらく実験に利用された喫煙データにおいて時間間の重みを考慮するメリットがあまり無いことに依存しているのでは無いかなと思います。

Synthetic Control(SC)やCausal Impact(CI)は、同じような状況での利用が想定されている手法です。どちらの手法も基本的には個体間の重みのみを考慮した方法です。SCは最適化問題を解くことで重みを得ており、CIは正則化と状態空間モデルを利用する事で個体間の重要度を調整しています。

 

2. 使ってみた感想

とりあえず使ってみた感想をここに書いてみたいと思います。

 

微妙に周期がブレる周期的なイベントの対応

普段CausalImpactを使っている身からすると、個体間の重みに該当するものはすでに考慮していることが多いので、SDIDの大きな特徴は時系列の重みが追加されている部分にあります。

自分がよく扱うデータには、介入群の値が定期的もしくは不定期に0になるような状況が存在します。

これは例えば何かしらの問題でデータが記録されなかったり、ある期間ではある商品が品切れしていて売り上げが発生しなかったりとさまざまな理由が存在しています。

完全に周期的な現象であればseasonalityを入れることでCausal Impactでも十分に対応できますが、多少のズレが存在するような場合(例えば商品の入荷が火曜日か水曜日だったり)には対処がかなり難しいなーと思っていました。

SDIDでは一度重みの算出を通すことでこの辺りの対応を勝手にやってくれていたので、非常に良かったです。

 

どのタイミングのデータを使うか問題

企業でDID系の分析をする場合、大体どの時期のデータから使うかで悩むことになります。

観測可能な期間自体は長いものの、昔のデータは実際あてにならない可能性が高く、どこから使えば良いのかよくわかりません。

という問題に対しても、一旦思考停止して放り込んでみて、関係なさそうな期間は重みで削られることに期待するということが可能になるのは、割と嬉しいのでは無いでしょうか?

 

データのスケールに依存して結果が変わる

これはDID系のデータは大体そうだと思いますが、重みの算出に正則化を入れることでデータのスケールに対してかなり影響を受けている気がしています。

重み算出時の正則化の値は\(Y_{it} – Y_{i(t-1)}\)の分散を用います。

データのスケールが変数間で大きく異なる場合、スケールの小さい変数の係数は大きめになるため、スケールの小さい変数に対してはかなり強くパラメーターの値が押さえ込まれることになります。この結果、スケールの小さい変数はほぼ考慮されないという状態になってしまいます。

よって、特に何もnormalizeなどをしてなければ、変数の追加や対数を取っただけでもかなり結果が変わってしまいました。

これは一般的なDIDで想定しているような、州ごとやユーザーごとに同一の変数を観測して分析するような場合には、大きな問題とはならないはずです。

しかし、ウェブ企業で用いるような、検索トレンドのデータを\(Y_it\)として扱うような場合には気をつけなければならない問題だと思われます。

 

どの変数を使えば良いのか?

上の問題も相まって、変数を追加すると結構結果が変わってしまいます。

ただその結果の変化が、追加した変数が介入のタイミングで何らかの効果を受けてしまっているからなのか、それとも正則化とかを通じて何か別の変数が考慮されなくなってしまっているかとかが実際よくわかりません。

論文内では介入が行われていなく効果が0になることがわかっている期間を利用してRMSEを測って、DIDやSCとの比較を行っています。このやり方を真似すれば、変数を入れ替えしてRMSEを比較することは可能な気がしています。

しかし、実際にやってみると結構適当な変数を入れるだけでほぼフィットせずに効果の推定値は0になったりするので、この結果を全て信頼するのも少し違う気がしています。

 

3. 使うことがおすすめできる方法か?

とりあえず現状はまだやめておいた方が良い気がしました。

ただ、時系列で色々問題があるデータを扱うような場合には、既存の手法ではうまく対応できないけれども、SDIDでは対応できるという可能性が十分にあると思います。

なので、困ったら使ってみるのが良いのでは無いでしょうか?

ちなみにSDIDのgithubページはこちらにあります。

]]>
【リサーチインターン】最適クリエイティブ数を予測する: UpLift Modelingを使った予測モデルの開発 https://cyberagent.ai/blog/research/economics/12482/ Thu, 26 Mar 2020 09:30:11 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=12482 こんにちは。2020年1月より1か月間、AI Lab Econチームでインターンをしていました浅川です。本稿では、今回のインターンシップ中に取り組んだ「UpLift Modeling を使った最適クリエイティブ数予測モデルの開発」についてご紹介します。

1. 問題設定
天気予報、音楽再生、乗り換え検索。スマートフォンをお使いの方なら、恐らく毎日のように多種多様なアプリを使っていると思います。皆さんの中にはアプリに表示される広告をクリックして、実際に購入したり、店舗に足を運んだりした経験のある方も少なくないと思います。
このアプリ内広告。ご存知の方も多いと思いますが、ほとんどがスマートフォンのアプリを開くと同時に、リアルタイムのオークション(Real Time Bidding, RTB)によって入札され、どの広告主が広告配信できるかが決まります。その後、オークションに勝った広告主は、その配信枠に対して次にどの広告を配信するかを決定します。
通常、ある広告枠に対して、ある広告主から受注した広告の種類は複数あることが一般的です。例えば、ある広告主がセール広告を配信する場合、セール期間中の目玉商品が複数あり、その結果、広告(以下ではクリエイティブと言います)の種類も複数用意されています。
そのため、DSPといわれる広告配信システムはオークションに勝った広告枠に対して、複数あるクリエイティブから最適なものを選ばなければいけません。それだけでなく、あるユーザーに対して、広告主の広告を複数回配信する場合、どのクリエイティブを選択すべきなのかという問題も生じます。例えば、同じユーザーに対して、同じクリエイティブを繰り返して配信すべきなのか、もしくは、異なるクリエイティブを1度ずつ配信すべきなのか、についてはあまり自明ではありません。
このような背景から、今回のインターンでは主に以下のような問題に取り組みました。

・クリエイティブの種類によって広告効果は変わるのか?
・それぞれのユーザーにとって最適なクリエイティブの種類はいくらなのか?
・仮に最適なクリエイティブ数がユーザーによって違う場合、その違いを生み出している特徴量は何なのか?

2. 検証方法
2.1. アップリフトモデリングとは
今回使用したのは、広告効果の予測に広く使われているアップリフトモデリングという手法です(詳細なサーベイはGutierrez and Gerardy 2017を参照のこと)。アップリフトモデリングではまず、データを訓練データとテストデータに分けたのち、訓練データのアウトカム変数 \(Y_i\), 処置変数 \(W_i\), そして特徴量 \(X_i\) を用いて学習器を作成します。ただし、以下表1のように、広告を実際に見た人(\(W_i=1\))が「見ていなかった(\(W_i=0\))」時のアウトカムや、広告を実際は見なかった人(\(W_i=0\))が「見た(\(W_i=1\))」時のアウトカムについては欠損データとして、観察することはできません(因果推論の根本問題)。

表1

そのため、通常はA/Bテストによって、特徴量に由来するバイアスを取り除きます。これによって、特徴量が類似するグループについては \(E[Y_i (1)| W_i=1, X_i] と E[Y_i (0)| W_i=1, X_i]\) の差分を取ることで、グループ\(X_i\) における因果効果を推定することができます。
ここから、因果推論から予測の話に移ります。次に、この学習器を使ってテストデータの\(X_i\) から処置を受けた場合(\(W_i=1\))と受けなかった場合(\(W_i=0\))についてそれぞれ\(Y_i\) の予測値 \(E[Y_i | W_i=1, X_i],E[Y_i | W_i=0, X_i]\)を計算します。ここで得られた\(Y_i\) の予測値について各個人ごとに差分を取ると、以下のように個人レベルの因果効果の予測値\(E[τ_i (X_i )]\)を計算することができます。

$$E[τ_i (X_i )]=E[Y_i | W_i=1, X_i]-E[Y_i | W_i=0, X_i]$$

 これによって予測された個人レベルの因果効果\((τ_i)\)が高い順にユーザーを並べて、より処置効果が高いユーザーのみに処置を当てようというのがアップリフトモデリングの基本的なアイデアになります。

2.2. アップリフトモデリングの利点
アップリフトモデリングを使うことで、特徴量\(X_i\) の情報のみから個人レベルの因果効果\((τ_i)\)を予測することができます。そのため、アップリフトモデリングには以下のような利点があると考えられます。

①何割くらいの人に広告を配信することが最も費用対効果が高いかを推論することができます。
②\(E[τ(X)]\) を用いてユーザーをグループ分けすることで、どのような特徴を持つグループで広告効果が最大になったのかを検討することができます。(c.f. Kawanaka and Moriwaki 2019)
③広告の種類が複数ある状況で、何種類の広告を当てることが広告効果を最大化するのかを検討することができます。(今回のインターンでの取り組み)

2.3. アップリフトモデリングの評価指標
それでは、アップリフトモデリングがうまく個人レベルの因果効果を予測できているかどうかは、どのように評価すればいいのでしょうか。これについて、既存研究ではAUUC (Areas Under the Uplift Curves)を用いて評価することが一般的です(詳細はRzepakowski and Jaroszewicz 2012を参照のこと)。以下では、簡単にAUUCの計算方法を紹介します。

①訓練データ\({Y_i, W_i, X_i}\)を使って\(τ_i\) を予測する学習器を作成し、テストデータの\(X_iから\widehat{\tau_i}\left(X_i\right)\)を予測します。
②\(\widehat{\tau_i}\left(X_i\right)\) が大きい順にサンプルを並べます。
③テストデータの\({Y_i, W_i }\)を使って個人 \(i\) までのCVR(コンバージョン率)を処置群、統制群それぞれについて計算し、差分を個人 \(i\) の時点でのアップリフト (\(Lift_i\))とします。
④ランダムにサンプルを並べた時の個人 \(i\) の時点での CVRを\(Baseline_i\)とします。
⑤最後にアップリフトカーブ (\(Lift_i\))とベースラインカーブ (\(Baseline_i\))の差分をとり、その総和をAUUCとします。

うまく個人レベルの因果効果が予測できている場合、アップリフトカーブの形状は以下のようになります。具体的に、原点から順に累積の因果効果が高くなり、ピークの点を境に累積の因果効果が低下していくような形状となることが理想とされます。以下図1の例の場合は、全体のうち約25%で累積の因果効果が最も高くなるため、全体のうち約25%のユーザーに広告を当てればいいと結論づけることができます。


 図1

3. 観察データにおけるアップリフトモデリング
3.1. 観察データを用いる場合の問題点
2.1で述べたように、通常、アップリフトモデリングはA/Bテストを用いたRCTを前提としています。しかしながら、広告データの分析では、仮に広告を配信するグループ(処置群)か否かをランダムに分類した場合でも、広告が配信されるかどうかは広告の配信期間中に対象となるアプリを使用した頻度や競合他社とのオークションの勝敗によって決まるため、配信グループに必ずしも広告が配信されるかどうか(実際に処置を受けたかどうか)は定かではありません。そのため、個人レベルの因果効果を推定するためには、処置群の中でその個人が実際にどれくらい処置を受けやすいかを補正する必要があります。

3.2. 傾向スコアを用いた補正方法
先行研究(Athey and Imbens 2015, Gutierrez and Gerardy 2017など参照のこと)でも提唱されているように、トリートメントが1種類の場合は傾向スコア \(p ̂(X_i)\) で処置の有無を逆重み付けすることで、処置の受けやすさを補正した上で個人レベルの因果効果\(\widehat{\tau_i}\left(X_i\right)\) を予測することができます。

$$Y_i^*=Y_i (1)\frac{ W_i}{p ̂(X_i)}+Y_i (0)\frac{1-W_i}{1-p ̂(X_i)}$$

$$E[Y_i^* |X_i]=τ ̂(X_i)$$

この場合、\(E[Y_i^* |X_i]\) を予め学習しておくことで未知の\(X_i\) についても\(\widehat{\tau_i}\left(X_i\right)\) の予測ができます。

3.3. トリートメントが複数ある場合の傾向スコアを用いた補正方法
今回のように、クリエイティブの種類が複数ある、つまりトリートメントが複数ある場合、3.2のような手法をそのまま使うことはできません。なぜなら、処置を受けるか受けないかに加えて、全体の中である処置\( T\) を受ける確率で処置の有無を逆重み付けする必要があるからです。本研究では、Imbens (2000) やFeng et al (2012)などで提案されている一般化傾向スコア(GPS)を用いて逆重み付けすることを試みました。これによって、ある処置の受けやすさを補正した上で個人レベルの因果効果\(τ^{GPS} (X_i)\)を予測できるようになります。

$$Y_i^{GPS} (t)=Y_i (1) \frac{W_i ∑_{T=0}^Mr(T,X_i)}{r(T=t,X_i)}+Y_i (0) \frac{(1-W_i)∑_{T=0}^Mr(T,X_i)}{r(0,X_i)}$$

$$E[Y_i^{GPS} |X_i]=τ^{GPS} (X_i)$$

$$Where ∑_{T=0}^Mr(T,X_i)=1$$

なお、今回は傾向スコアの推定に、広く使われているロジスティック回帰を使用しました。その上で、個人レベルの因果効果を予測する際には、最小2乗推定を使用しました。

4. 使用データの構成と特徴

・今回使用したのは、実際の広告データです。
・配信期間最終日の時点で実際に店舗に行っていたら1をとるダミー変数を、今回はアウトカムとして利用します。

実際にそれぞれのユーザーは何種類のクリエイティブを見ていたのでしょうか?以下に示すのは、実際に見たクリエイティブ数について描いたヒストグラムを描いたものです。これによると、ほどんどのユーザーが1種類しかクリエイティブを見なかったことがわかります。次の節では、広告効果を最も高くするために、各ユーザーにとって実際は何種類のクリエイティブを見ることが良かったのかについて議論を行います。


図2

5. 結果
まず、AUUCの数値からアップリフトカーブがうまくかけているかを検証していきます。
① クリエイティブが1種類の場合


図3

アップリフトカーブはうまくかけていると考えられます。広告効果が最も高くなった位置(累積相対度数)はアップリフトスコア上位約10%でした。

② クリエイティブが2種類の場合


図4

このケースもアップリフトカーブもうまくかけていると考えられます。広告効果が最も高くなった累積相対度数はアップリフトスコア上位約22.5%でした。

③ クリエイティブが3種類の場合


図5

AUUCはマイナスで、アップリフトカーブは1,500,000人を境にベースラインを下回っています。ここから、クリエイティブが3種類の場合は広告の効果が逆に効いてしまう状況がみてとれます。なお、広告効果が最も高くなった累積相対度数はアップリフトスコア上位約20%でした。

④ クリエイティブが4〜7種類の場合
クリエイティブ数が4〜7種類については、すべて同様の形状でありかつ、アップリフトカーブもうまくかけていたため、図示は省略します。

以上の結果をまとめたものが以下の表になります。なお、累積相対度数が最も高くなったのはクリエイティブ数が2と6のケース。累積相対度数が最少となったのはクリエイティブ数が7のケースでした。

表2

 

最後に、①〜④より作成した予測モデルを使って、各個人についてクリエイティブ数が0〜7だった場合の反実仮想的な広告効果をそれぞれ予測しました。そのうち、各個人の中で最も広告効果(アップリフト)が高かったものを最適クリエイティブ数として、以下にヒストグラムを描きました。


図6

 実際に閲覧されたクリエイティブ数のヒストグラム(図2)と比較すると、特にクリエイティブ数が6種類のところで、頻度が大幅に増加しています。このことから、最適クリエイティブ数は6にも関わらず、ほとんどのユーザーはそこまで多くの種類のクリエイティブ数を閲覧できていないことが分かりました。

6. 最後に
今回のインターンシップはAI Lab Econチームの森脇さんからの紹介で実現しました。
序盤は機械学習やPythonなど、基本的な知識の習得に必死でしたが、実装や理論で分からない部分は気軽にラボの皆さんに相談できたので、スムーズに研究に取り組むことができました。メンターの森脇さんには、毎日最低30分のMTGの時間を割いていただき、研究テーマに関するディスカッションに加えて、研究生活を送る上で重要な様々なことを教えていただきました。また、社内には経済学をバックグラウンドとする社員も複数人いて、ディスカッションを通じて、非常に多くの刺激を受けることができました。
最後になりますが、これまで、就活はおろかインターンシップさえ経験したことが無かった私に文字通り0から、成長する機会を与えてくださったラボメンバーの皆さんには感謝の気持ちでいっぱいです。1ヶ月間という短い期間でしたが、本当にお世話になりました。ありがとうございました。

参考文献
Athey, S., & Imbens, G. W. (2015). Machine learning methods for estimating heterogeneous causal effects. stat, 1050(5), 1-26.

Feng, P., Zhou, X. H., Zou, Q. M., Fan, M. Y., & Li, X. S. (2012). Generalized propensity score for estimating the average treatment effect of multiple treatments. Statistics in medicine, 31(7), 681-697.

Gutierrez, P., & Gérardy, J. Y. (2017, July). Causal inference and uplift modelling: A review of the literature. In International Conference on Predictive Applications and APIs (pp. 1-13).

Imbens, G. W. (2000). The role of the propensity score in estimating dose-response functions. Biometrika, 87(3), 706-710.

Kawanaka, S., & Moriwaki, D. (2019, November). Uplift modeling for location-based online advertising. In Proceedings of the 3rd ACM SIGSPATIAL International Workshop on Location-based Recommendations, Geosocial Networks and Geoadvertising (pp. 1-4).

Rzepakowski, P., & Jaroszewicz, S. (2012). Decision trees for uplift modeling with single and multiple treatments. Knowledge and Information Systems, 32(2), 303-327.

]]>
NetSciX2020に参加しました https://cyberagent.ai/blog/no_use/participant_report/11859/ Wed, 05 Feb 2020 03:32:15 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=11859 AI Labの森脇です。

1月20日からNetSciと並ぶネットワークサイエンスの代表的なカンファレンスであるNetSciXが早稲田大学で開催されました。

私は聴講だったのですが、昨年夏のAI Lab博士課程インターンに参加していただいた南カリフォルニア大学の松井暉さんが初日にポスター発表をされました。

Mr.Matui

この研究は、消費パターンにどのようなデモグラフィックな(人口統計学的な)属性が現れているかを調べるために、テンソル分解という機械学習の手法を使って、データから消費パターンを抽出し、デモグラフィックな情報との関係性を分析していました。

また、サイバーエージェントからは、秋葉原ラボの高野や武内もポスター発表しました。

招待講演

今回の目玉はなんといっても3日めのバラバシ教授[wikipedia]の招待講演です。

barabasi

バラバシ教授の名前は、ベストセラー「ザ・フォーミュラ」で一般にも知れ渡っていると思いますが、現在のネットワークサイエンスの隆盛の礎を築いた方です。講演は、ネットワークサイエンスの試みの中で特にネットワークをコントロールすることに重点をおいたものでした。ここでネットワークと言っているものは、自動車の数千もの部品に分解した図であるとか、企業間ネットワークであるとか、ニューロンのつながりであるとか、ありとあらゆるものを指します。

ネットワークをコントロールできるかどうか(=制御可能性)というのは、小さいネットワークであれば理論的に特定できるそうですが、大きなネットワークだと計算コストがかかりすぎるため、近似的なアルゴリズムを用いる必要があります。バラバシ教授らのNature論文は、現実のネットワークにおける制御可能性の分析ツールを開発した上で、どのようなネットワークがコントロールしやすいのかを示しています。

バラバシ教授らは、さらにC.エレガンスという小さな線虫を用いた実験で制御可能性の理論を実証していました。C.エレガンスは非常に単純な生物で、外部から刺激を与えるとそこから逃げるように運動します。この刺激−反応の関係は、感覚器から受け取った入力をいくつかのニューロンを介して筋肉の動作として出力するまでの一連のネットワークと解釈できます。研究では、生物学者らとタッグを組んで、Cエレガンスの行動とニューロンのネットワークを実験によって分析していました。ネットワークという切り口でありとあらゆる現象を分析する観点だけでなく、情報系から生物系まであらゆる分野の研究者と共同して研究を進めてきたすがたに圧倒されました。

FinEcoNets

最終日の1月23日は、経済や金融におけるネットワークに関する研究をあつめたWork shop on Financial and Economic Networks (FinEcoNets)が開催されました。

冒頭にゲーム理論の大家である東京大学の神取道彦教授の講演がありました。

 

残念ながら私自身は最後の方しか出席できなかったのですが、松井さんが代わりにレポートを書いてくれたのでここに紹介します。

OLG繰り返しゲームが労働組合員間での協力メカニズムを説明するご自身(S. Obayashiと共著)の研究発表でした。

まず、ネットワークサイエンティストにゲーム理論の分野の1つである繰り返しゲームについて簡単な説明を行い、どのようにして理論を現実世界で説明するかという視点で研究を議論されていました。

現実社会の例として、労働組合において組合員同士の協力が行われている点を指摘され、実証的にどのようなメカニズムが協力を生み出すのかをいくつかの仮説を検証しながら分析していました。

いくつかの対立する仮説を分析した結果、OLG繰り返しゲームが労働組合員間での協力メカニズムを説明しうることを報告され、最後には聴衆からはネットワークサイエンスの視点から多くの議論/質問が行われました。

今回の発表では、サーベイとインタビュー調査によるデータ取得によって協力関係のネットワークデータを作った点、対立する仮説を丹念に検証されている点が印象に残りました。

 私は最後の質疑部分に間に合ったのですが、神取先生から会場に対してネットワークサイエンス的に刺さる研究はどのようなものかと逆質問していたのが印象に残りました。

このワークショップでは、他にも早稲田大学の戸堂康之教授から生産性や災害等のショックに対する強靱性などと、各企業や個人がもつネットワークとの関係性についての一連の研究が示されるなど、様々な経済、金融データをネットワーク的視点からみた研究が発表されており、非常に刺激になりました。

3日目のバンケットではバラバシ教授、大会委員長の佐山弘樹教授と写真をとってもらいました!

ネットワークサイエンスど素人の私と気軽に写真をとってくれるネットワークサイエンスコミュニティの温かさに感動したカンファレンスでした!

]]>
日本経済学会秋季大会に参加しました! https://cyberagent.ai/blog/no_use/participant_report/10266/ Thu, 17 Oct 2019 06:00:41 +0000 https://cyberagent.ai/research/?p=2910 10月13日に開催された日本経済学会秋季大会@神戸大学に参加してきましたのでその内容を報告します。

日本経済学会は春と秋の年2回年次大会を開催しており、日本全国そして海外から経済学研究者が集合し、2日間かけて多数の分野別のセッションや、企画セッション、特別講演などが行われます。

今回は、台風19号の影響で2日めの13日のみの開催となりました。

そのため事前に予定していたイベントのうち、弊社企画セッションは中止となりましたが、若手セッション、パネル討論「企業の中の経済学」での登壇、そしてブース出展を行うことができました。

ブース出展

ブースでは、大学教員、院生の方々に多数お越しいただき、弊社の研究活動やその内容について紹介、議論することができました。企業がどのようなデータを使って研究しているのか、また企業での研究に必要なスキルはなにか、などについてご関心をもっていただけたようでした。

若手セッション

若手セッションでは、AILab経済学チームリーダーの安井が登壇し、若手経済学者が国内テック企業で就職する際の現状について解説を行いました。企業における経済学徒の認識の現状などについて様々な質問を頂きました。

パネル討論

また、パネルセッション「企業の中の経済学」では、大阪大学の大竹文雄教授のファシリテーションの下、東京大学の渡辺安虎教授、Yale大学の成田悠輔助教授、ZOZO研究所の松谷恵ディレクター、弊社取締役内藤が登壇し、現状の経済学の企業内での立ち位置や今後さらに企業内で経済学の活用が進むために必要な条件について率直な意見交換がなされました。

成田先生からは、機械学習に比して低調な経済学の実ビジネスでの応用がどうすれば爆発的に広まるのかについてご提案があった一方、渡辺先生からはテックジャイアントでのご経験に基づき、経済学のスキルの活かせるのは、日々のオペレーションに直接的に関わる機械学習エンジニアとは違って、データが限定される中でも重要な判断をしなければならないといった、より上流の意思決定の場面にあるのではないかという指摘がありました。ZOZOの松谷さんと弊社の内藤からはビジネスサイドから実態について説明がありました。

「企業の中の経済学」というタイトルに沿ってまとめると、現状は一部のテックジャイアントを除けば、経済学(者)は使いどころがよくわからない存在になっているので、経済学側は企業サイドへのアピールが不可欠であり、企業側は説得的な実例を作っていくことが大事ということでした。我々企業内経済学系リサーチャーは実績を作るためにも頑張っていく必要があると思いました。全体を通して大竹先生の軽妙なファシリによって和やかで楽しい雰囲気のパネルになっていてとても楽しかったです。

おわりに

日経学会には、2016年の名古屋大学で発表して以来何度も参加していますが、毎回来るたびに日本の経済学コミュニティの密度の濃さ、暖かさを感じます。今回できなかった企画セッションについては日を改めて実施したいと思っております。どうぞよろしくおねがいします。

]]>