皆さん始めまして、AILabで計量経済学を利用した研究を行っている安井（@housecat442）と言います。

今回は5/21-23の間に東京大学政策評価研究教育センター(CREPE)様の主催で行われた、「Mastering ‘Metrics: Empirical Strategies for Policy Analysis」というセミナーへ参加させて頂きましたので、その報告が出来ればと思います。

今回のセミナーでいうPolicy Analysisとは、特定の政策に効果があったのかを検証する事であり、例えば「学校のクラスのサイズを小さくする事で生徒の成績が上がるのか？」といったような疑問に答えるためのデータ分析の作法を必要とします。はたしてこれが、AILabで普段から扱われている機械学習やインターネット広告との関係性がはたしてあるのか？という疑問を持たれるかと思います。

その疑問は後程解消するとして、Policy Analysisにおけるデータの問題点についてまずは説明します。
先程の学校のクラスサイズの効果を知るために最も信頼出来る評価方法はRandomized Controlled Trial(RCT/ABtest)を実施してしまう事です。しかしRCTは多大なコストが掛かる為にデータとして入手する事は非常に難しいのが現実です。よって、RCTを行っていないデータに基づいて効果を評価したいというモチベーションが発生します。

しかし、RCTの様な実験を行っていない状態では、関係者が自分の目的を達成する為に行動を起こした結果のデータしか手に入りません。
例えば、学校の先生であれば成績の悪い生徒を何とかしてあげたいと思う気持ちから、成績の悪い生徒を集めて少人数クラスを形成するといった事が起きます。この状況から入手されるデータを単純に分析してしまうと、元々成績の悪い生徒が少人数クラスに集まってしまう為に、「少人数クラスは成績に対して悪影響がある」という結論をもたらしてしまいます。

つまり、実験を行っていないデータを非常に単純な方法・思想で分析する事は間違った結論に導いてしまい、多大なる機会費用を発生させる可能性があるという事になります。
今回参加したセミナーでは、この様な政策の評価に置いて非常に多くの実績と知見を持つJoshua Angrist(Master Joshway)先生がレクチャーを行い、この様な状態のデータに対してどの様なアイデアや方法論を用いればより正しい結論へ近づけるのか？という訓練が参加者に対して行われました。

(右が著書のMastering Metricsに出てくるMaster Joshwayで、左がMaste Stevefu)

レクチャーの内容は「RCTが何故優れた効果検証の方法であるのか？」という説明から始まり、RCT以外のデータで起きる問題の定義を行い、それが回帰分析・傾向スコア・操作変数法といった方法でどの様に解決できるのかという説明が一通り行われました。全ての説明が非常に簡潔で、紹介される手法を使いたいモチベーションが非常にクリアだったのはさすがMaster Joshwayといった感じでした。

ちなみに今回のレクチャーの内容はMaster Joshwayが書いたMastering Metricsに基づいているため、気になる方は是非読まれることをお勧めします。
また、AEA 2017でのより詳細の内容が盛り込まれたレクチャーは動画も公開されているので、英語が大丈夫な方はこちらも観ると良いと思います。

アドテクスタジオでは現在様々な機械学習技術が導入されおり、そのほとんどの利用用途が”意思決定の自動化”にあります。例えば広告を出す際に画像Aを出すべきかBを出すべきかといった意思決定を短い時間の間に大量に行う事を機械学習を使って実行しています。

この場合、意思決定は報酬、つまりクリックや売上の最大化の為に行われているために、RCTとは大きな乖離のあるログデータを残す事になります。よって、このような状態で発生するデータから「どちらの画像の方がどの程度良かったのか？」というレポートを単純な分析で行ってしまうと、前述した通り大きな機会損失が発生する事になります。この様なモチベーションからPolicy Analysisで使われる様な方法論を持ち込んで、より適正な分析を機械学習が普遍的に利用されている環境に置いて達成したいと考えています。

この観点からAILabでは機械学習の知識を前提として、Policy Analysisの視点を持って、機械学習の残したログを分析するという研究活動を行っています。そういった意味で、今回のレクチャーは非常に参考になるお話が多く、学ぶものが非常に多かったです。