バンディットアルゴリズム | AI tech studio https://cyberagent.ai AI事業本部は、サイバーエージェントグループのデジタルマーケティング分野におけるサービス開発を行う組織です。 Tue, 25 Jun 2024 06:05:04 +0000 ja hourly 1 https://wordpress.org/?v=5.3.26 【採択論文紹介】A/Bテストにおいて最適な手法は何か? (ICML2024) https://cyberagent.ai/blog/pr/intern/19671/ Tue, 25 Jun 2024 06:05:04 +0000 https://ai-blog-admin.cyberagent.ai/?post_type=blog&p=19671

\(\newcommand{\bm}[1]{\boldsymbol{#1}}\newcommand\bmu{\bm{\mu}}\newcommand{\argmax}{\text{argmax}}\newcommand{\PP}{\mathbb{P}}\newcommand{\EE}{\mathbb{E}} \)AI Lab 強化学習チームの蟻生開人です。本記事では、二腕固定予算最適腕識別(A/Bテスト)における最適な手法について考察を行った論文を紹介します。昨年夏のAI Lab リサーチインターンシップでスウェーデン王立工科大学(KTH)博士課程のPo-An Wangさんが取り組んだもので、その成果がICML 2024に採択されました。

On Universally Optimal Algorithms for A/B Testing
Po-An Wang, Kaito Ariu, Alexandre Proutiere
International Conference on Machine Learning (ICML) 2024

はじめに

A/Bテストは、Webマーケティングなどで一般的に用いられる手法で、ユーザーの反応に基づいて最適な施策を見つけ出すために利用されます。具体例として、ウェブサイトのUI最適化を考えます。ここでは2つのUI候補AとBがあり、どちらのUIがより効果的かを検証したいとします。ユーザーから得ることのできる反応の総数を\(T\)回とします。

通常のA/Bテストでは、UI候補AとUI候補Bに対してそれぞれ50%ずつ、つまり\(T/2\)回ずつ固定割合で割り当てて反応を集めます。そして、肯定的な反応がより多く得られたUI候補を良いUIとして採用する形式が一般的です。一方で、このA/Bテストを逐次的意思決定問題として捉え、テスト中に得られたユーザー反応に基づいて各施策への割り当てを適応的に変える方法もあります。

しかし、これまでの研究では、このような適応的な割り当てが実際にどの程度効果的であるかは明らかにされていませんでした。本研究では、特定の状況下で施策の適応的な割り当てが結果を改善しないことを理論的および実験的に明らかにしました。

問題設定

本論文の問題設定を述べます。ベルヌーイ報酬下の二腕固定予算最適腕識別問題を考察します。この問題では、アルゴリズムは各時刻ごとにサンプルする腕を一本選び、選んだ腕に対応する報酬を観測することを\(T\)回繰り返します。\(T\)回の観測の後、アルゴリズムは期待値が最も高い腕(最適腕)を推定して出力します。

図1 ベルヌーイ報酬下の二腕固定予算最適腕識別問題の概略図。

各腕\(k \in \{1,2\}\)に対して、\(\mu_k \in (0,1)\)をその腕の期待値とします。当然、アルゴリズムは\(\bmu:= (\mu_1, \mu_2)\)の値について未知であるとします。最適腕は一つだけである、つまりは\(\mu_1 \neq \mu_2\)と仮定し、そのような腕の期待値の全組み合わせを\(\Lambda =\{\bmu \in (0,1)^2 : \mu_1 \neq \mu_2\} \)とします。固定予算最適腕識別問題としてA/Bテストを捉えた場合、アルゴリズムはサンプリングルール、および決定ルールの二つの要素で構成されます。サンプリングルールでは各\(t=1,2,\ldots,T\)ごとに、観測する腕\(A_t\)を過去の観測情報を元にして決めます。決定ルールは\(T\)回の観測が終了した後に、過去の観測情報を元に出力する腕\( \hat{\imath} \in \{1,2\}\)を決めます。期待値\(\bmu\)下での最適腕を\(1(\bmu) = \argmax_{k=1,2}\mu_k\)と表記します。今回の研究では、出力した腕が最適腕でない確率、つまりは誤り確率: $$p_{\bmu, T}:=\PP_{\bmu}\left[\hat{\imath}\neq 1(\bmu)\right]$$がなるべく小さくなるような手法について考察を行いました。

静的なアルゴリズムについて

この問題に対して適用できるシンプルなアルゴリズムとして、腕1と腕2を観測する量を事前に固定してサンプリングする、静的なアルゴリズムがあります。静的なアルゴリズムではサンプリングルールが観測情報に依存しません。特に、二腕の場合にはパラメタ\(x \in (0,1)\)にて腕2を観測する回数の割合を表現することによって、アルゴリズムを記述することができます。このとき、アルゴリズムは腕1を約\((1-x)T \)回、腕2を約\(xT \)回観測し、経験平均の値が大きな腕を出力します。

このような静的なアルゴリズムを固定予算最適腕識別問題に適用した際の(\(T \to \infty\)とする漸近的な)性能はよく知られています[1]。以下の関数を定義します:$$g(x, \bmu) := \min_{\lambda \in [0,1]} (1-x)d(\lambda ,\mu_1)+x d(\lambda,\mu_2).$$ここで、\( d(a,b) := a \ln (a/b) + (1-a)\ln ((1-a)/(1-b))\)は期待値が\(a\)および\(b\)であるベルヌーイ分布間のKLダイバージェンスです。以上の元で、静的なアルゴリズムの誤り確率は$$\lim_{T\rightarrow\infty} \frac{T}{\log(1/p_{\bmu,T})}=\frac{1}{g(x,\bmu)}$$という性質を満たします。この等式は、\(T\)が大きくなるにつれて、誤り確率 \(p_{\bmu,T}\) が \(e^{-g(x,\bmu)T}\) に近づき、\(T\)に対して指数的に減少することを示唆しています。\(g(x, \bmu)\)の値が大きいほど、\(p_{\bmu,T}\)の値は小さくなり、性能の良いアルゴリズムであることが分かります。特に、腕1と腕2を引く割合がともに\(1/2\)であるアルゴリズム(\(x=1/2\)としたアルゴリズム)を一様サンプリングと呼称し、その性能は$$\lim_{T\rightarrow\infty} \frac{T}{\log(1/p_{\bmu,T})}=\frac{1}{g(1/2,\bmu)}$$となります。

次に、任意の固定された\(\bmu \in \Lambda\)に対して、\(x\)の値を変化させることによって\(g(x, \bmu)\)を最大化することを考えます。\(g(x, \bmu)\)は\(x\)の関数として見ると強凹関数です。そのため、\(g(x, \bmu)\)には最大値を与える唯一の点\( x^*(\bmu)\)が存在します。また、関数\(g(x, \bmu)\)の形状および\( x^*(\bmu)\)は\(\bmu:=(\mu_1, \mu_2)\)の値によって変化することが分かります。この事実を図で見てみます。

図2 関数\(g(x, \bmu)\)の性質の視覚化([2], Figure 2より)。(左)各期待値\(\bmu=(\mu_1, \mu_2)\)において、\(g(x, \bmu)\)を最大化する\(x^*(\bmu)\)の視覚化。\(x^*(\bmu)\)の値が1/2よりも大きい領域を青色で、 \(x^*(\bmu)\)の値が1/2よりも小さい領域を赤色で図示する。 (右) 代表的な\(\bmu\)における\(g(x, \bmu)\)の関数形の図示。

ほとんどの\(\bmu\)において、\(g(x,\bmu)\)を最大化するような腕2を引く割合\( x^*(\bmu)\)は1/2とは異なります。\( x^*(\bmu)\)の値さえ判明していれば、\(g(x^*(\bmu),\bmu)> g(1/2,\bmu)\)となり、静的なアルゴリズムの性能は一様サンプリングよりも良くなることが分かります。当然、そのような\( x^*(\bmu)\)の値は、本来未知である腕の期待値\( \bmu\)の値に依存しており、事前に最適な値を知ることはできません。しかしながら、最適腕識別のサンプリングルールでは過去の観測情報を用いて、動的に腕1と腕2を観測する量を変化させることが可能です。動的なサンプリングルールは性能向上にどの程度寄与するでしょうか。

主結果

論文における主結果を述べるために、一様サンプリングより良い、あるいは同等とされるアルゴリズムのクラスを定義します。あるA/Bテストのアルゴリズムが存在するとき、そのアルゴリズムの性能は任意の\( \bmu \in \Lambda\)に対して一様サンプリングより良いか、同程度の性能であってほしいと考えるのは自然です。そのため、一様サンプリングより良いアルゴリズムを、以下を満たすアルゴリズムとして定義します:$$\forall \bmu\in \Lambda, \quad \limsup_{T\rightarrow \infty} \frac{T}{\log (1/p_{\bmu,T})}\le \frac{1}{g(1/2,\bmu)}.$$ 本論文の主結果は次の定理となります。

定理: 任意の一様サンプリングより良いアルゴリズムに対して、以下が成り立つ:$$ \forall \bmu\in \Lambda,\quad \lim_{T\rightarrow \infty} \frac{T}{\log (1/p_{\bmu,T})}=\frac{1}{g(1/2,\bmu)}.$$

つまり、「任意の報酬の期待値\( \bmu \)に対して一様サンプリングよりも厳密に性能が良い」という性質を持ったアルゴリズムを構築することは不可能であることを示しています。これは、あるアルゴリズムの性能について、特定の\( \bmu \)に対して一様サンプリングよりも厳密に良い性能を示す場合でも、必ず別の\( \bmu’ \)が存在し、その\( \bmu’ \)の元では一様サンプリングよりも厳密に性能が悪くなることを示唆しています。

静的なアルゴリズムの例では、ある\( \bmu\)に対して最適な割合を設定した場合、別の\(\bmu’ \in \Lambda\)が存在し、その\(\bmu’\)においてアルゴリズムの性能が一様サンプリングよりも悪化します。上記の定理は、そのような性能悪化が任意の動的なアルゴリズムに対しても発生し、動的なサンプリングルールが性能向上に寄与しないことを明らかにしています。

証明について

ここでは定理の証明の流れについて、簡単に紹介したいと思います。証明ではまず、自然なアルゴリズムが持つ安定性という性質を発見し、それを利用しています。安定性の厳密な定義についてはここでは省略しますが、直観的には、安定性を持つアルゴリズムは期待値\( \bmu \)に対して対称的かつ連続的な挙動を示すアルゴリズムです。対称的とは、もし\( \mu_1 \approx \mu_2 \)であるならば、腕1と腕2とを引く割合がともに\(1/2\)に近くなるという性質です。連続的とは、もし二つの期待値\(\bmu\)と\(\bmu’\)が近い値(\(\bmu \approx\bmu’\))ならば、腕1と腕2とを引く割合が\(\bmu\)と\(\bmu’\)の間で近くなるという性質です。

さて、任意の安定性を持ったアルゴリズムに対して、その性能が一様サンプリングよりも同等か劣ることを、測度変換の議論[3]を用いて証明することができます。

定理1: 任意の安定性を持つアルゴリズムに対して、以下が成り立つ:$$ \forall \bmu\in \Lambda,\quad \lim_{T\rightarrow \infty} \frac{T}{\log (1/p_{\bmu,T})}\ge\frac{1}{g(1/2,\bmu)}.$$

安定性を持たないアルゴリズムが「不自然な」アルゴリズムであることは、一様サンプリングよりもそのアルゴリズムの性能が悪化する\( \bmu’ \in\Lambda\)が存在することを証明することで示されます。

定理2: 任意の一様サンプリングより良いアルゴリズムは安定性を持つ。

上記の二つの定理から、主結果を得ることができます。

おわりに

本インターンシップは一様サンプリングよりも優れた性能を持つA/Bテスト手法を構築することをテーマに開始しました。しかし、研究を進める中でその困難さに直面し、最終的にはその非存在性を証明する方向へとシフトしました。活発で発見に満ちた議論は非常に楽しく、Po-Anさんをインターンとして迎えられたことは、メンターとして非常に喜ばしい経験でした。

取り組んだ問題は非常にシンプルな設定でありながら、未解決の問題が多く残されており、今後の発展が期待される分野です。AI Lab強化学習チームでは、このような強化学習の基礎的な研究にも積極的に取り組んでいます。

また、博士課程の学生を主な対象としたリサーチインターンや、共同研究なども募集しています。興味がありましたら、ぜひお気軽にご連絡ください。

参考文献

[1] Glynn, P. and Juneja, S. A large deviations perspective on ordinal optimization. In Proc. of the 2004 Winter Simulation Conference, 2004.

[2] Wang, P. A., Ariu, K., and Proutiere, A, On Universally Optimal Algorithms for A/B Testing. In Proc. of ICML, 2024.

[3] Garivier, A., Menard, P., and Stoltz, G. Explore first, exploit next: The true shape of regret in bandit problems. Mathematics of Operations Research, 44(2):377–399, 2019.


 

1, 2 非公式なstatementとなります。厳密な定理の内容は論文をご覧ください。↩ ↩

 

]]>
Successive Halvingの性能解析 https://cyberagent.ai/blog/research/1036/ Fri, 14 Dec 2018 09:55:43 +0000 https://cyberagent.ai/research/?p=1036 AI Labの阿部です.

つい最近Preferred Networks社から機械学習のハイパーパラメータ最適化フレームワークOptunaが公開されたこともあってハイパーパラメータ最適化が注目を集めていますね!

機械学習のハイパーパラメータ最適化の代表的な手法といえば,TPE[Bergstra et al., 2011],SMAC[Hutter et al. 2011],Hyperband[Li et al., 2018]などが挙げられます.

今回は,HyperbandのアルゴリズムのベースとなっているSuccessive Halving[Jamieson et al., 2015]という手法について解説してみたいと思います.

Successive Halving

Successive Halvingはハイパーパラメータ最適化を多腕バンディット問題の最適腕識別として考え,より良いハイパーパラメータほど多くの学習時間を割り当てる手法です.

現在,ハイパーパラメータ最適化では
1. 候補となるハイパーパラメータをサンプルする
2. そのハイパーパラメータを実際に用いて学習をさせてみる
3. 学習後のモデルを評価する1

という流れを繰り返すことが一般的となっています.しかし,モデルを1回学習させるためには多くの時間がかかるため,サンプルしたハイパーパラメータの分だけ学習を実行しなければいけないとなると,非常に多くの実行時間が必要になってしまいます.

そこで,Successive Halvingでは,
1. 候補となるハイパーパラメータに対して学習を途中まで進める
2. その段階で評価値が悪いハイパーパラメータの下位半分を候補から削除する
3. 残ったハイパーパラメータに対して学習を継続する
という流れを繰り返します.これによって,評価値が悪そうなハイパーパラメータに関しては学習を早期で打ち切ることができ,余計な学習を行わないで評価値が良さそうなハイパーパラメータにだけ多くの学習時間を割り当てることができるため,実行時間的に効率が良くなることが期待されます.

アルゴリズム

Successive Halvingの具体的なアルゴリズムは,以下のようになっています.

Budget \(B\)は,総学習時間に当たり,例えば総epoch数やバッチ更新を行う総回数を指定します.つまり,Successive Halvingでは,学習を実行できる総時間が決まっていて,その時間を各ハイパーパラメータに対して割り当てる,ということを行っています.

また,\(l_{i,k}\)は,\(i\)番目のハイパーパラメータに対する学習を\(k\) iteration分だけ進めたときの評価値を表しています.

\(n\)個のハイパーパラメータの候補の生成方法は明確には指定されていませんが,例えば,ハイパーパラメータの空間から一様ランダムに\(n\)個サンプルする,という方法を取ることが多いです.

多くのハイパーパラメータ最適化手法では「評価値が良さそうなところに新たなハイパーパラメータの候補をサンプルする」ということを行いますが,Successive Halvingでは「サンプルされたハイパーパラメータの候補に対してBudgetをいかに割り振るか」ということに焦点を当てているのが特徴的な部分です.

性能解析

Successive Halvingは「Budget \(B\)とサンプルするハイパーパラメータの候補の数\(n\)を増加させると,出力されるハイパーパラメータは最適なハイパーパラメータに漸近的に近づく」ということが理論的に証明されています.

ここからは,その証明の解説を行ってみます.

証明のための準備と仮定

まず,\(\lim_{k\to \infty}l_{i,k}\)が存在して,その値が\(v_i=\lim_{k\to \infty}l_{i,k}\)となるという仮定を起きます.この仮定は,\(l_{i,k}\)が必ず何かしらの値へと収束するということを表しています.証明を簡単に行うために,順序関係を\(v_1\leq \cdots \leq v_n\)としておきましょう.

ハイパーパラメータの空間上で評価値の収束値が最小となるようなハイパーパラメータを\(x_{\ast}\)とし,そのハイパーパラメータに対する評価値の収束値を\(v_{\ast}\)とします.
\(n\)個のハイパーパラメータは確率的にサンプルされるものであるため,この中に最適なハイパーパラメータが含まれていない可能性もあります.ですので,\(v_{\ast}\leq v_1\)となることには注意が必要です.

確率的にサンプルされるハイパーパラメータの候補によって\(v_i\)が決定されるため,\(v_i\)は確率変数となります.ここでは,\(v_i\)が従う累積分布関数を\(F\)とし,以下のように定義します.
$$
P(v_i-v_{\ast}\leq \epsilon)=F(v_{\ast}+\epsilon)
$$また,この逆関数を\(F^{-1}(y)=\sup_x\{x: F(x)\leq y\}\)と定義します.

最適腕識別として証明を行うため,以降では\(n\)個のハイパーパラメータの候補を\(x_i\)とし,\(x_i\)のインデックス\(i\)をアームと呼ぶことにします.したがって,\(l_{i,k}\)や\(v_i\)は\(x_i\)の評価値を表しています.

最後に,\(l_{i,j}\)の値は,単調減少関数\(\gamma:\mathbb{N}\to \mathbb{R}\)を用いて以下のように抑えられると仮定を起きます.
$$
\max_i |l_{i,j}-v_i|\leq \gamma (j), ~\forall j\in \mathbb{N}
$$この仮定は,iterationが増加するにつれて\(l_{i,j}\)が\(v_i\)へと近づいていくことを意味します.この逆関数を\(\gamma^{-1}(y)=\min\{j\in \mathbb{N}: \gamma(j) \leq y\}\)と定義しておきましょう.

命題

\(\delta\in(0,1), \epsilon \geq 4\left(F^{-1}\left(\frac{\log(2/\delta)}{n}\right)-v_{\ast}\right),B=4\lceil\log_2(n)\rceil H(F,\gamma, n, \delta, \epsilon)\)とする. ただし,\(H(F,\gamma,n,\delta,\epsilon) = 2n \int_{v_{\ast}+\epsilon/4}^{\infty} \gamma^{-1}\left(\frac{t-v_{\ast}}{4}\right)dF(t) + \left(\frac{4}{3}\log(2/\delta) + 2nF(v_{\ast} + \epsilon/4)\right) \gamma^{-1} \left(\frac{\epsilon}{16}\right)\)である.

この時,Successive Halvingは確率\(1-\delta\)以上で\(v_{\hat{i}}-v_{\ast}\leq \left(F^{-1}\left(\frac{\log(2/\delta)}{n}\right)-v_{\ast}\right)+\epsilon/2\)を満たすアーム\(\hat{i}\)を出力する.

証明の流れ

証明には,以下の2つの定理が必要になります.
まずは2つの定理の証明をそれぞれ行い,最後にそれらをまとめることで命題の証明を行います.

定理1

任意の\(\epsilon>0\)に対して,
$$
z_{SH} = 2\lceil \log_2(n) \rceil \max_{i=2, \cdots, n} i\left(1 + \gamma^{-1}\left(\max \left \{ \frac{\epsilon}{4}, \frac{v_i – v_1}{2} \right \} \right)\right)
$$と定義する.
この時,Budgetが\(B > z_{SH}\)を満たす場合,Successive Halvingは\(v_{\hat{i}}-v_1 \leq \epsilon/2\)を満たすアーム\(\hat{i}\)を出力する.

直感的解釈

定理1は,「\(n\)個の中で最も良いアーム(\(v_1\))にどれだけ近いアームを出力することができるか」,ということを表していると解釈することができます.\(\epsilon\)を\(0\)へと近づけることで,一定以上のBudgetを与えることで一番良いアームに限りなく近いアームを選ぶことができるということが,この結果からわかります.つまり,Successive Halvingは一定以上のBudgetがあれば,与えられた\(n\)個のアームの中で最も良いアームを識別することができます.

定理2

\(\delta\in(0,1), p_n=\frac{\log(2/\delta)}{n}\),\(\epsilon \geq 4(F^{-1}(p_n)-v_{\ast})\)とする.
この時,確率\(1-\delta\)以上で
$$
v_1 \leq F^{-1}(p_n),~ \sum_{i=1}^n \gamma^{-1} \left(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\}\right) \leq H(F,\gamma,n,\delta,\epsilon)
$$が成り立つ.

直感的解釈

定理2は「候補となるアームの数\(n\)を増やしたときに,\(n\)個の中で最も良いアーム(\(v_1\))が真に最良のアーム(\(v_{\ast}\))に近づくか」,ということを表していると解釈することができます.実は,定理2はSuccessive Halvingのアルゴリズムにはほぼ関係しておらず,\(n\)個のアームのサンプル方法に対しての定理になっています.\(n\)を無限大へと近づけることで,\(v_1\)が限りなく\(v_{\ast}\)へと近づくことがわかります.無限個のアームをサンプルすれば,その中に最適なアームに限りなく近いものが含まれるというのは直感的だと思います.

定理1の証明

証明は,反復\(k\)において最適なアーム\(1\)が集合から削除される事象,すなわち,\(\{ 1\in S_k, 1\not\in S_{k+1}\}\)について考えることで行います.より具体的には,「\(\{ 1\not\in S_{k+1}\}\)となったとき,\(S_{k+1}\)内に含まれる全てのアームは\(v_i-v_1\leq \epsilon/2\)を満たす」ということを証明していきます.

事象\(\{ 1\in S_k, 1\not\in S_{k+1}\}\)は,\(1\)以外のアームが上位\(\lceil|S_k|/2\rceil\)を占めているときに起こるので,
$$
\{ 1\in S_k, 1\not\in S_{k+1}\} \Leftrightarrow \left\{ \sum_{i\in S_k} \mathbb{1} \{l_{i,R_k} < l_{1,R_k} \} \geq \lceil |S_k|/2 \rceil\right\} \tag{A}
$$が成り立ちます.

また,\(\gamma\)の定義より,全ての\(j\)に対して\(\max_i|l_{i,j}-v_i| \leq \gamma(j)\)が成り立つので,\(t \geq \tau_i = \gamma^{-1}\left(\frac{v_i -v_1}{2}\right)\)のもとで,\(|l_{i,t} – v_i| \leq \gamma(t) \leq \frac{v_i – v_1}{2}\)となります.よって,
$$
\begin{eqnarray}
l_{i,t} – l_{1,t} &=& l_{i,t} – v_i + v_i – v_1 + v_1 – l_{1,t} \\
&=& l_{i,t} – v_i – (l_{1,t} – v_1) + v_i – v_1 \\
&\geq& -2\gamma(t) + v_i – v_1 \\
&\geq& -2\frac{v_i – v_1}{2} + v_i – v_1 \\
&=& 0
\end{eqnarray}
$$を得るので,\(t \geq \tau_i \Rightarrow l_{i,t} – l_{1,t} \geq 0\)が成り立ちます.

したがって,
$$
l_{i,t} < l_{1,t} \Rightarrow t < \tau_i
$$が成り立つことを導けます.よって,(A)式は
$$
(A) \Rightarrow \left\{ \sum_{i\in S_k} \mathbb{1} \{R_k < \tau_i \} \geq \lceil |S_k|/2 \rceil\right\}
$$となります.さらに,\(i<j\)の時,\(\tau_i \geq
\tau_j\)が成り立つので,
$$
\begin{eqnarray}
(A) &\Rightarrow& \left\{ \sum_{i=1}^{\lceil|S_k|/2\rceil} \mathbb{1} \{R_k < \tau_i \} \geq \lceil |S_k|/2 \rceil\right\} \\
&\Leftrightarrow& \left\{ R_k < \tau_{\lceil|S_k|/2\rceil} \right\}
\end{eqnarray}
$$が成り立ちます.したがって,\(R_k \geq \tau_{\lceil|S_k|/2\rceil} \Rightarrow \{ 1 \not\in S_k \lor 1\in S_{k+1}\}\)が導けます.これを用いると,
$$
\begin{eqnarray}
\{ 1\in S_k, R_k \geq \tau_{\lceil|S_k|/2\rceil}\}
&\Rightarrow& \{ (1\in S_k, 1\not\in S_k) \lor (1\in S_k, 1\in S_{k+1}) \} \\
&\Rightarrow& \{ 1\in S_k, 1\in S_{k+1}\} \\
&\Rightarrow& \{ 1\in S_{k+1}\} \tag{B}
\end{eqnarray}
$$が成り立ちます.

また,\(B>z_{SH}\)であることを用いると,
$$
\begin{eqnarray}
R_k \geq r_k &=& \lfloor \frac{B}{|S_k|\lceil\log_2(n)\rceil} \rfloor\\
&\geq& \frac{B}{|S_k|\lceil\log_2(n)\rceil} – 1 \\
&\geq& \frac{2}{|S_k|} \max_{i=2, \cdots, n} i\left(1 + \gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right) – 1 \\
&\geq& \frac{2}{|S_k|} (\lceil|S_k|/2\rceil)\left(1 + \gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_{\lceil|S_k|/2\rceil} – v_1}{2}\right\}\right)\right) – 1\\
&\geq& \left(1 + \gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_{\lceil|S_k|/2\rceil} – v_1}{2}\right\}\right)\right) – 1\\
&=& \gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_{\lceil|S_k|/2\rceil} – v_1}{2}\right\}\right) \tag{C}
\end{eqnarray}
$$を導くことができます.

ここからは,(B)式と(C)式を用いて,「\(\{ 1\not\in S_{k+1}\}\)となったとき,\(S_{k+1}\)内に含まれる全てのアームは\(v_i-v_1\leq \epsilon/2\)を満たす」ということを証明していきます.

(C)式には\(\max\)演算が入っていて複雑なため,反復\(k\)における事象を\(\left\{\frac{v_{\lceil|S_k|/2\rceil}-v_1}{2}\geq \frac{\epsilon}{4}, 1\in S_k\right\}\)のとき,\(\left\{\frac{v_{\lceil|S_k|/2\rceil}-v_1}{2} < \frac{\epsilon}{4}, 1\in S_k\right\}\)のとき,\(\{1\not\in S_k\}\)のときの3つのcaseに分割し,それぞれについて考えていきましょう.

case 1: \(\left\{\frac{v_{\lceil|S_k|/2\rceil}-v_1}{2}\geq \frac{\epsilon}{4}, 1\in S_k\right\}\)

(C)式より,\(R_k \geq \gamma^{-1}\left(\frac{v_{\lceil|S_k|/2\rceil} – v_1}{2}\right) = \tau_{\lceil|S_k|/2\rceil}\)となります.したがって,(B)式の条件を満たすため,\(\{1\in S_{k+1}\}\)が成り立つことがわかります.よってこのcaseでは,アーム\(1\)は次の反復\(k+1\)の集合\(S_{k+1}\)内に含まれることになります.

case 2: \(\left\{\frac{v_{\lceil|S_k|/2\rceil}-v_1}{2} < \frac{\epsilon}{4}, 1\in S_k\right\}\)

(C)式より,\(R_k \geq \gamma^{-1}\left(\frac{\epsilon}{4}\right)\)となります.\(\gamma^{-1}\left(\frac{\epsilon}{4}\right) < \tau_{\lceil|S_k|/2\rceil}\)となることを考えると,このcaseでは,\(1\in S_{k+1}\)となる場合と\(1\not\in S_{k+1}\)となる場合が考えられます.

重要なのはアーム\(1\)以外のアームが出力されるときの\(v_{\hat{i}}\)の値ですので2,最初は\(1 \not\in S_{k+1}\)となる場合を考えましょう.
\(p=\min \{i \in [n] ~|~ \frac{v_i – v_1}{2} \geq \frac{\epsilon}{4} \}\)と置くと,\(p\)の定義より,
$$
R_k \geq \gamma^{-1}\left(\frac{\epsilon}{4}\right) \geq \gamma^{-1}\left(\frac{v_i – v_1}{2}\right) = \tau_i,~ \forall_i \geq p
$$が成り立ちます.このことと,先ほど示した\(t\geq \tau_i \Rightarrow l_{i,t} \geq l_{1,t}\)を用いると,\(i\geq p\)を満たすアーム\(i\)に対して\(l_{i, R_k} \geq l_{1, R_k}\)が成り立ちます.したがって,\(i\geq p\)を満たすアームはアーム\(1\)より早い反復,あるいは同じ反復で削除されることがわかります.さらに,\(p> \lceil|S_k|/2\rceil
\)が成り立つことを考えると,\(i\geq p\)を満たすアーム\(i\)は全て削除されることがわかります.したがって,次反復\(k+1\)における集合\(S_{k+1}\)内のアーム\(i\)は全て\(\frac{v_i-v_1}{2}<\frac{\epsilon}{4}\)を満たすことになります.

したがって,\(\{1\in S_{k}, 1\not\in S_{k+1}\}\Rightarrow \max_{i\in S_{k+1}} v_i \leq v_1 + \frac{\epsilon}{2}\)が成り立ち,この後最終的にSuccessive Halvingが出力するアーム\(\hat{i}\)は最低でも\(v_{\hat{i}} \leq v_1 + \frac{\epsilon}{2}\)を満たすということが導けます.

一方,\(1 \in S_{k+1}\)となる場合では,次反復\(k+1\)でcase 1またはcase 2のどちらかを必ず満たすことになります.したがって,この場合も最終的にはアーム\(\hat{i}=1\)または\(v_{\hat{i}} \leq v_1 + \frac{\epsilon}{2}\)を満たすアームを出力することになります.

case 3: \(\{1\not\in S_k\}\)

このcaseでは,すでにアーム\(1\)が削除されてしまっているという状況を前提にしています.

最初の反復の集合\(S_0\)内にアーム\(1\)は必ず含まれていたはずなので,反復\(k\)より前のどこかの反復\(r<k\)でアーム\(1\)が削除されたという事象,つまり\(\{1\in S_r, 1\not\in S_{r+1}\}\)が起こっていたはずです.これまでに示したように,case 1においては必ず\(1 \in S_{r+1}\)となるため,結局アーム\(1\)が削除されるのはcase 2の場合においてのみということになります.

したがって,case 3では集合内のアームは\(\max_{i\in S_{k}} v_i \leq v_1 + \frac{\epsilon}{2}\)を満たしているはずなので,この場合も最終的には\(v_{\hat{i}} \leq v_1 + \frac{\epsilon}{2}\)を満たすアームを出力することになります.

定理1まとめ

case 1からcase 3までの結果をまとめると,\(v_{\hat{i}} \leq v_1 + \frac{\epsilon}{2}\)を満たすアーム\(\hat{i}\)を出力することが導くことができます.

これで定理1を証明することができました.次は定理2の証明を行いましょう.

定理2の証明

みやすさのため,\(M=\gamma^{-1}\left(\frac{\epsilon}{16}\right), \mu=\mathbb{E}[\min\left\{M, \gamma^{-1}\left(\frac{v_1-v_{\ast}}{4}\right)\right\}]\)と置きましょう.また,事象\(\xi_1, \xi_2\)を
$$
\begin{eqnarray}
\xi_1 &=& \{v_1 \leq F^{-1}(p_n)\}\\
\xi_2 &=& \left\{\sum_{i=1}^n \min\left\{M, \gamma^{-1}\left(\frac{v_i-v_{\ast}}{4}\right)\right\} \leq n\mu + \sqrt{2n\mu M\log(2/\delta)} + \frac{2}{3}M\log(2/\delta)\right\}
\end{eqnarray}
$$と定義しておきます.

定理2の証明は,まず\(\xi_1, \xi_2\)が確率\(1-\delta\)以上で成り立つことを示し,その後に\(\xi_1, \xi_2\)が成り立つ場合に\(\sum_{i=1}^n \gamma^{-1} \left(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\}\right) \leq H(F,\gamma,n,\delta,\epsilon)\)が成り立つことを示すことで行います.

ではまず,\(\xi_1, \xi_2\)が確率\(1-\delta\)以上で成り立つことを示しましょう.
事象\(\xi_1\)について,\(p(\xi_1^c) = p(\min_{i=1,\cdots,n} v_i > F^{-1}(p_n)) = (1 – p_n)^n \leq \exp(-np_n) \leq \frac{\delta}{2}\)が成り立ちます.また,
$$
\mathbb{E}\left[\min\left\{M, \gamma^{-1}\left(\frac{v_i-v_{\ast}}{4}\right)\right\}^2\right] \leq \mathbb{E}\left[M \min\left\{M, \gamma^{-1}\left(\frac{v_i-v_{\ast}}{4}\right)\right\}\right] = M\mu
$$より,Bernsteinの不等式を用いると,\(p(\xi_2^c) \leq \frac{\delta}{2}\)を導くことができます.3

したがって,\(p(\xi_1 \land \xi_2) \geq \left(1 – \frac{\delta}{2}\right)^2 = 1-\delta+\frac{\delta^2}{4} \geq 1 – \delta\)となり,確率\(1-\delta\)以上で事象\(\xi_1,\xi_2\)が成立することが導けます.

次に,\(\xi_1,\xi_2\)が成り立つときに,\(\sum_{i=1}^n \gamma^{-1} (\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\}) \leq H(F,\gamma,n,\delta,\epsilon)\)が成り立つことを示しましょう.

このために,まず,\(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\} \geq \min\{\frac{\epsilon}{4}, \frac{v_i-v_{\ast}}{4}\right\}\)が成り立つことを示します.\(\max\)演算が入っているので,ここでも場合分けをすることで考えます.

case 1: \(\frac{\epsilon}{4} \leq \frac{v_i-v_1}{2}\)

事象\(\xi_1\)より,\(v_{\ast} \leq v_1 \leq F^{-1}(p_n)\)なので,
$$
\frac{v_i-v_1}{2} \geq \frac{v_i – v_{\ast} + v_{\ast} – F^{-1}(p_n)}{2} = \frac{v_i – v_{\ast}}{4} + \frac{v_i – v_{\ast}}{4} – \frac{F^{-1}(p_n) – v_{\ast}}{2} \geq \frac{v_i – v_{\ast}}{4} + \frac{v_i – v_1}{4} – \frac{F^{-1}(p_n) – v_{\ast}}{2}
$$が成り立ちます.また,仮定\(\epsilon \geq 4(F^{-1}(p_n) – v_{\ast})\)と,case 1における仮定\(\frac{\epsilon}{4} \leq \frac{v_i – v_1}{2}\)を用いると,\(\frac{v_i – v_{\ast}}{4} + \frac{v_i – v_1}{4} – \frac{F^{-1}(p_n) – v_{\ast}}{2} \geq \frac{v_i – v_{\ast}}{4}\)となります.

よって,\(\frac{v_i – v_1}{2} \geq \frac{v_i – v_{\ast}}{4}\)が成り立つことが示せました.

case 2: \(\frac{\epsilon}{4} > \frac{v_i-v_1}{2}\)

case 2の仮定を用いると,
$$
\frac{v_i-v_{\ast}}{4} = \frac{v_i – v_1}{4} + \frac{v_1 – v_{\ast}}{4} < \frac{\epsilon}{8} + \frac{v_1 – v_{\ast}}{4}
$$が成り立ちます.

さらに,事象\(\xi_1\)より,\(v_{\ast} \leq v_1 \leq F^{-1}(p_n)\)なので,\(\frac{\epsilon}{8} + \frac{v_1 – v_{\ast}}{4} \leq \frac{\epsilon}{8} + \frac{F^{-1}(p_n) – v_{\ast}}{4}\)が導けます.

最後に,\(\epsilon \geq 4(F^{-1}(p_n) – v_{\ast})\)を用いると,\(\frac{\epsilon}{8} + \frac{F^{-1}(p_n) – v_{\ast}}{4} < \frac{\epsilon}{4}\)が成り立つことが示せました.

定理2まとめ

case 1とcase 2の結果から,\(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\} \geq \min\left\{\frac{\epsilon}{4}, \frac{v_i-v_{\ast}}{4}\right\}\)が成り立つことが示せました.
このことと\(\xi_1, \xi_2\)の定義を用いると,事象\(\xi_1,\xi_2\)が成り立つ時,
$$
\begin{eqnarray}
\sum_{i=1}^n \gamma^{-1}\left(\max\left\{\frac{\epsilon}{4},\frac{v_i-v_1}{2}\right\}\right) &\leq& \sum_{i=1}^n \gamma^{-1}\left(\max\left\{\frac{\epsilon}{4},\frac{v_i-v_{\ast}}{4}\right\}\right)\\
&\leq& \sum_{i=1}^n \gamma^{-1}\left(\max\left\{\frac{\epsilon}{16},\frac{v_i-v_{\ast}}{4}\right\}\right)\\
&=& \sum_{i=1}^n \min\left\{M,\gamma^{-1}\left(\frac{v_i-v_{\ast}}{4}\right)\right\}\\
&\leq& n\mu + \sqrt{2n\mu M\log(2/\delta)} + \frac{2}{3}M\log(2/\delta)\\
&\leq& \left(\sqrt{n\mu} + \sqrt{\frac{2}{3}M\log(2/\delta)}\right)^2\\
&\leq& 2n\mu + \frac{4}{3}M\log(2/\delta)
\end{eqnarray}
$$が成り立つことがわかります.

\(\mu\)を展開すると,
$$
\begin{eqnarray}
\mu &=& \mathbb{E}\left[\min\left\{M, \gamma^{-1}(\frac{v_i-v_{\ast}}{4})\right\}\right]\\
&=& \mathbb{E}\left[\left(\gamma^{-1}(\max\left\{\frac{\epsilon}{16},\frac{v_i-v_{\ast}}{4}\right\}\right)\right]\\
&=&\int_{-\infty}^{v_{\ast}+\epsilon/4}\gamma^{-1}\left(\frac{\epsilon}{16}\right)dF(t) + \int_{v_{\ast}+\epsilon/4}^{\infty}\gamma^{-1}\left(\frac{t-v_{\ast}}{4}\right)dF(t)\\
&=&\gamma^{-1}\left(\frac{\epsilon}{16}\right)F(v_{\ast}+\epsilon/4) + \int_{v_{\ast}+\epsilon/4}^{\infty}\gamma^{-1}\left(\frac{t-v_{\ast}}{4}\right)dF(t)
\end{eqnarray}
$$となるので,これを代入すると,事象\(\xi_1,\xi_2\)が成り立つ時,
$$
\begin{eqnarray}
\sum_{i=1}^n \gamma^{-1}\left(\max\left\{\frac{\epsilon}{4},\frac{v_i-v_1}{2}\right\}\right) &\leq& 2n\mu + \frac{4}{3}M\log(2\delta)\\
&=& 2n \int_{v_{\ast}+\epsilon/4}^{\infty} \gamma^{-1}\left(\frac{t-v_{\ast}}{4}\right)dF(t) + \left(\frac{4}{3}\log(2/\delta) + 2nF(v_{\ast} + \epsilon/4)\right) \gamma^{-1} \left(\frac{\epsilon}{16}\right)
\end{eqnarray}
$$が成り立つことが導けます.

この結果と,事象\(\xi_1,\xi_2\)が確率\(1-\delta\)以上で成り立つことを考えると,確率\(1-\delta\)以上で
$$
v_1 \leq F^{-1}(p_n),~ \sum_{i=1}^n \gamma^{-1} \left(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\}\right) \leq H(F,\gamma,n,\delta,\epsilon)
$$が成り立つことがわかります.

これで定理1と定理2の証明が終わりました.最後に,定理1と定理2の結果をまとめることで,命題の証明を行いましょう.

命題の証明

\(\epsilon \geq 4\left(F^{-1}\left(\frac{\log(2/\delta)}{n}\right)-v_{\ast}\right)\)より,定理2から確率\(1-\delta\)以上で
$$
\sum_{i=1}^n \gamma^{-1} \left(\max\left\{\frac{\epsilon}{4}, \frac{v_i-v_1}{2}\right\}\right) \leq H(F,\gamma,n,\delta,\epsilon)
$$が成り立ちます.また,\(\gamma^{-1}(x)\)が\(x\)に関して単調減少であることを用いると,
$$
\begin{eqnarray}
z_{SH} &=& 2\lceil \log_2(n) \rceil \max_{i=2, \cdots, n} i\left(1 + \gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right)\\
&\leq& 2\lceil \log_2(n) \rceil \left(\max_{i=2, \cdots, n} i + \max_{i=2, \cdots, n} i\left(\gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right)\right)\\
&\leq& 2\lceil \log_2(n) \rceil \left(n + \max_{i=2, \cdots, n} i\left(\gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right)\right)\\
&\leq& 2\lceil \log_2(n) \rceil \left(n + \sum_{i=1,\cdots,n}\gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right)
\end{eqnarray}
$$が成り立ちます.よって,
$$
\begin{eqnarray}
z_{SH} &\leq& 2\lceil \log_2(n) \rceil \left(n + \sum_{i=1,\cdots,n}\gamma^{-1}\left(\max \left\{\frac{\epsilon}{4}, \frac{v_i – v_1}{2}\right\}\right)\right)\\
&\leq& 2\lceil \log_2(n) \rceil \left(n + H(F,\gamma,n,\delta,\epsilon)\right)\\
&<& 4\lceil \log_2(n) \rceil H(F,\gamma,n,\delta,\epsilon)=B
\end{eqnarray}
$$が成り立つので,\(B>z_{SH}\)を満たします.
したがって定理1の前提条件を満たすので,\(v_{\hat{i}}-v_1\leq \epsilon/2\)が成り立ちます.
また,定理2から\(v_{\ast}\leq v_1\leq v_{\ast}+(F^{-1}(p_n)-v_{\ast})\)が同時に成り立つことがわかるので,
$$
v_{\hat{i}}-v_1 \leq v_{\hat{i}}-v_{\ast}\leq (F^{-1}(p_n)-v_{\ast})+\epsilon /2
$$も成り立つことが導けます.

これらの結果を組み合わせると,Successive Halvingは確率\(1-\delta\)以上で\(v_{\hat{i}}-v_{\ast}\leq \left(F^{-1}\left(\frac{\log(2/\delta)}{n}\right)-v_{\ast}\right)+\epsilon/2\)を満たすアーム\(\hat{i}\)を出力することを示せました.

直感的解釈

定理1では「一定以上のBudgetを与えることでアーム\(1\)に限りなく近いアームを選ぶことができる」ということが,定理2では「\(n\)を無限大へと近づけることで,\(v_1\)が限りなく\(v_{\ast}\)へと近づく」ということがわかります.

これら2つの定理をあわせて証明した命題は単にこれらの結果を合わせたような結果となっているだけですので,直感的には,「\(n\)と\(B\)を無限大へと近づけると,Successive Halvingは最適なアームを出力する」というイメージを持つことができます.当たり前といえば当たり前なのですが,理論的に保証がされているとアルゴリズムを使用する際に安心できるので,意外と重要なことなのかな,と思います.

Hyperbandとのつながり

Successive Halvingは強力な理論保証を持つアルゴリズムですが,実際のハイパーパラメータ最適化では\(\gamma\)や\(F\)はわからないことが一般的なため,\(B\)や\(n\)をどれくらいに設定すればいいかは事前にわからないことがほとんどです.

\(B\)と\(n\)はトレードオフの関係にあります.\(n\)を増加させると多くのアームを候補とすることができますが,その分だけ\(B\)を増加させないと各アームに対して十分に学習を進めることができません.一方で,\(n\)を減少させると各アームに対してより多くの学習時間を割り当てることができますが,その中に最適なアームに近いものが含まれている可能性も低くなってしまいます.

Hyperbandはこの問題に対処した手法であり,\(n\)と\(B\)に対してループを回すことによって様々な\(n\)と\(B\)の組み合わせに対してSuccessive Halvingを実行することができるようなアルゴリズムになっています.

おわりに

今回は,機械学習のハイパーパラメータ最適化手法であるSuccessive Halvingについて紹介し,その性能を理論的に解析しました.やはり理論的保証があると嬉しいので,自分で提案したアルゴリズムに対しても理論的保証を与えていきたいですね!

非常に長いブログとなりましたが,最後まで読んでくださりありがとうございました.

参考文献

  • Bergstra, James S and Bardenet, Rémi and Bengio, Yoshua and Kégl, Balázs : Algorithms for hyper-parameter optimization, Advances in neural information processing systems (2011)
  • Hutter, Frank and Hoos, Holger H and Leyton-Brown, Kevin : Sequential model-based optimization for general algorithm configuration, International Conference on Learning and Intelligent Optimization (2011)
  • Jamieson, Kevin and Talwalkar, Ameet : Non-stochastic best arm identification and hyperparameter optimization, Artificial Intelligence and Statistics (2015)
  • Li, Lisha and Jamieson, Kevin and DeSalvo, Giulia and Rostamizadeh, Afshin and Talwalkar, Ameet : Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization, The Journal of Machine Learning Research (2018)

  1. 評価の方法はいろいろありますが,例えば,validation data setに対しての誤分類率を評価値とする,といった方法があります. ↩
  2. アーム\(1\)が出力されるならそれに越したことはないので,アーム\(1\)がずっと集合内に残っている事象についてはあまり深く考えず,どこかの反復でアーム\(1\)が削除されてしまった後の事象について特に考えます. ↩
  3. ここの証明は省きます. ↩
]]>
バンディットアルゴリズムの評価と因果推論 https://cyberagent.ai/blog/research/causal_inference/199/ Fri, 13 Jul 2018 07:56:41 +0000 https://cyberagent.ai/research/?p=199 この1-2年でアドテクスタジオでもMulti-Arm-BanditやContextual-Banditといった単語がプロダクトとのMTGの中で飛び交うようになり、社内における応用例も徐々に増えてきました。

Banditそれ自体も非常に面白いのですが、個人的には「それをどの様に評価・比較するのか?」という問題が非常に面白いと考えています。

その大きな理由の一つは評価に因果推論の発想を用いる必要性が生じている事にあります。

今回は、Contextual-Banditの様なPolicyの評価方法について簡単なイントロを行えればと思います。

1. セットアップ

広告の画像をContextual-Banditで選択している様な状況を考えます。

すでに何らかの広告を見せる事が決まっているリクエスト(i)が来るたびに、そのリクエストを発生させたユーザーのcontext(X)が手に入り、それを元に報酬(r)であるクリックの予測を行い、Thompson Samplingを用いて候補セット(A)の中から表示する広告(a)を選択します。

結果ユーザーによるフィードバックが観測され、クリックしたか否かがわかります。
$$r_i \sim D_r(.|X_i, a_i)$$
この予測と選択の一連の流れを行う部分をPolicy(\(\pi\))と呼びます。
$$a_i = \pi(X_i)$$
教科書的にはtのフィードバックを利用してt+1で使われるPolicyを更新するという内容がよく出て来るのですが、実装の都合などでバッチで更新されるケースが実務的には多く、今回もその内容に乗っ取って話を進めます。

この時、手元に残っているログは以下の様なものになります。
$$\{X_i, r_i, a_i\}_{i=1}^N$$
リクエスト(i)毎にContext(X)と、選んだ広告画像(a)と、結果クリックされたか(r)が溜まっている状態です。
また、ログが取得できている期間ではPolicyは一つしかないものと考えます(\(\pi_0\))

 

2. 比較の話

さて、ここでPolicyに何かしらの改良を加えるアイデアを思いついたとします。ここで問題になるのは「どの様にして既存のPolicyとこの改良を加えたPolicyを比較するか?」という点です。(より良いPolicyは獲得しうる報酬(r)の合計がより大きい方だと考えます。)

この二つのPolicyを比較する為のGolden Standardな検証デザインは何か?ということを考えた場合、おそらく皆さんご存知の通りABテスト(RCT)という答えになるかと思います。つまり、未来におけるリクエストの半分をランダムに既存のPolicyに割り振り、残りの半分を新規のPolicyに割り振り、それぞれで獲得できたクリックの数を比較するといった方法です。

「RCT cartoon」の画像検索結果

しかし、この様なABテストを実施するためには実際に新規のPolicyを実装する必要がありますし、さらに結果的に大失敗と終わる可能性のあるアイデアにある程度のリクエスト数(ユーザー)を割り振らないといけません。また、もし思いついたアイデアが1つでは無く100個で有れば、検証のためのコストは非常に高くなってしまいます。

この様な社会科学でよくみられる様な「実験の実施コストが高い」という理由から、どうにかして手持ちのデータからRCTの結果を再現したいという要求が生まれることになります。

 

3. replay-method

過去のログに置いて新しいPolicyの評価を行うためには、まず実際に選択を行わせる必要があります。これは新Policy(\(\pi(X)\))に過去ログの\(X_i\)を入力してやれば得る事ができます。

$$a_{1,i} = \pi(X_i)$$

問題となるのはその評価を入手する事です。過去の選択(\(a_{0,i} = \pi_0(X_i) \))を実行した時の報酬(\(r_i\))は観測されていますが、\(a_{0,i}\)以外の選択を実行した時の報酬は観測されていません。(あるリクエストにおいて広告画像1を見せた結果の報酬は観測しているが、広告画像2を見せた結果の報酬は観測していないので。)

つまり、新Policyの報酬は既存のPolicyと同じ選択肢を選んだ時でしか観測されないわけです。よってそれをそのまま評価と考えると新Policyの評価は以下の様に算出されます。

$$V_{naiive}(\pi) = \frac{1}{N} \sum_{i=1}^N {r_i 1(a_{0,i} =a_{1,i})}$$

この方法は、もし既存のPolicyが選択肢をランダムに選んでいた場合には評価が正しいという事が分かっており、こちらの論文でreplay-methodとして提案されています。しかし、ランダムでは無い場合には既存のPolicyによって生じるサンプリングバイアスの影響を受ける為にこの評価方法はABテストの近似としては不満足なものとなってしまいます。

 

4. Direct method

次に簡単な方法は、予測モデルによって観測されなかった選択肢の報酬を予測してしまうDirect Methodと呼ばれる方法です。つまり、ある選択肢が選ばれたデータを学習データとして、その選択肢が選ばれなかったデータに対して予測を行う訳です。この辺りの論文での実験だとridge回帰によって予測を行ったりしています。そして、予測された報酬の平均をPolicyの評価として扱います。

$$\hat{r}_a(X)=E[r_a|X]\\
V_{DM}(\pi) = \frac{1}{N} \sum_{i=1}^N {\hat{r}(X_i, \pi(X_i))}
$$

こちらの方法は、機械学習の実務をやっている方には割と自然な発想な気がしますが、2つの問題点があります。

1つは\(\hat{r}(X, a)\)を表現するのに十分なデータが得る事が非常に難しいという点にあります。多くの場合報酬はユーザーの意思決定に依存するので、その意思決定を高い精度で近似出来ている必要が出て来るのですが、これは実際問題かなり難しいタスクになるでしょう。また、学習の元になっているデータもsampling biasを持つデータとなってしまっています。どちらもサンプルサイズの増加によって消える様な問題では無い為に、この評価方法もやはりABテストの近似としては不満足なものとなってしまいます。

 

5. Inversed Propensity Score

この様な問題において因果推論を扱う分析ではPropensity Score(\(p_a\))がよく用いられます。最初の方法と同様に既存と新規のPolicyの選択が同一になったサンプルだけを評価に用いますが、この時に既存のPolicyでその選択肢が選ばれる確率の逆数をsampling weightとして用います。

$$p_a = p(a|X_i) \\
V_{ips}(\pi) = \frac{1}{N} \sum_{i=1}^N {\frac{r_i 1(a_{0,i} =a_{1,i})}{p_a}}
$$

この時Propensity Scoreはlogistic regression等で推定することも出来ますし、Thompson Samplingを利用している場合ではサンプリングのプロセスを繰り返すことでその確率を直接得る事が出来ます。Offline Policy Evaluationの文献を見ていると後者の方法を用いている事が多い様に思えます。

この様なIPSと呼ばれる方法の問題点は、Propensity Scoreが非常に小さい時に評価に対して大きな影響を与える事になり、結果的に評価の推定値の分散を押し上げてしまう事にあります。しかしIPSはサンプルサイズが大きくなるとABテストの結果に一致していくというメリットもあります。

 

6. Doubly Robust

最後にIPSとDMを掛け合わせたdoubly robustを紹介します。(参照)

$$
V_{dr}(\pi) = \frac{1}{N} \sum_{i=1}^N {\frac{(r_a – \hat{r_a}(X_i))1(a_{0,i} =a_{1,i})}{p_a} +\hat{r}_{\pi(X_i)}(X_i)}
$$

第一項は過去のPolicyと新規のPolicyの選択が一致しない場合には0になってしまうため、その様な場合にはDMと同様の評価を行う様になっています。
一致した場合には報酬予測の誤差をIPSで重みを掛け、DMの評価にそれを足し合わせています。報酬予測の精度が高いと第一項が0に近付いていくので、報酬予測の精度が悪い時にはIPSを使うといった構造だと解釈することも可能です。

7. まとめ

改めて問題を整理して考えると、新Policyの評価が難しいのは評価が過去ログの全サンプルで入手することが出来ず、欠損が発生しているという構造上の問題から生じていました。そして、どの様なサンプルで欠損が起きるかが既存のPolicyに依存しているため、欠損がランダムではなく何かしらのメカニズムを元に起きているという事情ありました。

これらの事から新Policyの評価は欠損のある評価データからいかに、欠損のない評価を推定するか?という欠損データにおける因果推論の捉える課題と同様な状態である事が分かります。よって、Propenstiy ScoreやDoubly Robustの様な方法が使われているわけです。

今回紹介した方法の他にもMorerobust Doubly Robustの応用や、もう少し複雑なバンディット問題のオフライン評価の話などが最近の研究では取り扱われています。もし興味を持たれた方は調べてみると面白いと思います。

 

 

引用文献

  • Li, Lihong, et al. “Unbiased offline evaluation of contextual-bandit-based news article recommendation algorithms.” Proceedings of the fourth ACM international conference on Web search and data mining. ACM, 2011.
  • Dudík, Miroslav, John Langford, and Lihong Li. “Doubly robust policy evaluation and learning.” arXiv preprint arXiv:1103.4601 (2011).
]]>