AI事業本部のAIR TRACKでデータサイエンティストとして
1ヶ月間就業型インターンをしていた宗政友洋です。

最適な配信予算提案に向けた分析業務について取り組みましたので紹介させて頂きます。

AIR TRACKにおける広告配信

AIR TRACKはデジタル販促プラットフォームです。
AIR TRACKは、実店舗に顧客を来店させたい広告主から依頼を受けて、
アプリなどの広告枠に広告を配信します。
広告配信をするために、RTB(Real-TimeBidding)というオークションの仕組みの上で
広告枠の買付けを行っていますが、広告配信システムの詳細につきましては
日本一やさしいアドテク教室をご参照下さい。(AIR TRACKはDSPに該当します)

AIR TRACKは広告を配信して、
クリックが発生するたびに広告主から報酬をもらう形で広告主と契約を結んでますが、
広告配信予算の都合上、報酬は事前に決められています。
以降では、報酬を広告配信予算や予算と呼ぶこととします。

最適な広告配信予算に向けて

では、この広告配信予算はどのように決めるべきでしょうか。
もし予算が少なすぎる場合は、
広告主が本来広告を届けたい人に十分に広告が届かないまま配信が終わってしまいます。

一方で、もし予算が多すぎる場合は、
予め決められたクリック数に到達せずに予算が余ってしまいます。
そしてクリックを生み出すために同じ人に何度も同じ広告を当ててしまうかもしれません。
つまり最適な広告配信予算は、無茶な配信を行わず、
広告を届けたい人に期間内で必要十分に広告が届くような額になります。

現状AIR TRACKで広告配信をする際に、多くの案件において、
その広告配信予算は以下のような簡単な計算式に当てはめてシミュレートした額を元に決められます。

ここで式中の各要素は以下のようになっています。

• 推定広告表示回数：当該案件において配信期間中に
  全ユーザが受ける広告表示の総数の推定値。規模や期間の長さを元に決定。
• 表示された広告をユーザがクリックする割合の推定値（CTR）
• AIR TRACKが広告主から受け取る1クリックあたりの報酬（CPC）

このシミュレーション方法はとてもシンプルなものなので、
このシミュレーション結果が最適な広告配信予算になるかは議論の余地がありました。
最適な広告配信予算の達成のため、広告配信案件の多様な状況を加味して
予算額を提示するシミュレータを作れないかという話がプロダクト内で上がっていました。

 

配信予算決定の難しさ

最適な配信予算を算出するにあたり二つの難しさが存在します。
第一に、配信予算は事前に決定され、
配信中は達成させるために人為的に入札額などを操作する場合があります。
そのため適正な予算だったという綺麗なラベルを付与する難しさがあります。

第二に、初めて扱うジャンルの広告・配信期間が極端に長いなどといった
過去に扱ったことがない事例に対しても
シミュレータに適切な予算を提示させたいといった要望もあるため、
そのような事例を考慮したシミュレータを作らなければならないということです。

最適な予算を提示するシミュレータを作る上で、最初のステップとして
どのような要因が予算達成に影響を及ぼすのか知ることは不可欠だと考え、
今回のインターンでは配信ログデータから
予算達成に影響のある要因がどういったものでありそうかを分析しました。

配信ログからデータの抽出

まず、予算達成に影響のあると思われる要因を分析するために、
配信データログや案件情報の集計を行います。
対象期間を2020年1月の1ヶ月間に定め、データ集計ののち分析していきます。

 

予算達成に影響を与える要因

配信予算は期間内でなるべく均等に使いたいという需要があります。
そのため、日毎に配信予算を割り振ったものを日予算として設定し
期間内で均等に予算を消化していくようにします。
この日予算が消化できるかと主要な指標にどう言った関係があるかをみていきます。

今回具体的にどういった指標と比較したかに関しては言及しませんが、
いくつかの重要な指標をピックアップして予算達成との関係をみていきます.

日予算消化達成率（日ごとの売上/日予算）を縦軸にとり、
その他を横軸にとったグラフによって可視化します。

（可視化を行なったグラフの例）

 

現状のシミュレータは配信対象の規模に大きく依存した決定を行っています。
結果の詳細についてここで言及することは難しいのですが、
予算の達成・未達成はピックアップした要因について緩やかな相関しか示さず、
人の解釈の範囲を超えるようなより複雑な要因によって決定されていると考えられます。
そして今回とらえきれなかった複雑な要因をシミュレータに反映させるために、
機械学習モデルなどを適用することの妥当性が見えてきました。

メンターさんからは、これまでユーザーの行動ログはよく分析していたが、
予算をどのように設定して、どれくらい消化されたかのような、
いわばプロダクト側の行動も含めたようなログに関する分析は多くなかった、
その中で、今回の分析を通じて、そういった種類のデータの分析は
かなりのインパクトがありそうだということが確認することができたとのフィードバックをもらいました。

最適な広告配信予算提案に向けて

今回の分析結果から、現状の配信予算シミュレータの改良の可能性および、
より複雑なモデルの使用の可能性が見えてきました。
今後プロダクトでは、機械学習モデル等を用いたシミュレータの構築と、
オフライン検証、A/Bテストによるオンライン検証と実運用に向けたステップを踏んでいきます。

 

インターンを終えて

この分析を行う前に、別の分析も行ったので、
１ヶ月間勤務で2つのアウトプットが残せたのは非常に嬉しく思います。
さらに、自分の分析結果によって、重要な示唆を示すことができて、
次の業務に繋げられたということも非常に嬉しく感じています。

問題設定のところから、何を最終的に結果として出せば良いのかを
メンターさんと議論しながら決めていけたのは、非常に自分にとって有意義な経験でした。
どんな分析をすることでプロジェクトの利益に繋がるかを考えることは、
あまり経験がなく難しかったですが、今回そのような、
自分の解くべき問題からしっかりと考えられたのは、自分の成長に繋がったと感じます。

週4~5で1ヶ月という短い期間でしたが、
ミーティングに参加・発表をして、現場のスピード感を感じることができました。
仮説立案→検証のサイクルを高速に回すことの重要性を体感することができました。

AIR TRACKには非常に面白く個性的な方が多くて、働いているだけで本当に楽しかったです。

今回のインターンで、メンターの方には、僕の度重なる質問に丁寧に答えて頂いたり、
データサイエンティストとして働く上での考え方をたくさん教えて頂いたので、
本当にメンターになっていただいたことに感謝しています。
それらを吸収して自分の成長に繋げたいと考えています。

また、AIR TRACKには1年に一度しか会わない僕の親戚(従兄弟)が働いており、
インターンの期間中は、毎日会えて嬉しかったです。

非常に充実した１ヶ月を過ごすことができました。
短い間でしたが、お世話になりました方々に感謝しています。
本当にありがとうございました。