【インターンレポート】Visa LINE Payプリペイドカード 還元施策の効果検証

はじめに

LINE株式会社の 2021 年度夏季インターンシップに参加した佐野和幸です。普段は東京理科大学院で医療統計に関する研究をしています。今回のインターンシップでは LINEのData Science室 の Financial Data Science チームに配属されました。主にVisa LINE Payプリペイドカードに関する分析を行いました。 

背景

まず、私が取り組んだテーマのVisa LINE Payプリペイドカードについて説明します。Visa LINE PayプリペイドカードはLINE上で発行できるバーチャルプリペイドカードです。オンラインでの支払いだけでなく、Apple Payや Google Pay™ に設定することでNFC決済(非接触決済)も利用可能です。

以前のVisa LINE Payプリペイドカードは、恒常的なポイントの還元はありませんでした。そこで、新しい施策として8/1から「新規利用者への5%ポイント還元」および「既存利用者への1%ポイント還元」が開始されました。この還元はオンライン決済、NFC決済の両方に対応しています。

本インターンでは、上記キャンペーンの効果検証をテーマとして進めました。

目的

キャンペーンが売上高に与えた影響を定量的に評価することが目的となります。売上高に関わる要素は多く存在します。たとえば、

  • 総ユーザー数(カードの発行枚数)
  • 利用者数(アクティブユーザー数)
  • 利用頻度
  • 単価

などが挙げられます。

これらの要素にキャンペーンがどの程度の影響を与えたのか調査していきます。

課題

キャンペーンの効果は次の2つの差分だと考えることができます。

  • キャンペーンを行った時の結果
  • キャンペーンを行わなかった時の結果

しかし、同一のユーザーに対してこの2つの結果を同時に得ることは時間を巻き戻すことができるのであれば可能ですが現実的ではありません。現実的な手法の一つとして、ランダムなユーザーに対してキャンペーンを行い、個人への効果ではなく全体への平均的な効果を考える方法があります(ランダム化比較実験 以下、RCT)。今回のケースではキャンペーン対象者がカード発行済みの全ユーザーであるため、そもそもランダム化することができません。この問題に対応するために次の二つの手法を適用することにしました。

手法

回帰不連続デザイン(regression discontinuity design 以下、RDD)

回帰不連続デザインは、ランダム化できない環境においても適用することができる分析方法の一つです。いくつかの仮定を満たしているとき、介入に関わる閾値周辺に限ってはユーザーの性質がほぼ同質とみなせるため、擬似的なRCTが行われていると仮定することができます。

最もシンプルなモデルとして次の式で表すことができます。

それぞれの変数は次の通りです。

  • Y:結果変数(売上高)
  • T:処置変数(施策を受けたかどうか)
  • R:割当変数(時間)

ρを施策による効果であるとみなすことができます。

この手法を用いるときには次の仮定が成り立っているかどうかに注意する必要があります。

  • 介入がない場合、潜在的な結果が連続であること
  • 分析対象が介入を受けるかどうか自分の意思で選べないこと

上記の仮定が成り立たない例として、「同時期に別のキャンペーンが行われる」、「5%還元の対象月を任意に決めることができる」などが考えられます。カードの登録月はユーザーの判断で任意に決めることが可能なため、一見すると2つ目の仮定は成り立っていないように感じられます。しかし、本キャンペーンの告知は8月に開始されているため、7月のカード登録者はキャンペーンの存在を知らずに登録しています。これより二つ目の仮定は満たしているとみなすことができます。RDDを時系列データに拡張した手法として分割時系列解析(interrupted time series analysis 以下、ITS)と呼ばれるものも存在します。

予測モデルを用いた効果検証

この手法は「介入が行われなかった場合の潜在的な結果の予測値」と「介入が行われた場合(現実世界)の結果」を比較することで介入の効果を推定するというアイデアです。

効果の推定値の精度を高めるためには、潜在的な結果の予測精度が必要です。

結果

以下に分析結果の一例を記載します。機密事項が含まれているため、y軸の目盛は意図的に削除しています。

1枚目のグラフはオンラインの売上高にRDDを適用したものです。7月の売り上げと8月の売り上げがそれぞれ赤、青で表されています。グラフからキャンペーン開始後に売上高がジャンプしていることがわかります。元々の上昇トレンドに加えて先月比で +10%以上の効果が推定されました。記載した例では一次のモデルを当てはめていますが、それ以外にも幾つかのモデルを適用し結果を考察しました。

2枚目のグラフはNFCの利用者当たりの売上高に予測モデルを当てはめたものです。全体的な減少トレンドが7月には見られますが、8月の実測値では大きく成長していることがわかります。予測に比べて+50%ほどの効果が推定されています。緊急事態宣言による外出の抑制などを考慮しきれていないため、効果には負のバイアスがかかっていることが予想されます。

まとめ

一部の指標では時系列にトレンドが強く現れているため、RDDの前提となる回帰分析の仮定を満たしていないと判断されるものもありました。問題設定をITSに拡張しトレンドを考慮したモデルを適用することで解決できそうでしたが、インターン期間内に達成することはできませんでした(心残りです)。今回は2つの手法を同時に適用したことで、仮定を満たしていないときに推定値やその信頼区間にどのような違いが現れるのかを確認できました。手法を適用する前に仮定が満たされているかどうかを吟味することは非常に大切だなと実感しました。

おわりに

本インターンではVisa LINE Payプリペイドカードに関する分析を中心に行いました。実際の現場でどのように仮説検証のサイクルが回されているのかを肌で感じることができ、非常に良い経験となったと感じています。導き出された結果が今後の事業の意思決定につながるため責任と同時にやりがいも大きい仕事だと思います。記載することはできないのですが、得られた結果から新しい仮説を得るために時間をかけて考察を行いました。その際にはLINEでの過去の事例やメンターの方のアドバイスがとても参考になりました。wikiの形式で過去の分析事例がまとめられているため、読むだけでも多くの知見を得ることができました。

インターン期間中には定期的なミーティングなどにも参加させていただきました。他の事業の分析結果やその考察をお聞きする機会が毎週設けられていて、たくさんの刺激を受け取ることができました。

効果検証の知識や業務理解が不足している状態からのスタートでしたが、マネージャーのwoosungさん、メンターのsugimotoさんを始めとしてチームのみなさんのおかげで分析を進めていくことができました。サポートしてくださったみなさん、本当にありがとうございました。