【インターンレポート】LINE Payの銀行口座登録促進CPの効果検証

Sota Tochizawa2022-09-30

Finantial Data Science チーム

はじめに

LINE株式会社の2022年夏季インターンシップに参加した栃沢颯太と申します。
普段は、慶應義塾大学経済学研究に在籍し、統計学・計量経済学を学んでいます。
インターンシップでは、LINEのData Science 2室のFinancial Data Scienceチームに配属され、LINE Payの銀行口座連携促進キャンペーンの効果検証に取り組みました。

背景

LINE Payグロース組織では「銀行口座登録を行うと、チャージがしやすくなり、LINE Payのリピーターとなって継続的に利用してくれるのではないか」という仮説がありました。その仮説をもとにLINE Payは銀行口座連携促進キャンペーン施策を展開しました。

LINE Pay公式アカウントからのキャンペーンメッセージを受け取って銀行口座登録を行ったユーザーに対して200ポイントを給付
期間: 2022年8月1日~8月21日
対象者: LINE Payのアカウントを3か月以内に新規開設し、直近30日以内の決済金額4000円以下のユーザー

LINE PayのLINE公式アカウントからテキストメッセージと以下の画像メッセージをユーザーに送信し、告知を行いました。配信は8月3日、9日、15日の3回です。
ただし、この施策では、配信されたキャンペーンメッセージのクリックやLPのimpressionの有無にかかわらず、銀行口座を登録すれば200ポイントがもらえるという仕組みになっています。
すなわち、ポイントがもらえるユーザーの中にはキャンペーン内容を認知した上で、口座登録を行ったユーザーとそうでないユーザーが共存します。

目的

分析の目的は、以下の2点を検証することです。

キャンペーンを認知した上で銀行口座登録を行ったユーザーのチャージおよび支払いが高い確率で行われているか
施策の投資費用を回収できそうか

前者は仮説としてあった銀行口座を登録することで継続率がどうなるかを検証するため、後者はこのキャンペーンを今後も継続すべきかという判断基準とするためです。

基礎集計

はじめに、配信に関する基礎集計を行いました。
配信を重ねるうちに開封率、クリック率、CTRが減少していることがわかりました。これは配信を一回見たから次回以降から無視する、配信が来ても削除する、または配信用のアカウントをブロックしたことが原因と考えられます。
この配信を見てキャンペーン期間中に銀行口座登録を行ったユーザーのうち、キャンペーンメッセージをクリックして銀行口座登録を行ったユーザーは41%でした。
また、それらのユーザーの約51%が決済を行っていました。

次に、ユーザーを以下の表のようにセグメント分けし、2022年7月、8月の銀行チャージ率を集計しました。この集計で用いたユーザーはキャンペーン対象でないユーザーも含まれています。
LINE Pay利用期間による継続率の違いを明らかにするため、ユーザーをnew payment user（以下pu）, come back three months pu, growing new pu, growing come back three months puの4つに分けました。こうすることで、銀行口座登録したばかりのユーザーのセグメントごとの継続率を確認することができます。

セグメントの詳細は以下の表にまとめました。

ユーザーセグメント	説明
new pu	当月に新規にLINE Pay決済を利用したユーザー
come back three months pu	当月の決済から過去3か月の間に決済のないユーザー
growing new pu	前月、前々月にnew puの条件を満たしたユーザーのうち、当月に利用したユーザー
growing come back three months pu	前月、前々月にcome back three months puの条件を満たしたユーザーのうち、当月に利用したユーザー

どのセグメントに施策が効いているかを確認するため、各セグメントごとのpu数、決済回数を計算しました。
以下の表はユーザーセグメントごとのpu数に対するcontributeやliftupを示した表です。

contribute = キャンペーン対象のユーザーセグメントごとのPU数 ÷ 各セグメントのpu数
liftup = 各セグメントのcontribute - 全体のcontributeの平均

date	Monthly pu segment	contribute	liftup
2022/8/1	01.new pu	0.42%	0.35%
2022/8/1	02.comeback three months pu	0%	-0.16%
2022/8/1	03.growing new pu	0.18%	0.02%
2022/8/1	04.growing comeback three months pu	0%	-0.16%
全体		0.16%

以下の表は各セグメントごとの決済回数のcontributeやliftupの表です。

date	Monthly pu segment	contribute	liftup
2022/8/1	01.new pu	0.95%	0.79%
2022/8/1	02.comeback three months pu	0%	-0.16%
2022/8/1	03.growing new pu	0.18%	0.02%
2022/8/1	04.growing comeback three months pu	0%	-0.16%
全体		0.16%

この2つの結果ともに、new puセグメントで高い反応を示しており、施策のターゲティングが適切であったといえます。一方で、growing new puセグメントはcontribute、lift upともに値が低く、既に慣れ親しんだチャージ方法があるため、銀行チャージのハードルが高いのではないかと考えることができます。

分析

投資費用効果を回収できているかを検証するために、キャンペーンにかかったコストとキャンペーンに参加したユーザーのLTV(Life Time Value)を比較しました。
＊ただし、LINE PayのLINE公式アカウントからのキャンペーンメッセージをクリックして銀行口座登録を行ったユーザーをキャンペーン参加と定義します。
以下の図はキャンペーン期間中に銀行口座登録を行ったユーザーを表しています。

キャンペーンメッセージをクリックし銀行口座連携し、決済を行ったユーザーに限定した場合

LTVは以下のように算出しました。

(月平均決済金額) × (平均延べ利用月数) × (MDR) × (OA配信をクリックして銀行口座登録を行ったユーザーのうち決済を行ったユーザー数)

＊月平均決済金額や平均延べ利用月数は2021年8月のnew puかつ銀行口座登録を行った人を抽出し、2022年7月末までの12か月間の集計を行った結果を採用しました。

＊MDRとは全LINE Pay加盟店の手数料率の平均です。

ROIは以下のよう定義したとき、

（LTV÷キャンペーンコスト）×100%

銀行口座連携促進キャンペーンのROIは59%となり、LTVよりキャンペーンコストのほうが高い施策であることが分かりました。

キャンペーンメッセージのリアクションに関わらず銀行口座連携し、決済を行ったユーザーを想定した場合

決済を行ったユーザー＝キャンペーン参加し決済を行ったユーザ＋キャンペーン関係なく銀行口座登録を行い決済を行ったユーザ

キャンペーンメッセージをクリックして銀行口座連携し、決済を行ったユーザーに限定した場合と同様に計算したLTVではROIが約185%となります。
ここから、もしキャンペーンへの参加が明確なユーザーにのみポイントを付与していればROIは高くなったと考えられます。

結果

今回の分析の目的は以下の2つでした。

キャンペーンを認知した上で銀行口座登録を行ったユーザーのチャージおよび支払いが高い確率で行われているか
施策の投資費用を回収できそうか

まず、キャンペーンを認知した上で決済を行っているユーザーは51%となっていることから1つ目の目的に関しては達成できているといえそうです。
一方で、2つ目の点に関してはROIが59%であり、投資費用の方が高い結果になりました。
分析を通して、LINE PayのLINE公式アカウントからのキャンペーンメッセージをクリックせずに銀行口座登録を行ったユーザーに対してもポイント付与しているためキャンペーンコストが大きくなり、ROIが低くなっていることがわかりました。
そこで、キャンペーンメッセージをクリックしたユーザーに限定してポイント付与する仕組みを導入することで、銀行口座連携促進キャンペーンはROIが高い施策になると考えられます。

おわりに

本インターンシップではLINE Payの銀行口座連携促進キャンペーンの効果検証を行いました。
事業部の方とミーティングを通して、解決すべき課題をみつけて分析を行い、事業部の方に説明するなど普段の研究活動では経験できないことをこのインターンシップで
経験できてとてもためになりました。
特に、面白いと感じたことは自分が行った効果検証を踏まえて、次の施策にどう活かすか、どういう施策を行うべきかを考察し発表したことです。
このように自分の行った仕事が企業の意思決定につながるということは非常にやりがいがあり、面白いと感じたポイントでした。
分析だけでなく、普段のデータサイエンスチームのミーティングに参加し社員の方がやっている仕事を拝見したり、Financial Data Scienceチームの方との1on1ではキャリアの話などを相談することができて非常に刺激になりました。
また、オンラインランチでは面白い企画などを考えて下さりありがとうございました。おかげで緊張せずのびのびと仕事に取り組むことができました。
最後に、マネージャーのwoosungさん、メンターのnagaoさん、Financial Data Scienceチームの皆さん、お忙しい中サポートしてくださり本当にありがとうございました。

Blog