2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「データサイエンスによるLINE PayのLINE公式アカウントの情報受け取り体験の改善」です。
LINE PayのLINE公式アカウントは、新機能やキャンペーンなどの有益な情報を届ける重要なチャンネルですが、以前は必ずしも有用でない可能性があるメッセージをユーザーが高頻度で受信しているという課題がありました。これを解決するためにユーザー観点からの有用性を定量的に評価する仕組みと、ユーザー反応をモニタリングするツールを構築するなどの取り組みを行いました。この取り組みの内容やデータサイエンティストとして意識していることなどについて、セッションで語った椙本功弥と、同じチームの長尾圭一郎に語ってもらいました。
データサイエンティストが指標の選定で大切にしていること
――LINE DEVELOPER DAY 2021のセッションにおいて、LINE公式アカウントで送信するメッセージの有益性を、メッセージ内のリンクをクリックした比率である「Message Click Rate」と、メッセージを受け取ったユーザーがアカウントをブロックしない比率である「Non-block rate」で評価したという話がありました。このような指標を検討・選定する際に、意識していることを教えてください。
椙本：データ分析で用いる指標を決定する際に意識していることは2つあります。1つ目は達成したいゴールとリンクしているか。2つ目はアクショナブルな指標であるかです。
達成したいゴールとリンクしている指標は、山登りにたとえると方位磁石のような役割を担うものだと考えています。向かっている先が山の頂上であるかどうかを、方位磁石で確認するイメージです。一方、アクショナブルな指標は意思決定を支援します。もし山の頂上とは違う方向に向かっているのであれば、正しい方向に軌道修正しなければなりません。その意思決定をサポートするのがアクショナブルな指標です。
逆に指標が適切ではない場合、目的を達成するために指標を改善しても、ゴールに辿り着かないという結果になりかねません。また、その指標を見ても具体的に何をすればよいのか分からない、言い換えればアクションに結び付かない指標も適切なものではないと言えると思います。
長尾：指標の信頼性も非常に重要だと考えています。測定するたびに結果が変わるような指標では、それを信頼してアクションを起こすことができなくなるためです。具体的には、アンケート調査で取得するような指標が挙げられます。このアンケートを複数回行うなどといったとき、同じ内容であるにもかかわらず、毎回設問の文章が異なっていると、回答に揺らぎが生じる可能性があります。指標を検討する際は、こういったことも注意しています。
――メッセージの有用性を判断する指標として、Message Click RateとNon-blocking Rateを利用するということはスムーズに決まったのでしょうか。
椙本：今回の事例で言えば、 LINE PayのChief Product Officerから「Message Click RateとNon-blocking Rateを使ってメッセージの有用性を可視化してみてはどうか」という提案があり、議論が始まりました。2つの指標を用いて検証してみたところ、納得感のある結果が得られたため、その2つの指標を用いてチューニングを進めるということになりました。
ただ、そのほかのプロジェクトではデータサイエンティストが指標を決定して提案することのほうが多いですね。その場合は幅広い選択肢の中から指標を選定することになります。この指標の選択には様々な考え方がありますが、たとえばプロダクトに関する分析であれば、North Star Metricと呼ばれる考え方などを参考にしつつ、現場の人とディスカッションしながら最終的な指標を決定しています。
ユーザーターゲティングに新たな仕組みを採り入れて業務負担を軽減
――LINE PayのLINE公式アカウントで発信するメッセージの有益性に関する分析手法について、セッションで話した後も継続して改善が行われているのでしょうか。
椙本：改善を続けています。現場で運用を続けていくと、別の指標を追加したいといったニーズが生まれることも多く、それに対応するために指標の追加などを行います。
たとえばキャンペーンのお知らせであれば、クリックしたかどうかをチェックすることにより、どれくらいの人が参加意欲を持っているかを間接的に把握できます。ただ実際に運用してみると、それだけでは不十分だったため、実際にメッセージを読んでキャンペーンに参加した人がどの程度いるのかまで知りたいといったケースがあります。こうした現場の声に応えて指標を追加することは珍しくありません。
このように、分析のための仕組みは1回作って終わりというわけではなく、現場で運用していく上で出てきた新たな課題などに対応するために改善を重ねています。
長尾：LINE PayのLINE公式アカウントの分析において、実際に改善に取り組んだものとして「 Auto Recommendation API」を利用したユーザーターゲティングがあります。
たとえばキャンペーン情報などを配信する際、テキストとイメージを組み合わせたメッセージを配信しています。そのテキストとイメージを機械学習的に読み込み、反応しやすいユーザーをスコアリングするモジュールが新たに開発されました。それが Auto Recommendation APIです。
それ以前は、同じくLINEが独自に開発した「Lookalike Audienceターゲティング」と呼ばれるものでターゲティングしていました。こちらは与えられたユーザーグループをSeedユーザーとして、そのユーザーに似たユーザー集合を返すシステムになります。これを Auto Recommendation APIに置き換えても十分な精度が得られることが分かり、また Auto Recommendation APIであればSeedユーザーを考える必要がなく、業務負担を軽減できることから、今後導入を予定しています。
分析結果を見てアクションにつながるかが重要
――LINE公式アカウントのメッセージ有用性の判断にデータ分析を組み込んだことで、どのようなベネフィットが生まれたと考えていますか。
椙本：1つは現場でPDCAサイクルを迅速に回せるようになったことです。実際に事業部の方からもそのようなフィードバックをいただいています。
LINE PayのLINE公式アカウントのデータ分析では、データを可視化するためのツールとしてTableauを利用し、メッセージを配信した翌日にはMessage Click RateやNon-blocking Rateを確認できるようにしています。それを見ることで、過去の配信結果と照らし合わせてBlocking Rateがどの程度の水準なのか、どれくらいクリックされたのかすぐに把握できるようになっています。これにより、メッセージの配信結果をチェックし、何が原因でそういった結果になったのかをすばやく検討して次のアクションにつなげられるようになりました。
2つ目はターゲットとなるユーザー選定の自動化です。もともとのLookalike Audienceターゲティングや、その後新たに導入した Auto Recommendation APIにより、ターゲットユーザーを検討するプロセスを自動化できたことで、オペレーション工数の削減が図れ、別の業務に充てる時間が増えたことは、今回提供できた大きなベネフィットだと感じています。
――Tableauを用いてデータを可視化したとのことですが、実際に分析結果をグラフなどで表現する際に気をつけていることはありますか。
椙本：前述したアクショナブルな指標を選ぶことにもつながるのですが、その分析結果を見てアクションにつながるか、あるいは意思決定ができるかの観点は重要だと思っています。
今回の事例で言えば、Message Click RateやNon-blocking Rateが過去の配信結果と比べてどうなのかを比較できるように工夫しています。単にMessage Click RateやNon-blocking Rateの数値だけを出しても、それが良い結果なのか、それとも悪い結果なのかを判断することは難しいでしょう。そこで比較基準として過去の結果を同時に出すことで、その数値の善し悪しが判断できて、アクションにつなげやすくしています。
海外のテック系企業やLINE社内で広がる「Mixed Method」
――今回セッションで発表したもの以外に、データサイエンティストとして手応えを感じた取り組みや事例はありますか。
椙本：直近で取り組んでいるプロジェクトで、大きな成果が出せたと感じているものに、ユーザーリサーチを取り入れて、マーケティング施策の企画や改善の意思決定をサポートするというものがあります。
普段はログデータを用いて定量分析を行い、それによって現場の意思決定を支援するといったことが多いです。ただユーザーを理解することを考えたとき、ログデータだけでは限界があると感じています。
どのように行動したのかはログデータで分かりますが、なぜその行動を起こしたのかまで理解することはできません。そこでアンケートなどを用いたユーザーリサーチを取り入れ、ユーザーがサービスを選んだ目的、あるいはプロセスの途中で離脱した理由などについての理解度を深めることに取り組みました。そのプロジェクトでは、こうしたユーザーリサーチに基づいてKPIの設定や施策の立案を進めています。
長尾：私もブランド価値を定量的に計測することを目的として、定性調査を取り入れた分析を行いました。あるサービスにおいて、競合サービスを含めて、サービスの使いやすさや好みのブランドなどについて調査するという内容です。この調査では、心理計量学の考え方も取り入れ、ユーザーの行動を解釈できるモデルを作りました。
椙本：このように、定量データと定性データを組み合わせて分析し、意思決定するといったアプローチをMixed Methodと呼びます。昨今では海外のテック系企業にも取り入れられているほか、LINEの中においても広まりつつあります。
――最後に、データサイエンティストとして大切にしていることを教えてください。
長尾：事業部側が知りたいことをヒアリングできちんと汲み取ることは重要だと感じています。要望を聞き出し、仮説を立て、それを吟味しながら分析設計を行っていく。それによって事業部側に納得してもらえる結果を生み出す、そういったプロセスをつねに意識しながら分析に取り組んでいます。
椙本：LINEのデータサイエンスチームには、「データ分析によってLINEの各サービスの競争力を最大化する」というミッションがあります。取り組んでいる仕事がこのミッションに沿っているかどうかは、つねに意識するようにしています。
データを過信しないことも意識しています。現状のデータだけだとここまでは言えない、あるいはこの分析手法はこういう仮説を置いているので、この前提ではここまでしか言えないといったことがあります。そのため、自分が見ているデータや使っている手法から何が言えるのかを意識し、そこから結論を出すことを大切に考えています。
採用情報
LINE株式会社では一緒に働くデータサイエンティストを募集しています！
今回のインタビューと関連する募集ポジションはこちらです。