こんにちは。LINEセキュリティチームのRobin Lundeです。
2019年はLINEが実施する、外部の方がLINEのアプリケーションに対する脆弱性を発見した場合に報奨金をお支払いするプログラム「LINE Security Bug Bounty Program」にとって、重大な出来事の多い年になりました。
この記事では、2019年における重要なトピックと得られた教訓、そして、2020年のプランをお伝えします。
HackerOneへの移行
2018年後半から2019年前半にかけて、LINEの脆弱性報告プラットフォームをHackerOne社が提供する脆弱性報告プラットフォーム「HackerOne」へ移行した場合に得られるメリットの調査を始めました。慎重に検討を重ねた末に、HackerOneへの移行によって、プログラムとその結果を改善できるだろうとの結論に達しました。それにしたがい、プラットフォームの移行を開始しました。移行を決定した要因のひとつは、HackerOneではレポートをより簡単に公開できるので、受け取ったレポートに関してLINEの透明性とオープン性を高めることができる点です。以前は独自のプラットフォームで情報を共有していましたが、一歩進んで、もっと多くの人が慣れている環境で情報を共有したいと考えています。もうひとつの重要な要因は、よく知られたプラットフォーム上にプログラムを置くことによって簡単に見つけてもらえるようになれば、世界中からの参加者が増えることが予想されるためです。。
また、ハッカーたちのほとんどがHackerOneにアカウントを持っていて、別のアカウントを登録する必要なく簡単にレポートを作成することができます。
いくつかの選択肢を検討した結果、はじめはPrivate Programとして従来の独自プログラムと並行して運用すれば、どちらが最良の道なのか選ぶための評価ができるだろうとの結論に達しました。必要な準備を行い、7月1日に、HackerOne Private Programをローンチしました。Private Programとは、招待されたハッカーのみが参加できるプログラムです。従来のプログラムに参加していた人はすべて招待し、また、HackerOneチームの助けを借りて、高度な技術を持つ新しい調査者を導入しました。
HackerOne Private Program
先にも述べたとおり、私たちは2019年7月1日にPrivate Programを開始しました。 最初の有効なレポートは7月12日に提出され、報奨金は$5,000でした。Private Programの運用期間を通して、合計101本のレポートを受け取り、そのうち37本が報奨金の対象となりました。
つまり、受け取ったレポートの36％以上が報奨金の対象になったことになり、これには驚かされました。このような良い結果が得られ、また新しいプラットフォームに慣れ、新しい手順を試して馴染むための時間を取った後で、Public Programへの変更に着手しました。
| 2019年7月 | 2019年8月 | 2019年9月 | 2019年10月 | 2019年11月 | |
| 提出件数 | 16 | 21 | 25 | 28 | 11 |
| 有効件数 | 9 | 5 | 9 | 7 | 7 |
| 有効率 | 56.3% | 23.8% | 36.0% | 25.0% | 63.6% |
HackerOne Private Program 統計。11月は、11月15日までのデータのみ。
Private ProgramとPublic Programの差はあまりないように見えますが、パブリックに変更した直後にレポートが急増することは、考慮すべき顕著な変化です。さらに、クリティカルなレポートなどが重なるなどの予想外の状況が生じた場合に、何をするべきか、また、上司にどのように状況を適切に引き継ぐかを担当のチームメンバーに周知徹底するために、手順とポリシーを準備しなければなりません。
また、知名度を高めることと、このプログラムにできるだけ多くのハッカーに参加してもらえるよう働きかけることも重要でした。そこで、プレスリリースの作成、レポーターとの情報共有、そして、このプログラムをハッカーたちに確実に知ってもらうために、多大な努力が必要になりました。11月の初めの数週間に最後の準備を終えた後、11月15日にPublic Programへの変更を行いました。
パブリック公開
4か月半の準備・移行期間の後、11月15日にプログラムを完全にHackerOneに移し終え、Public Programとなりました。この情報をLINE DEVELOPER DAY2019のイベント期間中に共有したいと考え、努力を重ねた結果、イベントに間に合わせることができました。11月15日から11月23日までの最初の1週間だけで合計103本のレポートを受け取り、これは、7月からのPrivate Programの運用を通して受け取った数を2本超えています。当該期間において報奨金の対象となったレポートの比率はとても低かったとはいえ、知名度を高め、情報を広げるための努力が実ったことが確証されました。でも、良いことばかりではないのが世の常です。
HackerOneでPublic Programに変更したことによって、従来のプラットフォームの運用を維持するために利用できるリソースが不足してしまいました。従来のバグ報奨金制度の旅に別れを告げるのは悲しい気持ちでしたが、11月14日の真夜中に、旧プラットフォーム経由でレポートを提出する最後の機会が終わり、HackerOneへの移行という目標の達成に成功しました。
旧プラットフォームの廃止
11月14日に、旧プラットフォームへのレポートの提出を正式に締め切りました。ただし、レポーターの方々が自分の古いレポートを読み返したり、メモを取ったり、情報をエクスポートしたり、残っている問題を片付けたりすることができるように、旧プラットフォームは、2019年12月31日まで、登録ユーザーからはアクセス可能としました。そして、年明けとともに、旧プラットフォーム上のすべての問題を閉じ、完全にシャットダウンしました。旧プラットフォームはすでに運用を停止していますが、初期段階から重ねた歴史と、今のプログラムの構築を支援してくださった方々への感謝の気持ちを忘れることはありません。そこで、オリジナルのウェブページを残し、さらに、これまでLINEユーザーの安全を守るために貢献してきた人々を称えてhall of fameを残すことにしました。このウェブページはHackerOneへの移行をうけて変更されていますが、情報源として、また過去のプログラムへのリファレンスとして、当面の間このページを維持する予定です。
旧プログラムに参加してくださった皆様に感謝するとともに、私たちと共にHackerOneに移行し、今後の発展にご協力くださいますようお願いします。
レビューの数値
まず、1年の全体を振り返ります。次に、統計を細かく分けて、この年に行った選択がプログラムに与えた影響について考えます。
年間レビュー
次のグラフを見ると、レポートの数が着実に増加していることがわかります。2019年には、合計520本のレポートを受け取りました。さらに、有効なレポートと報奨金を受け取ったレポーターの数もまた着実に増え、2019年に受け取った有効なレポートは106件、報奨金を受け取ったハッカーは合計47人でした。
成長の観点からこれらの統計を見ると、次のグラフは2018年から2019年への相対的な増加を示しています。
例えば、報奨金の対象となったハッカーは、2018年から2019年までに42%増加し、2019年に報奨金の対象となったハッカーの数は、2018年の数の142%となりました。さらに、有効なレポートの数は2018年より20%増加したことがわかりました。この数値は、とても大きく、また私たちにとって非常に重要なものでした。プログラムに参加するハッカーの提出するレポートと結果が良くなっているということだからです。これまでに比べて無効なレポートに対処する時間が減ったということでもあり、これは、時間を有効活用するために非常に重要なことです。
年間を通して絶えずレポートが提出されていましたが、いくつかの明確なピークが見られました。明らかに、有効なレポートのほとんどは年の後半に受け取られています。次のグラフは、各月の有効なレポートを四半期ごとにまとめて示しています。
ここからは、皆さんが一番知りたいであろう数字、つまり報奨金そのものについて説明します。昨年にLINEがお支払いした報奨金は合計$139,000で、バグ報奨金プログラム全体を通して合計$347,000となりました。（昨年以前についての詳細は、2018年 LINE Security Bug Bounty Programと更新についての「現在までの統計」を参照してください）。
Private Program
ここまでを踏まえて、ここからは、私たちの決断を分析し、HackerOneでPrivate Programを実施した結果を見ていきます。先のグラフで見たように、第1四半期と第2四半期には、月平均で3.5本の有効なレポートがありました。第3四半期はPrivate Programのローンチと重なり、活動が大幅に増加したことがわかります。両方のプログラムを同時並行で運用していたため、活動の増加は、両方のプログラムで見られました。
ただし、先のグラフからは見えませんが、HackerOneを通して受け取ったレポートは有効である率が高かったのです。HackerOneでPrivate Programとして運用した4か月間に提出されたレポートの40.94％が有効でした。換言すれば、レポートのほぼ2本に1本は有効だったのです。
次に、Public Programへの移行について考えます。
Public Program
パブリックに移行した後、有効なレポートの総数は増加しましたが、それが全体に占める割合（レポートの有効率）は低下しました。事前の予想によれば、これは、専門の調査者だけではなく、あらゆる技術レベルの参加者に門戸が開かれたことが原因です。
データ集合が極めて小さいので、明確な結論を下すのは困難ですが、現在のところは結果に満足しています。新しいレポーターが増え、また、多様なアセットがチェックされるようになってきました。これはLINEの各サービスの品質とセキュリティ体制を全体的に把握するという我々の目標に非常によく沿っています。このデータに基づいて計画を立て活動を行うことによって、LINEのすべてのユーザーのためにより安全な体験を作り出すという目標に向けた、より優れた、より効率的な業務のための、知識に基づく意思決定を行うことができます。
HackerOneへの移行によるプログラムへの影響
以上をまとめると、HackerOneへの移行により、参加するレポーターが増加し、また、有効なレポートも増加しました。レポーターが増えたことで結果的により多くのサービスが調査・テストされました。このことは、HackerOneへの移行において目指していた目標に近づくことができ、移行が成功であったことと、将来の目標へ向かうひとつのステップになったことを示しています。私たちは、プログラムの改善を続け、ますます多くのハッカーの方々がプログラムに参加してくださることを望んでいます。
チームの変化
新メンバーと役割
この年は、チームに多くの変化がありました。最も大きな変化は、チームリーダーの交代です。
前任のコキチーズさんには、たいへんお世話になりました。新しいお仕事でのご活躍をお祈りします。HackerOneへの移行に着手したのは彼で、私たちが目標を達成することができたのは、彼の努力のおかげに他なりません。
また、3人の新メンバーがチームに加わりました。すぐにチームに馴染み、日常業務に貢献してくれています。彼らの貢献のおかげでプログラムが改善される様子を、ぜひレポーターの方々に見ていただければと願います。
私たちは常に新しいメンバーを探しています。アプリケーションセキュリティやバグ報奨金の業務に興味がある方のご応募をお待ちしております。詳しくは、この記事の最後のリンクをご覧ください。
週末の業務
ハッカーは眠りません。ですから、私たちは、常に発生する可能性のある問題に対処する準備をしていなければなりません。そのため、あらゆる問題を素早く解決してお客様の安全を守れるように、通常業務の一部として週末シフトを導入しました。グローバルなハッカーの参加が増え、レポートが日本国内の通常の営業時間だけでなく、それ以外のいつでもやってくるようになったために必要となった変化のひとつが、週末シフトです。このためにチームのパーソナルタイムはいくらか犠牲にならざるを得ませんが、最も優先すべきなのはLINEユーザーの安全を維持することであり、私たちは、その目標を達成するために改善を続けることに専念します。
私たちチームは、今も、これからも努力を続け、2020年にもたらされる課題とレポートのすべてを楽しみにしています。
報奨金の支払いを円滑に
改善すべき最大の課題のひとつは支払いプロセスで、その点については、私たちが誰よりもよく理解しています。そのため、より円滑な運用と、すべての貢献者へのできるかぎり素早い報奨金の提供のために、支払いの手順と処理を大幅に改善するという目標を設定しました。
現在、この目標を達成する方法を検討中ですが、いくつかの選択肢があがっており、年末までには報奨金を決済するために要する時間を大幅に削減できると期待しています。
レポート公開
セキュリティ問題と脆弱性に関する開放性のためのLINEの取り組みをご紹介し、ユーザーと研究者の方々にLINEのセキュリティに対する姿勢について正しい印象を持っていただくために、今年のもうひとつの目標は、受け取ったレポートの公開を始めることです。サービスに対する信頼を高め、多くの方々のプログラムへの参加を促すために、レポートをHackerOneのコミュニティ内で共有します。
また、レポートを共有することが、その他の人々が私たちの足跡を追い、セキュリティ問題へのさらにオープンな、つまり共有が奨励されるアプローチに寄与してくださるきっかけになれば幸いです。
初期の公開でレポートの詳細をすべて明らかにすることは難しいと思われますが、問題の概要、レポートに関するやりとりのタイムライン、その過程の最終的な報奨について共有できるようにしたいと考えています。目標は、いつかはすべての情報の共有を可能にすることですが、それを行うために、プロセス全体を通じてレポーターとユーザーの安全（セーフティとセキュリティ）を守る適切な手順とガイドラインを定めるように、ゆっくりと確実に作業を進めていきます。
問題が存在する理由を深く理解する
私たちは、さらに、問題がプロダクションに持ち込まれる理由について理解を深めたいと考えており、これが今年の最終目標です。
実現は困難ですが、ソフトウェアやオンラインサービスの目標は、プロダクションにバグやセキュリティ問題が存在しないことです。その目標にできるかぎり近づくために、さらなる改善とより効率的な問題防止の方法を知るために、ワークフローにさらに評価と分析を追加することを計画しています。これによって、レポーターに対しては、あるバグがなぜ存在するのかに関してより良い説明を行うことができ、また、社内の開発者に対しては、より良いフィードバックとガイドラインを提供することができると考えています。その結果、さらに安全なサービスをユーザーに提供し、より良いコミュニケーションと説明をレポーターに提供できるようになることを願っています。
採用情報
Mobile Developer - Security features