LINE Data Platform室 Data Solutionsチームで社内のData Platform利用ユーザのサポート をしています
LINE Data Platform室 Data Solutionsチームで社内のData Platform利用ユーザのサポートをしています
こんにちは。Data Platform室 Data Solutionsチームの片岡と北川です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員(以下、ユーザ)が活用できるように、データの収集、処理、分析、可視化を提供しています。我々が所属するData Solutionsチームでは、IUのプロダクトのユーザへのデリバリー、IUの安定運用のためのエンジニアのサポート、ユーザからのテクニカルな質問への回答を担当しています。 今回は、その活動の一環として実施したSpark3.2.1アップグレードプロジェクトにおけるリソース効率の改善事例について紹介します。 Spark3.2.1アップグレードプロジェクト発足の背景 IUでは、IUの テーブルに対してデータ操作をする際には、SQLやScriptを利用してユーザ自身でDDL/DMLを実行してもらう運用としており、IU側で実行エ