Data

【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します

LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 

今回は、LINEグループ全体のデータ関連業務で根幹になる戦略・政策・技術に関わる業務を担当しているData Platform室から、データ基盤の開発をしている「Data Infrastructureチーム 」とData ingestion pipelineを開発する「Ingestion Pipelineチーム」をご紹介します。Wang Tianyiと齋藤智之に話を聞きました。 

ダウンタイムなしでHadoopクラスタを移行した時の話

こんにちは、Data Platform室の小野です。Data Platform室では、昨年のLINE DEVELOPER DAYでも発表があったように、大規模なHadoopクラスタを運用しています。


この記事では、そのときどのようにHadoopクラスタを移行したのか、そしてどのような問題が起こったのかについて、ご紹介します。

LINEのストレージ効率化を支えるJPEG↔HEIF変換プロジェクト「Antman」開発記

写真や動画などのLINEのメディアデータは、すべてLINEのメディアプラットフォームが運営するメディアストレージ「OBS(Object Storage)」で管理しています。OBSは、LINEとLINEファミリーサービスで使うメディアデータを管理しており、計100PB(PetaByte:ペタバイト)くらいのストレージを使用しています。そのうち約30PBを占めているのが、このLINEのアルバム機能なのです。すべてのデータをサーバーに保存しなければならないので、ストレージサーバーの費用だけでも無視できないくらい高い費用がかかっています。