Blog - LINE ENGINEERING

TAG ARCHIVES: Spark

【インターンレポート】OFS Spark Syncer supporting Iceberg
Kengo Arakawa2023-09-14
Machine Learning Infrastructure2チーム
はじめに自己紹介初めまして、京都大学情報学研究科修士１年の荒川健吾です。大学院では、HRI（ヒューマンロボットインタラクション）分野の研究室に所属し、アバターロボットの移動操作の困難性の解決に意図認識の手法を用いて取り組んでいます。また、普段はアルバイトとして医療現場での医師の負担軽減を目的としたカルテ要約ソフトのバックエンド開発を担当しています。今回は６週間の就業型インターンで、Machine Learning Infrastructure2チームに配属され、Spark を用いた OFS（Online Feature Store）のデータインジェストジョブの開発に取り組みました。 Machine Learning Infrastructure2 チームとは Data Engineering センター/Machine Learning Platform室に属し、4名のエンジニアが在籍しています。社内のエンジニアがMLモデルの開発や利用のみに集中できるように、MLとその周辺環境を利用しやすいものにすることを目的として、たくさんのプロダクト・ツールの開発・運用を行っています。
LINE Data PlatformにおけるSpark3.2.1アップグレードに伴うリソース効率改善の事例
Daisuke Kataoka, Eli Kitagawa2023-09-13
LINE Data Platform室 Data Solutionsチームで社内のData Platform利用ユーザのサポートをしています
こんにちは。Data Platform室 Data Solutionsチームの片岡と北川です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員（以下、ユーザ）が活用できるように、データの収集、処理、分析、可視化を提供しています。我々が所属するData Solutionsチームでは、IUのプロダクトのユーザへのデリバリー、IUの安定運用のためのエンジニアのサポート、ユーザからのテクニカルな質問への回答を担当しています。今回は、その活動の一環として実施したSpark3.2.1アップグレードプロジェクトにおけるリソース効率の改善事例について紹介します。 Spark3.2.1アップグレードプロジェクト発足の背景 IUでは、IUのテーブルに対してデータ操作をする際には、SQLやScriptを利用してユーザ自身でDDL/DMLを実行してもらう運用としており、IU側で実行エ
- Spark
- Data Platform
データエンジニアリング関連ソフトウェアの障害対応事例
Keiji Yoshida2018-12-03
LINE Data Labs データエンジニア
この記事は LINE Advent Calendar 2018 の 3 日目の記事です。 LINE Data Labs のデータエンジニアの吉田啓二です。私が昨年末から今年にかけて担当したデータエンジニアリング関連ソフトウェアの障害対応内容をいくつかご紹介します。 1. Apache Hadoop YARN : ResourceManager Failover 1-1. システム概要 Data Labs が管理している Hadoop クラスタの中で、各 LINE サービスのデータを収集して一元管理しているものがあります。 Apache Sqoop などを使用して各 LINE サービスのデータが HDFS へ取り込まれます。 YARN クラスタ上では MapReduce, Tez, Spark などのアプリケーションが実行され、これらのデータに対する集計・加工などの処理が実施されます。システム構成は以下の通りです。この Hadoop クラスタは HDP-2.6.2.0 (2.6.2.0-205) で構築されており、 YARN のバージョンは 2.7.3 です。 1-2. 発生事象こ
- Hadoop
- Spark
- Zeppelin
Sparkと機械学習と時々MPI
LINE Engineering2016-12-19
LINE Engineering Blog official account
はじめにこんにちは、LINEで機械学習エンジニアを担当している久保です。この記事はLINE Advent Calendar2016の14記事目です。今回の記事は、機械学習の（勾配などの）基本的な知識を持ち、Sparkにおける機械学習に興味がある人向けの内容となっています。 Sparkは大規模なデータのための分散処理フレームワークとして人気があり、弊社でも機械学習関連の開発において利用しています。弊社では機械学習の特徴量の元となるデータがHDFSに格納されているため、それらを容易に読み込むことができる親和性の高さと、分散処理のコードが容易に実装できる所がSparkを利用する上での大きな魅力となっています。具体的な利用方法として、例えば機械学習エンジンに入力する特徴量を作成するためのETL（抽出、変換、ロード）処理に利用しています。また、LINE STOREにおける着せ替えの商品ページの右枠にあるアイテムベースのレコメンドやLINEアプリ内でLINE NEWSを立ち上げた際にトップ画面に出てくる「FOR YOU」枠のためのユーザベースのレコメンドなどにおいて、Sparkの機械学習
- Spark
- Machine Learning
Spark、Mesos、Zeppelin、HDFSを活用した大容量セキュリティデータの解析
OH WANG JIN2015-06-02
現在、LINE Ads Platformのデータエンジニアとして働いています。これまではゲーム、セキュリティ、検索に関する開発を担当してきました。ビックデータ関連技術を研究・開発しています。
LINE Plusでゲームセキュリティ開発を担当しているWJ、KHです。莫大なユーザーがモバイルからアクセスするLINEゲームにおいて、データの迅速な解析と対応はそう容易なものではありません。LINEゲームへのアクセスと海外ユーザーの大幅な増加に伴い、様々なアビューズ(不正とされる操作を通じて不当な利益を得る行為)行為が次々と観察されています。アビューズ行為は、正常にゲームを利用する善意のユーザーに迷惑を掛けることはもとより、ゲームサービスそのものにも直接的な影響を及ぼします。ゲームの安定性を守り善意のユーザーを保護するためには、アビューズ行為に迅速に対処することがとても大事です。アビューズ行為が探知されたら、異なった形式のログを関連付けて解析しその問題の原因を洗い出して修正する必要がありますが、このとき一番の障壁は、大容量のログデータの速やかな処理でした。LINEで扱う各種データ量の増加により、従来の伝統的なビッグデータ処理方式では現象が発生してから事象を確認するまで数十分、数時間が掛かってしまいます。また、データ形式(RDB、NoSQL、File、API)や大容量サービスのため
- Security
- Spark
- Zeppelin

1