Blog - LINE ENGINEERING

TAG ARCHIVES: Kafka

【インターンレポート】LINEスキマニへのDecaton導入の事前検証
Bingxin Qu2021-11-05
自己紹介はじめまして、立命館大学情報理工学研究科修士1年のQU BINGXINと申します。普段はアドホックネットワークについて研究しています。今回参加させていただいた就業型インターンでは、LINEスキマニの開発チームでサーバーサイド開発を担当させていただきました。 LINEスキマニとは？利用者の「ちょっとした隙間時間」「スキル」「好きな仕事」という3つの「スキ」を「お金（money）」に変える世界観をユーザーに提供すべく、2021年3月にリリースした単発雇用のマッチングサービスです。利用者は自分の経験・スキルに合った求人を探して応募し、企業とマッチングすると、書類選考や面接なしでその店舗で働くことができます。タスクの説明 LINEスキマニのサーバーサイド開発ではKotlin+Spring Bootが使われています。Server-Side Kotlin は初めて開発することになりました。Spring Boot は Web-Application-Framework であり、実際インターンの期間中の約一週間はSpring Bootの基本的な使い方について勉強しま
【Team & Project】LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームを紹介します
LINE Engineering2020-06-12
LINE Engineering Blog official account
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームについて紹介します。Z PartチームのWonpill Seo、井出真広、Javier Luca de Tena、河村勇人に話を聞きました。 Z Partチームのzoom会議の様子 ―― まず、自己紹介をお願いします。 Wonpill：LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用を担当しているZ Partチームでマネージャーとして働いています。井出：今所属しているZ Partでは、主にMessaging platformで利用しているRedisクラスタの運用やRedisを使ったサービスの開発を担当しています。また、LINEがOSSとして開発しているJavaのRPCフレームワーク「Armeria」の各種サービ
- HBase
- Redis
- Kafka
- Decaton
Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例
LINE Engineering2020-05-13
先日 LINE が開発するライブラリ Decaton が OSS として公開されました。Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。GitHub - line/decaton: High throughput asynchronous task processing on Apache Kafka 今回の記事では、LINE で Decaton がどのように利用されているか、実際に利用されているプロダクトの実例を交えて紹介します。 Decaton とは? Decaton は LINE 社内で非同期処理を行う際のジョブキューとして利用されているライブラリで、データストアとして Kafka を利用しています。 Kafka には、ストリーム処理を扱う公式のライブラリとして Kafka Streams があります。しかし、Kafka Streams では当時の LINE 社内の要求を全て満たすことができず、別途 Kafka を用いたライブラリである Decaton を開発することになりました。 Decaton は Kafka Str
- Kafka
- Decaton
JJUG CCC 2019 Fallレポート
きしだ2019-12-27
こんにちは、LINE Fukuokaのきしだです。先月開催されたJavaのコミュニティイベントJJUG CCC 2019 Fallにて、LINEはGoldスポンサーとSushiスポンサーをつとめました。またスポンサーセッションとあわせて4人のLINEメンバーが登壇しましたので、その様子をお伝えします。 Head toward Java 13 and Java 14 / KUBOTA Yuji #ccc_c1 朝一番のセッションでは、久保田さん(@sugarlife)が最新バージョンであるJava 13の機能と現在開発中のJava 14に入ることになった機能について解説しました。また、OpenJDKのメンテナンスがどのようになっているかまとめました。 Head toward Java 13 and Java 14 #jjug from Yuji Kubota Reliability Engineering Behind The Most Trusted Kafka Platform at LINE / Yuto Kawamura #ccc_c3 スポンサーセッションでは、河村
- Event Report
- Java
- Kafka
Adventures of Using Kafka Streams
imgaara2018-12-20
LINE Senior Software Engineer of Core Message System & Distribute Storage
This is the 20th post of LINE Advent Calendar 2018. My name is Kang Yu, Senior Software Engineer of LINE Core Message Storage Team. Today I will talk about the experiences about using Kafka Streams (KStreams). 1. Requirements 2. Overview of the Architecture 3. High QPS Consuming 4. Store Efficiency 5. Memory Store Efficiency 6. Kafka Streams’ Defects 7. Necessary Optimization on Rocksdb 8. Summaries About Using Kafka Streams 1. Requirements We are creating a real-time monit
- Kafka
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
Ryosuke Hasebe2018-02-12
LINE Engineer
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とはお年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個のお年玉が付与されます。こういったメッセージが受信されますユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取って開封したユーザーは抽選で以下の報酬を得ることができます。 1等 100本現金にて 1,000,000円 2等 1,000本 LINE Pay残高10,000円分 3等 10,
内部データパイプラインへのKafka Streamsの適用
Kawamura Yuto2016-08-18
LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。
Kafka Streamsのご紹介こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。内部システム間のevent deliveryを統一された方法で行うデータパイプラインの開発 LINEサーバシステムにおけるバックグラウンド処理を担当するコンポーネントの一つであるtalk-dispatcherの置き換えこの2つの目的は互いに関連性がないようにみえますが、これらの目的を達成するために、Apache Kafkaとストリームプロセッシング技術を適用することを考えています。Apache Kafkaは、LinkedInによって開発され、使われてきた大容量の分散メッセージングシステムです。ユニークな機能を多数提供していますが、一番重要な特徴は次のとおりです。ディスクベースの永続化を提供す
- Kafka

1