Kafka

【Team & Project】LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームを紹介します

LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。
今回は、LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームについて紹介します。Z PartチームのWonpill Seo、井出真広、Javier Luca de Tena、河村勇人に話を聞きました。

Z Partチームのzoom会議の様子

Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例

先日 LINE が開発するライブラリ Decaton が OSS として公開されました。
Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。
GitHub – line/decaton: High throughput asynchronous task processing on Apache Kafka

今回の記事では、LINE で Decaton がどのように利用されているか、実際に利用されているプロダクトの実例を交えて紹介します。

JJUG CCC 2019 Fallレポート

こんにちは、LINE Fukuokaのきしだです。
先月開催されたJavaのコミュニティイベントJJUG CCC 2019 Fallにて、LINEはGoldスポンサーとSushiスポンサーをつとめました。またスポンサーセッションとあわせて4人のLINEメンバーが登壇しましたので、その様子をお伝えします。

25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側

みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE LoginLINE Customer Connect などの開発を担当しています。

2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。

内部データパイプラインへのKafka Streamsの適用

Kafka Streamsのご紹介

こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。

昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。

  • 内部システム間のevent deliveryを統一された方法で行うデータパイプラインの開発
  • LINEサーバシステムにおけるバックグラウンド処理を担当するコンポーネントの一つであるtalk-dispatcherの置き換え