Blog

Kawamura Yuto

LINE에서 엔지니어로 재직하고 있습니다. Apache Kafka, Apache HBase 같은 OSS 기술을 바탕으로 LINE의 핵심 데이터 파이프라인과 스토리지를 개발, 관리합니다.

LINE에서 Kafka를 사용하는 방법 - 2편
Kawamura Yuto2019-10-30
LINE에서 엔지니어로 재직하고 있습니다. Apache Kafka, Apache HBase 같은 OSS 기술을 바탕으로 LINE의 핵심 데이터 파이프라인과 스토리지를 개발, 관리합니다.
참고. 이번 블로그는 LINE DEVELOPER DAY 2018에서 Yuto Kawamura 님이 발표한 ‘Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages’ 세션을 기록한 내용을 각색하여 옮긴 글입니다(원문 기록 및 제공: logmi). 안녕하세요. LINE에서 소프트웨어 엔지니어로 일하고 있는 Kawamura Yuto입니다. 지난 1편에 이어 이번 글에서는 Kafka 클러스터의 신뢰성과 성능을 확보하기 위한 클라이언트 간의 작업 부하 격리와 관련해서, 실제 운영 환경에서 발생했던 문제를 예시로 설명하겠습니다. 운영 환경에서 발생한 문제 우선 클러스터의 성능 저하를 발견한 게 계기가 되었습니다. Kafka의 클라이언트가 클러스터에 데이터를 입력할 때 사용하는
LINE에서 Kafka를 사용하는 방법 - 3편
Kawamura Yuto2019-10-30
LINE에서 엔지니어로 재직하고 있습니다. Apache Kafka, Apache HBase 같은 OSS 기술을 바탕으로 LINE의 핵심 데이터 파이프라인과 스토리지를 개발, 관리합니다.
참고. 이번 블로그는 LINE DEVELOPER DAY 2018에서 Yuto Kawamura 님이 발표한 ‘Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages’ 세션을 기록한 내용을 각색하여 옮긴 글입니다(원문 기록 및 제공: logmi). 안녕하세요. LINE에서 소프트웨어 엔지니어로 일하고 있는 Kawamura Yuto입니다. 지난 글에서 LINE에서 Kafka를 사용하는 방법(1편)과 실제 저희 운영 환경에서 발생했던 문제(2편)를 공유드렸는데요. 이번 글에서는 2편에서 설명드렸던 문제를 해결한 방법과 그 방법을 적용한 결과를 말씀드리겠습니다. 해결 방법 검토 2편에서 설명드렸던 문제를 요약하면 다음과 같습니다. 브로커가 Fet
LINE에서 Kafka를 사용하는 방법 - 1편
Kawamura Yuto2019-10-28
LINE에서 엔지니어로 재직하고 있습니다. Apache Kafka, Apache HBase 같은 OSS 기술을 바탕으로 LINE의 핵심 데이터 파이프라인과 스토리지를 개발, 관리합니다.
참고. 이번 블로그는 LINE DEVELOPER DAY 2018에서 Yuto Kawamura 님이 발표한 ‘Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages’ 세션을 기록한 내용을 각색하여 옮긴 글입니다(원문 기록 및 제공: logmi). 안녕하세요. LINE에서 소프트웨어 엔지니어로 일하고 있는 Kawamura Yuto입니다. 저는 LINE 서버 개발을 중심으로 HBase 운영 등의 업무를 하고 있으며, 현재 전사적으로 Kafka 플랫폼을 제공하는 팀의 리더를 맡고 있습니다. 이번 글에선 LINE에서 운영하고 있는 대규모 Kafka 플랫폼에 대해서 말씀드리려고 합니다. Kafka라는 소프트웨어에 대해 간단하게 설명하자면, Kafka는 스트리밍 데이터를 다루기 위한 미들웨어
내부 데이터 파이프라인에 Kafka Streams 적용하기
Kawamura Yuto2016-08-18
LINE에서 엔지니어로 재직하고 있습니다. Apache Kafka, Apache HBase 같은 OSS 기술을 바탕으로 LINE의 핵심 데이터 파이프라인과 스토리지를 개발, 관리합니다.
Kafka Streams 소개 안녕하세요, LINE에서 서버 개발 엔지니어로 일하는 Yuto Kawamura라고 합니다. 저는 HBase, Kafka와 같은 LINE의 핵심 스토리지 설비를 개발, 운영하는 일을 주로 맡고 있습니다. 작년 하반기부터는 IMF(Internal Message Flow 또는 Fund)라는 명칭의 신규 프로젝트도 맡고 있습니다. IMF 프로젝트의 목적은 크게 두 가지입니다. 사내 시스템 간의 이벤트 전달을 일원화된 방식으로 처리하는 데이터 파이프라인 개발 LINE 서버 시스템 구성요소 중 백그라운드 태스크 처리를 담당하는 talk-dispatcher 개선 이 두 목적은 서로 연관이 없어 보이지만 저희는 두 부분에 동일하게 Apache Kafka와 스트림 프로세싱 기술을 적용해 보려고 합니다. Apache Kafka는 LinkedIn에서 주로 개발하고 사용해온 대용량 분산 메시징 시스템입니다. 여러 특화된 기능을 제공하고 있는데 가장 중요한 특징은 다음과
- Kafka

Kawamura Yuto

LINE에서 Kafka를 사용하는 방법 - 2편

LINE에서 Kafka를 사용하는 방법 - 3편

LINE에서 Kafka를 사용하는 방법 - 1편

내부 데이터 파이프라인에 Kafka Streams 적용하기