Blog - LINE ENGINEERING

TAG ARCHIVES: Data

쿠버네티스 환경에서 Confluent Platform을 사용해 한 단계 진보한 데이터 파이프라인 구축하기
박찬우2023-01-20
2014년부터 LINE에서 글로벌 이벤트, 오픈챗 포스트, 코인 거래소, 블록체인 플랫폼, 커머스 서버 개발자로 일했고, 현재는 LINE VOOM 서버 개발자로 일하고 있습니다.
시작하기 전에 안녕하세요. LINE VOOM 서버 개발자 박찬우입니다. 최근 쿠버네티스 환경에서 Confluent Platform을 사용해 한 단계 진보한 데이터 파이프라인을 구축하는 프로젝트를 진행했습니다. 그 과정에서 쿠버네티스와 Confluent Platform, 그리고 데이터 파이프라인에 대해 모든 면에서 배운 점이 많았습니다. 가능하다면 이 경험을 최대한 자세히 공유드리고 싶지만, 지면의 한계와 더불어 글이 장황하게 늘어지지 않고 꼭 전달해야 할 부분을 독자 여러분께서 제대로 전달할 수 있도록 이번 글에서는 아래 두 가지 주제에 집중하려고 합니다. Confluent Platform을 쿠버네티스 환경에 구축하고 연관 시스템과 통합하는 과정 구축 후 기존 데이터 파이프라인과 비교해 어떤 면에서 나아졌는지 소개 '커스텀 Connector 및 컨버터 개발과 활용'과 관련해서도 공유드리고 싶은 내용이 많은데요. 이 주제는 추후 다른 분께서 별도 포스팅으로 자세히 소개해
- Server-side
- Java
- Data
Hive에서 실시간으로 쇼핑 데이터를 조회할 수 있게 ETL 개선하기
김성도2022-09-08
LINE에서 커머스 플랫폼 엔지니어로 일하고 있습니다.
안녕하세요. Global EC(Global E-Commerce, 이하 GEC)에서 쇼핑 개발을 담당하고 있는 김성도입니다. LINE 쇼핑에서는 실시간으로 상품 정보를 업데이트할 수 있는 LINE 쇼핑 플랫폼을 사용해 모든 상품 정보를 취합하고 있으며, 취합한 상품 정보는 사용자의 쇼핑 경험을 개선하기 위해 검색 엔지니어와 데이터 엔지니어에게 제공하고 있습니다. 수억 개에 이르는 상품 정보를 서비스에 영향을 주지 않으면서 ETL(Extract, Transform, Load)하는 작업은 쉽지 않은 일입니다. 그런데 여기에 한술 더 떠서 실시간으로 업데이트까지 하려면 어떻게 해야 할까요? 이번 글에서는 이 어려운 과제를 해결하기 위해 어떤 과정을 거쳤는지 소개하려 합니다. 글은 다음과 같은 순서로 진행합니다. 요구 사항 분석 데이터베이스 부하 감소 업데이트 주기 개선 정합성 유지 HBase를 사용한 1차 개선 1차 개선 구현 방법 1차 개선 아키텍처 1차 개선 결과 및 문제
- Server-side
- Data
KSETL로 Kafka 스트림 ETL 시스템을 빠르게 구성하기
김남일2022-08-02
LINE에서 백엔드 서버와 데이터 엔지니어링 업무를 담당하고 있습니다.
LINE DEVELOPER DAY 2021에서 김남일 님이 발표하신 KSETL로 Kafka 스트림 ETL 시스템을 빠르게 구성하기 세션 내용을 옮긴 글입니다. 안녕하세요. Messaging Data Engineering 실의 김남일입니다. 이번 글에서는 'KSETL로 빠르게 Kafka Stream ETL 개발하기'라는 주제로 말씀드리겠습니다. KSETL(Kafka Stream ETL) 개발 배경 KSETL은 Kafka 스트림 ETL(extract, transform, load)의 약자로 Kafka의 데이터를 추출하고 변환해서 적재하는 시스템이라는 의미입니다. 스트림은 한없이 연속으로 생성되는 데이터 형태로 사용자 로그나 센서에서 수집하는 데이터가 대표적인 스트림 데이터입니다. 데이터를 스트림으로 처리하는 이유 데이터를 스트림 형태로 처리하는 이유는 데이터 처리 지연을 줄이기 위해서입니다. 특정 사업 분야에서는 데이터 처리 지연을
- Data
여러 조직에 Airflow 제공하기 2 - 사용자 테스트 Airflow 제공 자동화
김기훈, 윤평화, 김윤식2022-03-28
LINE Financial 데이터 엔지니어
지난 글에서는 사용자에게 멀티테넌시 Airflow 환경을 제공한 방법을 살펴봤는데요. 이번 글에서는 사용자들이 데이터 파이프라인 개발을 할 수 있도록 격리된 Airflow 환경을 제공하는 방법을 말씀드리고, Airflow를 자동으로 제공할 수 있는 설정까지 자세히 살펴보겠습니다. Airflow 사용자 테스트 환경을 제공하기 위해서는 아래 3가지 사항을 만족해야 했습니다. 사용자들이 데이터 파이프라인 개발을 할 수 있도록 각각 격리된 Airflow 환경을 제공해야 합니다. Airflow 웹에 접속할 수 있는 URL을 각 기능별로 제공해야 합니다. 사용자 환경은 GitHub의 Action을 통해 자동으로 생성되고 회수돼야 합니다. 그럼 위 사항들을 하나씩 살펴보겠습니다. Airflow 환경 구성 먼저 사용자들에게 어떤 방식으로 각각 격리된 Airflow 환경을 제공했는지 말씀드리겠습니다. 프로덕션과 개발 환경 각 테넌트의 데이터
- Data
- Clout/Infra
여러 조직에 Airflow 제공하기 1 - 멀티테넌시 Airflow 환경 제공하기
김기훈, 윤평화, 김윤식2022-03-28
LINE Financial 데이터 엔지니어
안녕하세요. LINE Financial의 데이터 엔지니어 김기훈, 윤평화, 김윤식입니다. LINE Financial에서는 여러 조직에서 사용할 수 있는 Airflow 환경을 제공해 달라는 요구가 있었습니다. 이번 글에서는 이 요구 사항을 효율적인 방식으로 풀어내 제공하는 과정에서 고민했던 내용과, 기능(feature) 개발 환경을 자동으로 제공하는 예시를 공유하려고 합니다. 배경 설명 저희는 'LINE Financial의 데이터 관련 업무를 리딩한다'라는 비전 아래 관련 조직의 데이터 파이프라인의 현재 상태를 파악하고 개선하는 프로젝트를 진행하게 되었습니다. 이에 흩어져 있는 데이터 파이프라인 환경을 점검하며 아래와 같은 문제점을 파악했습니다. 문제점 파편화되어 있는 데이터 파이프라인 환경 때문에 관리 포인트가 늘어나는 문제 온 프레미스(on premise) 환경에 구축돼 있기 때문에 추가로 구축이 필요한 경우 비용(서버, 운영,
- Data
- Clout/Infra

1