LINE에서 백엔드 서버와 데이터 엔지니어링 업무를 담당하고 있습니다.
LINE DEVELOPER DAY 2021에서 김남일 님이 발표하신 KSETL로 Kafka 스트림 ETL 시스템을 빠르게 구성하기 세션 내용을 옮긴 글입니다. 안녕하세요. Messaging Data Engineering 실의 김남일입니다. 이번 글에서는 'KSETL로 빠르게 Kafka Stream ETL 개발하기'라는 주제로 말씀드리겠습니다. KSETL(Kafka Stream ETL) 개발 배경 KSETL은 Kafka 스트림 ETL(extract, transform, load)의 약자로 Kafka의 데이터를 추출하고 변환해서 적재하는 시스템이라는 의미입니다. 스트림은 한없이 연속으로 생성되는 데이터 형태로 사용자 로그나 센서에서 수집하는 데이터가 대표적인 스트림 데이터입니다. 데이터를 스트림으로 처리하는 이유 데이터를 스트림 형태로 처리하는 이유는 데이터 처리 지연을 줄이기 위해서입니다. 특정 사업 분야에서는 데이터 처리 지연을
김남일2022-08-02