LINE Financial 데이터 엔지니어
지난 글에서는 사용자에게 멀티테넌시 Airflow 환경을 제공한 방법을 살펴봤는데요. 이번 글에서는 사용자들이 데이터 파이프라인 개발을 할 수 있도록 격리된 Airflow 환경을 제공하는 방법을 말씀드리고, Airflow를 자동으로 제공할 수 있는 설정까지 자세히 살펴보겠습니다. Airflow 사용자 테스트 환경을 제공하기 위해서는 아래 3가지 사항을 만족해야 했습니다. 사용자들이 데이터 파이프라인 개발을 할 수 있도록 각각 격리된 Airflow 환경을 제공해야 합니다. Airflow 웹에 접속할 수 있는 URL을 각 기능별로 제공해야 합니다. 사용자 환경은 GitHub의 Action을 통해 자동으로 생성되고 회수돼야 합니다. 그럼 위 사항들을 하나씩 살펴보겠습니다. Airflow 환경 구성 먼저 사용자들에게 어떤 방식으로 각각 격리된 Airflow 환경을 제공했는지 말씀드리겠습니다. 프로덕션과 개발 환경 각 테넌트의 데이터
안녕하세요. LINE Financial의 데이터 엔지니어 김기훈, 윤평화, 김윤식입니다. LINE Financial에서는 여러 조직에서 사용할 수 있는 Airflow 환경을 제공해 달라는 요구가 있었습니다. 이번 글에서는 이 요구 사항을 효율적인 방식으로 풀어내 제공하는 과정에서 고민했던 내용과, 기능(feature) 개발 환경을 자동으로 제공하는 예시를 공유하려고 합니다. 배경 설명 저희는 'LINE Financial의 데이터 관련 업무를 리딩한다'라는 비전 아래 관련 조직의 데이터 파이프라인의 현재 상태를 파악하고 개선하는 프로젝트를 진행하게 되었습니다. 이에 흩어져 있는 데이터 파이프라인 환경을 점검하며 아래와 같은 문제점을 파악했습니다. 문제점 파편화되어 있는 데이터 파이프라인 환경 때문에 관리 포인트가 늘어나는 문제 온 프레미스(on premise) 환경에 구축돼 있기 때문에 추가로 구축이 필요한 경우 비용(서버, 운영,
