Tag Archives: Big Database

LINE 광고 데이터 파이프라인 BigDB

시작하기 전에

안녕하세요, LINE에서 광고 데이터 처리 및 광고 플랫폼 개발 업무를 담당하고 있는 임종규, 신중훈입니다. 이번 블로그에서는 LINE 광고의 빅데이터를 처리하는 플랫폼인 BigDB를 구현하게 된 배경과 BigDB의 정의, 구조, 기능, Use case를 소개하고자 합니다.

BigDB를 구현하게 된 배경

여러 서비스의 DB 데이터가 서비스의 규모가 커짐에 따라서 분석 업무에 활용하기 어려워지고, 이를 해결하는 방안으로 빅데이터를 지원하는 여러 오픈 솔루션을 사용해 왔습니다. 서로 장단점을 가진 여러 형태의 오픈 솔루션을 업무의 요건

시작하기 전에

안녕하세요, LINE에서 BigDB 설계 및 클러스터 관리를 담당하고 있는 오왕진입니다. 이번 블로그에서는 LINE 광고의 빅데이터를 처리하는 데이터 파이프라인인 BigDB를 구현하게 된 배경과 BigDB의 정의, 구조, 기능, Use case를 소개하고자 합니다.

BigDB를 구현하게 된 배경

여러 서비스의 DB 데이터가 서비스의 규모가 커짐에 따라서 분석 업무에 활용하기 어려워지고, 이를 해결하는 방안으로 빅데이터를 지원하는 여러 오픈 솔루션을 사용해 왔습니다. 서로 장단점을 가진 여러 형태의 오픈 솔루션을 업무의 요건에 따라 적절히 사용하다 보면, 상황에 따라서 조금씩 아쉽거나 부족한 부분이 발생하기 마련입니다. 다양한 업무의 데이터 처리를 경험해 오면서, 데이터 처리의 업무를 공통화하기 위해서는 데이터의 수집/가공/재가공/조회 기능을 가능한 한 간편하고 일반적인 형태로 제공하는 것이 좋겠다고 판단했습니다.

BigDB 소개

BigDB란 무엇인가

BigDB는 LINE 광고의 빅데이터 처리 파이프라인으로, 데이터 수집, 가공, 재가공, 조회 등의 기능이 있습니다. LINE 광고의 분석 형태는 사용자가 광고에 노출이 되었을 경우 해당 이벤트를 받아서 즉시 처리하는 실시간 분석과 이벤트를 받아서 1시간이나 1일, 등록한 시간마다 처리하는 batch 분석으로 구분되어 있습니다. BigDB는 분석을 위해 데이터를 제공하고, 필요한 경우 시계열 데이터와 정적인 데이터를 Join하여 제공하는 등 데이터를 유연하게 제공할 수 있습니다.