LINE에서 커머스 플랫폼 엔지니어로 일하고 있습니다.
안녕하세요. Global EC(Global E-Commerce, 이하 GEC)에서 쇼핑 개발을 담당하고 있는 김성도입니다. LINE 쇼핑에서는 실시간으로 상품 정보를 업데이트할 수 있는 LINE 쇼핑 플랫폼을 사용해 모든 상품 정보를 취합하고 있으며, 취합한 상품 정보는 사용자의 쇼핑 경험을 개선하기 위해 검색 엔지니어와 데이터 엔지니어에게 제공하고 있습니다. 수억 개에 이르는 상품 정보를 서비스에 영향을 주지 않으면서 ETL(Extract, Transform, Load)하는 작업은 쉽지 않은 일입니다. 그런데 여기에 한술 더 떠서 실시간으로 업데이트까지 하려면 어떻게 해야 할까요? 이번 글에서는 이 어려운 과제를 해결하기 위해 어떤 과정을 거쳤는지 소개하려 합니다. 글은 다음과 같은 순서로 진행합니다. 요구 사항 분석 데이터베이스 부하 감소 업데이트 주기 개선 정합성 유지 HBase를 사용한 1차 개선 1차 개선 구현 방법 1차 개선 아키텍처 1차 개선 결과 및 문제
김성도2022-09-08