LINE Data Labs에서 데이터 개발자로 일하고 있습니다.
안녕하세요. LINE Data Labs에서 데이터 엔지니어로 일하고 있는 Keiji Yoshida입니다. 저는 이번 글에서 데이터 엔지니어링 관련 소프트웨어 장애 대응 사례를 몇 가지 소개하고자 합니다. Apache Hadoop YARN 리소스 매니저 failover 발생 문제와 해결 방안 YARN은 Apache의 오픈 소스 분산 처리 프레임워크인 Hadoop의 주요 기능 중 하나로 리소스 관리 및 작업 스케줄링을 담당합니다. Failover는 주 시스템에 장애가 발생했을 때 예비 시스템이 기능을 넘겨받아 운용하는 백업 모드입니다. 시스템 개요 LINE Data Labs가 관리하는 Hadoop 클러스터 가운데 각 LINE 서비스의 데이터를 수집하여 하나로 모아 관리하는 것이 있습니다. 각 LINE 서비스의 데이터는 Apache Sqoop 등을 사용하여 HDFS에 저장됩니다. YARN 클러스
