Blog - LINE ENGINEERING

TAG ARCHIVES: Zeppelin

데이터 엔지니어링 관련 소프트웨어 장애 대응 사례
Keiji Yoshida2019-02-15
LINE Data Labs에서 데이터 개발자로 일하고 있습니다.
안녕하세요. LINE Data Labs에서 데이터 엔지니어로 일하고 있는 Keiji Yoshida입니다. 저는 이번 글에서 데이터 엔지니어링 관련 소프트웨어 장애 대응 사례를 몇 가지 소개하고자 합니다. Apache Hadoop YARN 리소스 매니저 failover 발생 문제와 해결 방안 YARN은 Apache의 오픈 소스 분산 처리 프레임워크인 Hadoop의 주요 기능 중 하나로 리소스 관리 및 작업 스케줄링을 담당합니다. Failover는 주 시스템에 장애가 발생했을 때 예비 시스템이 기능을 넘겨받아 운용하는 백업 모드입니다. 시스템 개요 LINE Data Labs가 관리하는 Hadoop 클러스터 가운데 각 LINE 서비스의 데이터를 수집하여 하나로 모아 관리하는 것이 있습니다. 각 LINE 서비스의 데이터는 Apache Sqoop 등을 사용하여 HDFS에 저장됩니다. YARN 클러스
- Hadoop
- Spark
- Zeppelin
Spark, Mesos, Zeppelin, HDFS를 활용한 대용량 보안 데이터 분석
OH WANG JIN2015-08-03
현재는 LINE Ads Platform의 데이터 엔지니어로 재직 중이며, 게임, 보안, 검색 관련 개발을 해 왔습니다. 빅데이터 관련 기술을 연구하며 개발하고 있습니다.
라인플러스에서 게임 보안 개발을 담당하고 있는 오왕진, 한광희입니다. 대규모 이용자들이 모바일로 접속을 하는 LINE 게임(LINE Game)의 상황상 빠른 분석과 대응은 어려울 수 밖에 없습니다. LINE 게임(LINE Game)의 접속자와 해외 이용자들이 큰 규모로 증가함에 따라 다양한 어뷰징(허가 받지 않은 조작을 통해 이익을 취하는 행위) 상황이 계속 관찰되고 있습니다. 어뷰징은 정상적으로 게임을 이용하는 다른 이용자들에게 영향을 주고, 게임 서비스 자체에도 직접적인 영향을 미치게 됩니다. 게임의 안정성을 지키고, 정상 사용자들을 보호하기 위하여 게임 어뷰징 행위에 빠르게 대응하는 것이 중요합니다. 이런 어뷰징에 대응하기 위해서는 서로 다른 형태의 로그들을 연관해서 분석함으로써 문제의 원인을 찾고, 수정하는 것이 필요한데 가장 큰 걸림돌은 대용량의 로그 데이터들을 빠르게 처리할 수 있는가였습니다. 라인에서 다루는 각종 데이터의 분량이 많아지면서 기존의 전통적인 방식으로의 Bi
- Security
- Spark
- Zeppelin

1