Tag Archives: Spark

Spark, Mesos, Zeppelin, HDFS를 활용한 대용량 보안 데이터 분석

라인플러스에서 게임 보안 개발을 담당하고 있는 오왕진, 한광희입니다.

대규모 이용자들이 모바일로 접속을 하는 LINE 게임(LINE Game)의 상황상 빠른 분석과 대응은 어려울 수 밖에 없습니다. LINE 게임(LINE Game)의 접속자와 해외 이용자들이 큰 규모로 증가함에 따라 다양한 어뷰징(허가 받지 않은 조작을 통해 이익을 취하는 행위) 상황이 계속 관찰되고 있습니다. 어뷰징은 정상적으로 게임을 이용하는 다른 이용자들에게 영향을 주고, 게임 서비스 자체에도 직접적인 영향을 미치게 됩니다. 게임의 안정성을 지키고, 정상 사용자들을 보호하기 위하여 게임 어뷰징 행위에 빠르게 대응하는 것이 중요합니다.

이런 어뷰징에 대응하기 위해서는 서로 다른 형태의 로그들을 연관해서 분석함으로써 문제의 원인을 찾고, 수정하는 것이 필요한데 가장 큰 걸림돌은 대용량의 로그 데이터들을 빠르게 처리할 수 있는가였습니다. 라인에서 다루는 각종 데이터의 분량이 많아지면서 기존의 전통적인 방식으로의 Big Data 처리과정은 현상이 발생한 후 수십 분, 수백 분 후에 사안을 확인할 수 있었습니다. 또한, 데이터의 형태(RDB, NoSQL, File, API)나 대용량 서비스를 위한 Data Sharding과 같은 기술 도입 등의 이유로 모든 데이터를 연계하는 것은 쉬운 일이 아니었습니다. 무엇보다도 인기 게임의 경우는 유입되는 데이터 자체가 매우 많습니다. 다양한 관점에서 빠른 데이터 처리를 가능하게 하는 여러 오픈 소스들을 조합하여 가능성을 체크해보았습니다. 그 결과, 작업 분배와 자원 활용을 위해 Apache Mesos와 Apache Spark을 활용하고 시각화는 Apache Zeppelin을 사용하는 것이 원하는 데이터 처리 요구사항에 가장 근접하는 것임을 확인하였고 적절한 구성을 시도하였습니다.