Blog - LINE ENGINEERING

TAG ARCHIVES: Automation

Jenkins에서 Kubernetes 플러그인을 이용해 보다 쉽고 효율적으로 성능 테스트하기
Bryan & Miki Bryan & Miki2021-03-23
성능 테스트는 모든 LINE 서비스에서 없어서는 안되는 필수 과정입니다. 하지만 다음과 같은 이유로 성능 테스트의 환경을 설정하고 관리하는 작업이 항상 쉽고 효율적인 것은 아닙니다. 먼저, 기능과 컴포넌트, 이벤트 등에 따라 서버 워크로드의 기준이 다릅니다. 컴포넌트의 종류나 이벤트의 규모에 따라 해당 기능의 성능 기준이 달라지기 때문에 RPS(Request Per Second) 역시 천차만별입니다. 또한, 대부분의 오픈소스 성능 툴에는 다수의 테스트 실행자(executor)를 통제하거나 테스트별 결과 보고서를 통합해 주는 기능이 없습니다. 테스터가 직접 단계 별로 테스트를 진행하고 성능 테스트 스크립트를 실행하기에 적합한 수준의 장비를 찾아야 합니다. 이를 위해 신규 장비 할당과 필요한 라이브러리 설치, 스크립트 업로드, 스크립트가 테스트 장비에 과부하가 걸리지 않는 범위에서 필요한 워크로드를 생성하는지 확인하기 위한 여러 번의 시도를 거쳐야 합니다.
서버 사이드 테스트 자동화 여정 - 5. 성능 테스트 리포트 생성 및 자동화 시스템 업무 적용 결과
LINE Engineering2020-05-11
안녕하세요. LINE 미디어 플랫폼 개발과 운영 업무를 담당하고 있는 하태호입니다. 지난 글(4편)에선 앞서 블로그(서버 사이드 테스트 자동화 여정 1편, 2편, 3편)를 통해 소개했던 자동화 시스템에 이어서 성능 테스트를 자동화하게 된 계기와 목표, 구성한 환경에 대해 소개했는데요. 이번 글에선 자동화된 성능 테스트의 리포트를 생성한 방법과 자동화된 성능 테스트를 실제로 적용하면서 겪었던 일을 공유하겠습니다. 리포트 생성하기 시스템과 JVM 지표 시각화하기 미디어 플랫폼 조직에선 각종 지표를 좀 더 정밀하게 모니터링하면서 쉽게 분석하기 위해 기본적으로 제공되는 전사 모니터링 플랫폼 외에도 Grafana와 Prometheus를 이용해 다양한 시스템 지표를 수집하고 모니터링하고 있습니다. Prometheus가 제공하는 대표적인 익스포터(exporter) 중 하나인 노드 익스포터를 사용하면 CPU와
서버 사이드 테스트 자동화 여정 - 4. 성능 테스트 자동화 목표 설정 및 테스트 환경 구성
LINE Engineering2020-05-08
안녕하세요. LINE 미디어 플랫폼 개발과 운영 업무를 담당하고 있는 하태호입니다. LINE 내 수많은 서비스가 사용하는 미디어 플랫폼은 앞서 블로그(서버 사이드 테스트 자동화 여정 1편, 2편, 3편)를 통해 소개했던 자동화 시스템을 이용해 지속적으로 테스트하고 있습니다. 개발자들은 자동화 시스템에 계속 추가되는 테스트 케이스 덕분에 단순한 API 호출과 관련된 문제만 확인하는 것이 아니라, 실제 서비스에서 API를 호출하는 흐름 중에 발생하는 문제도 코드 리뷰 시작 전부터 확인하는 등 많은 도움을 받고 있는데요. 이번 글에서는 더 나아가 성능 테스트를 자동화하며 겪은 일들을 공유하고자 합니다. 성능 테스트 자동화를 시작한 이유 개발 업무 환경에 테스트 자동화가 적용된 후 팀원 분들이 업무를 진행하는 방식이 조금씩 변화하기 시작했다는 것을 알게 되었습니다. 이전엔 변경 사항을 테
Android 취약점 탐색 자동화를 위한 Jandroid 적용기
LINE Engineering2020-04-14
안녕하세요. LINE에서 보안 업무를 담당하고 있는 박선주입니다. LINE 보안 팀에서는 릴리스될 서비스와 애플리케이션의 보안 위협을 사전에 발견하여 제품을 더 안전하게 만들기 위해 노력하고 있습니다. 서비스나 애플리케이션을 대상으로 보안 검수를 진행하다 보면, 기존에 보안 이슈가 발생했던 코드와 유사한 패턴을 사용하거나 취약한 패턴의 코드를 재사용하여 취약점이 발생하는 경우가 많습니다. 이처럼 빈번하게 발생하는 보안 이슈를 쉽고 빠르게 탐지하기 위해서 상용 솔루션을 사용하거나 자체적인 도구를 개발하고 있는데요. 이번 포스팅에서는 Android 애플리케이션에서 사용할 수 있는 자동화 취약점 탐색 도구인 Jandroid를 LINE Android 애플리케이션에 적용하여 보안 이슈를 발견한 내용을 공유하고자 합니다. Jandroid란? Jandroid는 F-Secure Labs에서 제작한 취약점 탐색 도구입니다. Androguar
mitmproxy를 활용해 구글 애널리틱스 테스트 자동화하기
Edward Chen / Miki Liao2019-02-01
LINE 대만에서 LINE TODAY 관련 자동화 QA 엔지니어로 일하고 있는 Edward와 Miki 입니다.
개요 안녕하세요. LINE 대만에서 LINE TODAY 관련 자동화 QA 엔지니어로 일하고 있는 Edward와 Miki입니다. 이번 글에서는 LINE TODAY에서 웹사이트를 최적화하기 위해 사용하는 구글 애널리틱스(Google Analytics, GA)의 테스트 자동화 방법에 대해 알아보려고 합니다. LINE TODAY를 위한 GA 테스트 GA는 웹사이트 트래픽을 추적하는 가장 보편적인 방법입니다. GA를 이용하면 특정 페이지의 방문자 수는 물론, 방문자 수를 기기 모델이나 나라별로 정렬한 정보 등과 같은 중요한 정보를 알 수 있습니다. 운영 팀에선 이런 정보를 기반으로 방문자 행동을 분석합니다. 분석이 끝나면, 운영 팀은 통계적 관점에서 방문자에게 좀 더 나은 사용자 경험을 줄 수 있는 방향으로 웹사이트의 콘텐츠와 디자인을 최적화할 수 있습니다. 우리는 운영 팀이 GA에서 생성된 LINE TODAY 앱에 대한 보고
- QA
- Automation
- python
네덜란드 헤이그에서 열렸던 EuroSTAR 2018에 다녀왔습니다
Tony Lu2018-12-14
안녕하세요. LINE에서 테스트 자동화 업무를 맡고 있는 김유빈입니다. 저는 지난 2018년 11월 네덜란드 헤이그에서 열린 EuroSTAR(Europe's No.1 Software Testing Conference)에 다녀왔습니다. EuroSTAR는 1993년부터 매년 유럽에서 열리고 있는 유럽에서 가장 오랫동안 유지되고 있는 소프트웨어 테스트 분야의 컨퍼런스입니다. 매년 다양한 분야의 주제를 다루고 있는데요. 올해는 bitcoin과 AI(Artificial Intelligence), microservices, IoT(Internet of Things) 등의 분야를 다뤘습니다. EuroSTAR는 에너지가 넘치고, 재밌고, 친근한 분위기의 행사이며, 참여자들간의 네트워킹을 강조하는 행사입니다. 4일간 행사에 참여하면서 이미 EuroSTAR에 한번 이상 참여했던 분들은 물론 20년 이상의 경력을 가진 전문가들도 쉽게 만날 수 있
Model Controller Testsuite (MCT)을 이용한 테스트 자동화 구축
Edward Chen2018-07-30
저는 LINE TODAY 관련 테스트의 구축과 기획을 맡고 있는 Automation QA 엔지니어 Edward입니다.
MVC는 아시겠지요. 그럼 MCT는요? Model–view–controller(MVC)는 디자인 패턴으로, 프로그램 개발을 간소화하고 유지보수하기 쉽게 만드는 것이 주 목적입니다. 프로그램을 세 개의 논리적 모듈로 나누고 각 모듈에 구체적인 역할을 부여하는 방식인데, 이는 전송하는 데이터와 사용자에게 표출할 결과를 분리해 다루기 위함입니다. MVC 디자인 패턴을 적용해서 모듈을 분리하면 코드의 재사용성이 높아지고 역할 별로 요구 사항을 나누어 병렬적으로 개발을 진행할 수 있습니다. QA 엔지니어 역시 MVC 디자인 패턴이 갖는 모듈화의 장점을 테스트 개발 아키텍처에 적용할 수 있습니다. 이 글에서는 MVC 디자인 패턴에서 영감을 받아 LINE TAIWAN에서 개발하여 활용하고 있는 테스트 자동화 아키텍처인 Model Controller Testsuite(MCT)를 설명하고, 이를 이용해 테스트 아키텍처를 더욱 안정적이고 유지보수하기 쉽게 만드는 방법을 알아보겠습
- Automation

1