Blog - LINE ENGINEERING

TAG ARCHIVES: QA

ELK와 Grafana를 이용해 테스트 자동화 시각화하기
이준수2023-07-14
LINE Plus에서 QA 엔지니어로 근무하며 LINE Desktop을 담당하고 있고, 테스트 자동화 개발 및 운영 환경 개선 과제를 진행하고 있습니다.
Tech-Verse 2022에서 이준수 님이 발표한 ELK와 Grafana를 이용해 테스트 자동화 시각화하기 세션 내용을 옮긴 글입니다. 안녕하세요. LINE Plus QA 엔지니어 이준수입니다. LINE Desktop 서비스를 담당하고 있으며, 팀 내에서 자동화 테스트 환경 구축과 개발 등 기술 영역을 담당하고 있습니다. 이번 글에서는 자동화 테스트의 한계였던 테스트 모니터링을 시각화로 개선하고 더 나아가 테스트 전처리 자동화를 통해 자동화 테스트로 발전시킨 사례를 소개하겠습니다. 이 글은 테스트 자동화에 관심이 있거나 테스트 자동화를 운영하고 있는 조직에서 많이 읽으실 것 같은데요. 혹시 현재 조직에서 테스트 결과 리포트는 어떻게 보고 계신가요? 테스트 솔루션에서 제공하는 단순한 리포트 페이지를 보시나요? 많은 분들이 테스트 자동화를 개발하는 데 급급한 나머지 테스트 솔루션에 의지하거나 아예 테스트 결과에는 큰 의미를 두지 않는 것 같습니다. 분명 많은 리소스를
- QA
QA가 Shift-left와 Shift-right 접근 방법을 통해 더 나은 품질을 확보하는 방법
채수광2022-08-26
LINE QA 조직에서 Quality Advocator를 지향하는 Quality Engineer입니다.
안녕하세요. LINE에서 다양한 서비스의 QA 역할을 수행하고 있는 채수광입니다. LINE뿐 아니라 LINE 외부의 다른 QA 분들과도 소통을 넓히기 위해 다양한 채널로 찾아뵙고 있으며, 앞으로 LINE Engineering 블로그를 통해서도 많은 분들과 다양한 QA 관련 주제로 소통할 수 있기를 희망합니다. 이번 글에서는 QA가 'Quality Assurance'에서 'Quality Assistance', 'Quality Advocator'로 변화하게 된 과정을 살펴보면서, 'Shift-left'와 'Shift-right' 접근 방법을 통해 어떻게 더 나은 품질을 확보할 수 있는지 공유하겠습니다. QA(Quality Assurance)는 왜 품질을 보증할 수 없을까? 전통적으로는 품질의 기준을 만들고 그 기준을 충족하는 제품만 릴리스하는 방식으로 품질을 보증했습니다. 하지만 시대의 흐름에 따라 제품을 더 자주, 더 높은 수준으로 제공해야 하는 상황에 직면했고 이와 같은 모순적인
- QA
사용자의 요구를 만족시키는 사용 품질 확보하기
화창득2022-05-30
Fintech QA 팀에서 서비스 품질을 높이는 역할을 하고 있습니다.
LINE DEVELOPER DAY 2021에서 화창득 님이 발표하신 Quality in Use - Meet the Needs of Users 세션 내용을 옮긴 글입니다. 안녕하세요. Fintech QA 팀의 화창득입니다. 다양한 제품이 쏟아져 나오는 요즘 시대의 사용자들은 끊임없이 서비스의 품질을 판단하며 이용 여부를 결정합니다. 사용자들의 판단 기준은 계속해서 달라지기 때문에 서비스를 제공하는 입장에선 꾸준히 사용 품질을 확보하는 것이 중요한 요소가 되었습니다. 스스로를 품질광이라 생각하는 저는 '사용자의 요구를 만족시켜라'라는 부제로 'quality in use(이후 사용 품질)'의 정의와 측정 방법, 그리고 사용 품질을 확보하기 위해 고민했던 과정과 결과를 공유하려고 합니다. 서비스 품질을 판단할 때 어떤 부분을 어떤 방식으로 수치화하는지, 그리고 수치화한 지표를 어떻게 분석해 사용 품질을 확보하고 있는지 이야기해 보겠습니다.
- QA
LINE에서 테스트를 최적화하는 방법
Le Thi Thoa2021-08-18
LINE Technology Vietnam에서 일하고 있는 Thi입니다.
안녕하세요. LINE Technology Vietnam에서 일하고 있는 Thi입니다. 이번 글에서는 테스트를 최적화해야 하는 이유를 알아보고 테스트를 최적화하는 몇 가지 방법에 대해 살펴보겠습니다. 글은 아래와 같은 순서로 진행됩니다. 테스트를 최적화해야 하는 이유 사용자는 무엇을 원하는가 우리는 무엇을 하고 있는가 우리는 무엇을 할 수 있는가 테스트 설계 왜 테스트를 설계해야 하는가 언제, 어떤 설계 기법을 적용할 것인가 테스트 설계와 함께 적용하면 좋은 세 가지 공통 테스트 케이스 재사용 테스트 케이스 구조화 테스트 케이스 분할 마치며 테스트를 최적화해야 하는 이유 먼저 아래 질문들을 함께 살펴보며 테스트를 최적화해야 하는 이유를 생각해 보겠습니다. 사용자는 무엇을 원하는가 우리는 무엇을 하고 있는가 우리는 무엇을 할 수 있는가 사용자는 무엇을 원하는가 사용자는 무엇을 원할까
- QA
듀얼 QA 프로세스를 소개합니다
김진희2021-07-30
Jinhee is in charge of QA for OpenChat service at LINE.
안녕하세요. LINE 플러스 서비스 QA 팀에서 같은 팀 김우영 님과 오픈챗 서비스 QA를 담당하고 있는 김진희입니다. LINE 플러스에서 일한 지는 8년 정도 됐고 오픈챗 서비스 QA를 담당한 지는 4년 정도 됐습니다. 이번 글에서는 오픈챗 서비스가 무엇인지 간략하게 설명하고 오픈챗 서비스에서 진행했던 QA 프로세스에 대해 살펴보겠습니다. 그 뒤 이번 글의 주제인 듀얼 QA 프로세스에 대해서 설명하고 이 프로세스를 어떻게 오픈챗 QA에 적용했는지, 적용 후 결과는 어땠는지 살펴보겠습니다. 오픈챗 서비스란 LINE 일반 채팅이 서로 친구를 맺은 아는 사람과의 채팅 서비스라면 오픈챗은 같은 주제에 관심이 있다면 친구가 아닌 사람과도 자유롭게 대화할 수 있는 채팅 서비스라고 할 수 있습니
- QA
LINE의 QA는 어떻게 일할까?
김동성2021-04-23
LINE에서 Service QA 역할을 담당하고 있습니다.
LINE DEVELOPER DAY 2020에서 김동성 님이 발표하신 How is the difference between LINE QA and QA? 세션 내용을 옮긴 글입니다. 안녕하세요. 저는 LINE에서 서비스 QA로 근무하고 있는 김동성입니다. 이번 글에서는 LINE에서 근무하는 QA가 어떤 역할을 담당하고 있으며 어떤 목표를 세우고 어떻게 일하고 있는지에 대해서 이야기하려고 합니다. QA의 역할 가장 먼저 QA의 역할에 대해서 이야기하고 싶습니다. QA의 역할이 무엇인지 여러분들은 정확히 이해하고 계시나요? 혹시 아직도 QA를 이야기할 때 테스트 업무만 생각하시는 건 아닌지 모르겠습니다. 여러분도 아시는 것처럼 소프트웨어 산업이 발전해 오면서 개발뿐만 아니라 테스팅 관련 분야도 같이 발전해 왔는데요. 현재 테스터와 QA의 역할을 어
- QA
코로나 시대 원격 QA! 오픈소스 디바이스팜 STF 도입기
임지훈2021-01-08
안녕하세요. Software Quality Engineering 팀 임지훈입니다. QA(Quality Assurance) 단계에서 특정 단말기에서만 문제가 발생하는 경우가 종종 있습니다. 하지만 코로나19로 인해 해외 출장은 물론 출근조차 어려워지면서 원격지의 단말기를 입수해 테스트하는 일이 불가능한 경우가 많아졌습니다. 이를 해결하기 위해 디바이스팜을 구축하고 테스트 자동화에 활용한 사례를 여러분께 공유하려고 합니다. 디바이스팜이란? 디바이스팜(device farm)이란 Android와 iOS 단말기를 테스트할 수 있도록, 클라우드를 통해 다수의 단말기를 제공하고 각 단말기에 앱을 설치하거나 화면을 제어할 수 있는 도구를 제공하는 서비스를 말합니다. 테스트가 필요한 단말기를 원격지에서 시스템에 연결하고 웹으로 해당 단말기를 제어할 수 있는 도구가 있다면, 개발이나 QA 단계에서 출근하거나 출장을 가지
LINE 통화: 최고의 품질을 위한 8년간의 여정
LINE Engineering2020-06-29
요즘엔 대부분의 사람들이 기존의 유료 통화 대신에 메신저에서 대화하다가 클릭 한 번으로 통화할 수 있는 인터넷 전화를 사용합니다. 인터넷 전화는 통화 품질도 좋고, 무엇보다 전 세계 누구와 통화해도 무료라는 점이 매력적이죠. 이런 장점 덕분에 인터넷 전화 서비스는 본격적으로 시작된 지 채 10년도 지나지 않아 기존의 유료 통화를 빠른 속도로 대체해 나갔습니다. 하지만 인터넷 전화는 그 특성상 통화 중에 음성이 끊기거나 통화 자체가 안되는 경우가 가끔씩 발생합니다. 유료 서비스라면 해당 통신사에 불만을 접수해서 통화 품질을 개선하도록 만들 수 있겠지만, 인터넷 전화는 무료 서비스이기 때문에 통화 음질이 좋지 않다면 사용자들은 통화 품질을 개선하기보다는 다른 서비스로 발길을 돌리는 쪽을 선택하게 됩니다. 따라서 사용자가 무료 통화 서비스를 계속 사용하길 원한다면 좋은 통화 품질을 유지하는 것이 매우 중요합니다. 이번 글에서는 LINE 무료
- QA
- Tech Management
서버 사이드 테스트 자동화 여정 - 5. 성능 테스트 리포트 생성 및 자동화 시스템 업무 적용 결과
LINE Engineering2020-05-11
안녕하세요. LINE 미디어 플랫폼 개발과 운영 업무를 담당하고 있는 하태호입니다. 지난 글(4편)에선 앞서 블로그(서버 사이드 테스트 자동화 여정 1편, 2편, 3편)를 통해 소개했던 자동화 시스템에 이어서 성능 테스트를 자동화하게 된 계기와 목표, 구성한 환경에 대해 소개했는데요. 이번 글에선 자동화된 성능 테스트의 리포트를 생성한 방법과 자동화된 성능 테스트를 실제로 적용하면서 겪었던 일을 공유하겠습니다. 리포트 생성하기 시스템과 JVM 지표 시각화하기 미디어 플랫폼 조직에선 각종 지표를 좀 더 정밀하게 모니터링하면서 쉽게 분석하기 위해 기본적으로 제공되는 전사 모니터링 플랫폼 외에도 Grafana와 Prometheus를 이용해 다양한 시스템 지표를 수집하고 모니터링하고 있습니다. Prometheus가 제공하는 대표적인 익스포터(exporter) 중 하나인 노드 익스포터를 사용하면 CPU와
서버 사이드 테스트 자동화 여정 - 4. 성능 테스트 자동화 목표 설정 및 테스트 환경 구성
LINE Engineering2020-05-08
안녕하세요. LINE 미디어 플랫폼 개발과 운영 업무를 담당하고 있는 하태호입니다. LINE 내 수많은 서비스가 사용하는 미디어 플랫폼은 앞서 블로그(서버 사이드 테스트 자동화 여정 1편, 2편, 3편)를 통해 소개했던 자동화 시스템을 이용해 지속적으로 테스트하고 있습니다. 개발자들은 자동화 시스템에 계속 추가되는 테스트 케이스 덕분에 단순한 API 호출과 관련된 문제만 확인하는 것이 아니라, 실제 서비스에서 API를 호출하는 흐름 중에 발생하는 문제도 코드 리뷰 시작 전부터 확인하는 등 많은 도움을 받고 있는데요. 이번 글에서는 더 나아가 성능 테스트를 자동화하며 겪은 일들을 공유하고자 합니다. 성능 테스트 자동화를 시작한 이유 개발 업무 환경에 테스트 자동화가 적용된 후 팀원 분들이 업무를 진행하는 방식이 조금씩 변화하기 시작했다는 것을 알게 되었습니다. 이전엔 변경 사항을 테

1 2