Back-End Archives - LINE ENGINEERING

코로나 시대 원격 QA! 오픈소스 디바이스팜 STF 도입기

By 임지훈 | 2021.01.08 2021.01.12

Software Quality Engineer

안녕하세요. Software Quality Engineering 팀 임지훈입니다. QA(Quality Assurance) 단계에서 특정 단말기에서만 문제가 발생하는 경우가 종종 있습니다. 하지만 코로나19로 인해 해외 출장은 물론 출근조차 어려워지면서 원격지의 단말기를 입수해 테스트하는 일이 불가능한 경우가 많아졌습니다. 이를 해결하기 위해 디바이스팜을 구축하고 테스트 자동화에 활용한 사례를 여러분께 공유하려고 합니다.

#Android #Management/Operation #QA

Kubernetes를 이용한 효율적인 데이터 엔지니어링(Airflow on Kubernetes VS Airflow Kubernetes Executor) – 2

By 이웅규 | 2021.01.06 2021.01.08

Data Engineer & Machine Learning Engineer at LINE Financial+

안녕하세요. LINE Financial Data Platform을 운영하고 개발하고 있는 이웅규입니다. 이 글은 지난 NAVER DEVIEW 2020에서 발표했던 Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) 세션에서 발표 형식 및 시간 관계상 설명하기 힘들었던 부분을 조금 더 자세하게 설명하고자 작성한 두 번째 글입니다. 이번 글에서는 일반적인 Kubernetes Airflow 환경과 새로운 방식의 특징 및 장단점을 비교합니다. 그리고 새로운 방식인 Kubernetes Executor와 KubernetesPodOperator를 적용해 데이터 플랫폼을 어떻게 운영하고 개발하고 있는지 말씀드리고, 이를 통해 기존보다 확장성을 높였던 경험을 공유하겠습니다.

#Data #Data Engineering

Kubernetes를 이용한 효율적인 데이터 엔지니어링(Airflow on Kubernetes VS Airflow Kubernetes Executor) – 1

By 이웅규 | 2021.01.06 2021.01.08

Data Engineer & Machine Learning Engineer at LINE Financial+

안녕하세요. LINE Financial Data Platform을 운영하고 개발하고 있는 이웅규입니다. 저는 지난 NAVER DEVIEW 2020에서 발표했던 Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) 세션에서 발표 형식 및 시간 관계상 설명하기 힘들었던 부분을 블로그를 통해 조금 더 자세하게 설명하고자 합니다.

저는 두 번에 걸쳐 Kubernetes를 이용한 효율적인 데이터 엔지니어링에 대해 공유하려고 하는데요. 먼저 이번 글에서는 Apache Airflow를 간략하게 소개하고 Executor의 종류와 각 종류별 동작 방식을 설명하겠습니다.

#Data #Data Engineering

Kafka와 MongoDB, Kubernetes로 유연하고 확장 가능한 LINE 쇼핑 플랫폼 구축하기

By Jaekyun Yoo | 2020.12.10 2021.01.15

Server Side Engineer

안녕하세요. LINE Commerce Platform에서 LINE 쇼핑(https://ec.line.me) 개발을 담당하고 있는 유재균입니다. LINE 쇼핑에선 여러 판매자로부터 전달 받은 상품 정보를 한곳에 모아서 일정한 기준에 따라 분류하고, 그룹화한 뒤, 정렬하여 사용자들이 상품 정보를 쉽게 얻을 수 있도록 제공하고 있습니다. 네이버 쇼핑이나 다나와 등이 LINE 쇼핑과 동일한 모델이라고 할 수 있습니다.

LINE 쇼핑의 판매자는 경우에 따라 수십에서 수천만 개 이상의 상품 정보를 보유하고 있는데요. 이런 판매자들의 상품을 한곳에 모아서 서비스하려면 어떻게 플랫폼을 구축해야 할까요? 이번 글에선 저희 팀이 이 어려운 과제를 해결하기 위해 어떤 플랫폼을 구축했는지 소개하려고 합니다.

#data #Server-dev

120가지 사용자 행동 분석을 자동화할 수 있는 ‘데이터 제품’ 만들기

By Park Yongjae | 2020.12.09 2020.12.09

Data Analyst & Data Project Manager at LINE

안녕하세요. LINE에서 데이터 분석을 맡고 있는 Insight Planning 팀의 박용재입니다. 이번 글에선 LINE의 통합 대시보드인 LINE User Activity Analytics(이하 LUA Analytics)가 개발된 과정을 소개하겠습니다.

#data #Management/Operation

지속 가능한 소프트웨어 설계 패턴: 포트와 어댑터 아키텍처 적용하기

By 유팔복 | 2020.12.01 2020.12.02

Application Server Developer

육각형 설계(Hexagonal Architecture)로 더 잘 알려져 있는 포트와 어댑터 설계(Ports and Adapters Architecture)는, 인터페이스나 기반 요소(infrastructure)의 변경에 영향을 받지 않는 핵심 코드를 만들고 이를 견고하게 관리하는 것이 목표입니다.

포트와 어댑터 설계를 적용하면 인터페이스나 기반 요소가 사용자의 요구 사항 혹은 수용 능력에 영향을 받아 변경된다고 하더라도 애플리케이션의 주요 동작(도메인 로직 혹은 비즈니스 로직)에는 아무런 영향을 주지 않습니다. 도메인 로직을 견고하게 유지하며 소프트웨어의 지속 가능성을 높일 수 있는 것이죠. 저는 이번 글을 통해 포트와 어댑터가 무엇인지, 이 설계를 따르면 코드가 어떤 식으로 조직되는지, 실제 인터페이스나 기반 요소 등 한 번 변경되면 작업량이 많은 일에도 어떻게 쉽게 적용되는지, 설계에 따라 개발된 업무 로직을 얼마나 쉽게 테스트할 수 있는지를 보여드리겠습니다. 이를 통해 포트와 어댑터 설계의 장점을 실제로 보여드리고자 합니다.

#Management/Operation

LINE Timeline의 새로운 도전 3편 – Discover 추천 모델

By Youngin Jo | 2020.09.14 2020.09.15

ML Engineer & Data Scientist

LINE Timeline에 필요한 머신 러닝과 추천 모델을 만들고 있는 Data Science Dev의 조영인입니다. 1편과 2편에 이어 이번 3편에서는 Discover에 진입한 사용자에게 보여줄 콘텐츠를 어떻게 선정하고, 어떤 순서로 배치하는지에 대해 설명하겠습니다.

#LINE Timeline

LINE Timeline의 새로운 도전 2편 – Discover 딜리버리 시스템 소개

By Yongseop Kim, Cheolseok Bang | 2020.09.14 2020.10.06

Yongseop Kim is a senior server developer working on Social Platform and Cheolseok Bang is a server developer working on ML Platform.

지난 1편, LINE Timeline의 새로운 도전 1편 – 추천 콘텐츠 탐색을 위한 Discover와 새로운 구독 모델 Follow에 이어서 이번에는 Discover 딜리버리 시스템을 좀 더 자세하게 소개하려고 합니다. Discover 딜리버리 시스템은 크게 Discover Feed와 Discover 에이전트, Discover ML(Machine Learning) 서버로 구성됩니다. 이번 글에서는 Discover Feed와 Discover 에이전트를 중점적으로 살펴보고, 다음 글에서 Discover ML 서버를 다루겠습니다.

#LINE Timeline #Server-dev

머신러닝을 활용한 오픈챗 클린 스코어 모델 개발기

By 노현주 | 2020.08.11 2020.09.02

ML engineer and data scientist at LINE

오픈챗(OpenChat)은 LINE 친구를 맺지 않고도 관심사가 비슷한 익명의 사용자들과 함께 대화를 나눌 수 있는 오픈 채팅방 서비스입니다. 각 채팅방에서 서로 다른 프로필을 사용할 수 있고, 내가 가입하기 전의 오픈챗 대화 내용도 볼 수 있는 것이 특징입니다. LINE 친구가 아닌 사용자들과 익명으로 대화할 수 있다는 점이 오픈챗의 특징인데요. 이런 특징은 장점인 동시에 단점이 될 수 있습니다. 욕설이나 광고, 성인 이미지 등의 부적절한 콘텐츠에 노출될 수 있고, 오프라인 만남 등을 목적으로 하는 오픈챗이 많이 생겨날 수도 있기 때문입니다. 특히 사용자들이 오픈 초기, 서비스의 성격이 완전히 자리 잡기 전에 이런 단점들에 많이 노출되는 것은 좋지 않습니다. 서비스에 대해 잘못된 인식을 심어줄 수 있는 것은 물론, LINE 메신저 서비스 전체에 대해 나쁜 인상을 줄 수도 있기 때문입니다.

오픈챗 클린 스코어는 이런 배경에서, 서비스 메인 페이지에 노출해도 될 만한, 최대한 깨끗한 소수의 ‘화이트’ 오픈챗을 찾아낼 목적으로 개발되었습니다.오픈챗 클린 스코어는 이런 배경에서, 서비스 메인 페이지에 노출해도 될 만한, 최대한 깨끗한 소수의 ‘화이트’ 오픈챗을 찾아낼 목적으로 개발되었습니다.