Blog - LINE ENGINEERING

TAG ARCHIVES: Data/AI

HiveQL을 Spark SQL로 이전 시 발생하는 문제 해결하기
정우영2023-08-23
돌고 돌아 데이터 엔지니어라고 불리고 있습니다.
안녕하세요. LINE Plus Messaging Data Eng Dev (NP) 팀에서 데이터 엔지니어로 일하는 정우영입니다. 최근 HiveQL(Hive SQL) 작업을 Spark SQL로 이전하는 과제를 진행했습니다. 주로 INSERT OVERWRITE TABLE이란 SQL 구문을 이용해 데이터를 적재했는데요. Spark 설정에 따라 Hive에서는 발생하지 않던 여러 현상이 발생했습니다. 이번 글에서는 그 원인과 해결 방법을 찾는 과정에서 알게 된 점을 소개하겠습니다. 글은 먼저 작업을 시작한 배경과 작업 환경을 소개하고, HiveQL에서 Spark SQL으로 이전한 과정을 공유한 뒤, Spark 설정에 따라서 발생한 여러 현상과 각 현상의 재현 방법 및 원인과 대응 방법을 살펴보는 순으로 진행하겠습니다. 작업 배경과 대상 및 환경 작업 배경 먼저 이번 작업을 시작한 배경을 소개하겠습니다. LINE의 데이터 환경을 관리하는 데이터 플랫폼 실에서 그동안 사용해 온 Hive 사용을
- Data/AI
AI-Text 필터링 모델을 위한 거대 ML 모델 적용기
김형락2023-05-25
새로운 기술을 실제 서비스 도메인에 적용해 보는 것을 좋아하는 엔지니어입니다. 현재 LINE에서 NLP 관련 업무를 수행하고 있고, AI-Text 필터, VOC 필터 등의 프로젝트에 참여하고 있습니다.
Tech-Verse 2022에서 김형락 님이 발표한 AI-Text 필터링 모델을 위한 거대 ML 모델 적용기 세션 내용을 옮긴 글입니다. 안녕하세요. 현재 Data & Machine Learning 조직에서 NLP 엔지니어로 일하며 AI-Text 필터 모델을 담당하고 있는 김형락입니다. 먼저 제가 가져온 그림을 하나 감상하겠습니다. 제가 그렸다고 하기엔 너무 잘 그린 그림인데요. 사실 이 그림은 AI에 'beautiful forest'라는 입력을 넣고 받은 AI가 그린 그림입니다. AI의 성능이 이와 같이 발전한 배경에는 거대 모델이 있는데요. 이번 글에서는 AI-Text 필터 모델에 거대 모델을 적용해서 성능을 개선한 경험을 공유하겠습니다. 글은 AI-Text 필터가 무엇이고 어떤 문제가 있어서 거대 모델을 사용했는지 먼저 설명한 뒤, 거대 모델을 훈련할 수 있는 기술이 무엇인지 살펴보고, 거대 모델을 활용해서 AI-Text 필터를 고도화한 경험을 공유하는 순으로 진행
- Data/AI
다수의 연합학습을 지원하기 위한 LFL 클라이언트 플랫폼
장혁재2023-05-19
LINE 앱의 사용자 경험을 개선할 수 있는 새로운 기능을 제안하고 구현하는 일을 하고 있습니다.
Tech-Verse 2022에서 장혁재 님이 발표한 다수의 연합학습을 지원하는 LFL 클라이언트 플랫폼 세션 내용을 옮긴 글입니다. 안녕하세요. LINE Plus 메시징 클라이언트 엔지니어링 팀 장혁재입니다. 이번 글에서는 2022년 10월에 출시한 LINE의 연합 학습(LINE federated learning, LFL) 기능 중 클라이언트 플랫폼에 대해 말씀드리겠습니다. 앞으로는 지금까지와는 다르게 복수의 연합 학습이 동시에 운영되는 상황이 보편화될 것으로 예상합니다. 이번 글에서는 다수의 연합 학습을 운영할 때 어떤 문제가 발생할 수 있고, 그 문제를 어떤 식으로 해결할 수 있는지 공유하려고 합니다. 참고로, 연합 학습에서 사용하는 구체적인 머신 러닝 방법이나 개인 정보 보호 방법에 대해 관심 있으시다면 Kikuchi Haruka 님이 발표하신 연합 학습을 이용한 LINE 스티커 추천을 참고하시기 바랍니다. 연합 학습이란 먼저 간략하게 연합 학습이 무엇인지 살펴보겠습니다.
- Android
- iOS
- Data/AI
- Client-side
LINE의 엔드 투 엔드 MLOps 플랫폼, MLU
홍선형2023-03-31
MLU에서 플랫폼 프로덕트 매니저 역할을 담당하고 있습니다.
Tech-Verse 2022에서 홍선형 님이 발표한 LINE의 End-To-End MLOps 플랫폼 세션 내용을 옮긴 글입니다. 안녕하세요. MLU 프로덕트 매니저를 맡고 있는 홍선형입니다. 이번 글에서는 LINE의 MLOps 플랫폼, MLU를 사용해 기계 학습(machine learning, 이하 ML)의 엔드 투 엔드 파이프라인을 구축하는 방법을 함께 살펴보려고 합니다. 본격적으로 살펴보기 전에 작년 콜로라도 주립 박물관 미술 대회에서 1위를 차지한 작품을 감상해 보겠습니다. 'Theatre D'opera Spatial'란 작품으로 미래의 우주에서 오페라를 하고 있는 장면을 생생하게 연출했다는 평을 받았습니다. "Théâtre D’opéra Spatial," a painting created using Midjourney by Jason Allen. [WIKIMEDIA COMMONS] 사실 이 작품은 Midjourney라는 A
- Data/AI
- ML
- MLOps
화상 회의할 때 음성 품질을 높이는 기술
강인규2022-12-06
VoIP 팀에서 음질 개선 기술 관련 연구를 담당하고 있습니다.
안녕하세요. LINE에서 VoIP 음성 품질 개선을 맡고 있는 강인규입니다. COVID-19가 장기간 유행하면서 재택근무나 원격 수업 같은 비대면 활동이 크게 증가했습니다. 이를 계기로 많은 사람들이 비대면 활동의 장점을 체험하면서 자연스럽게 이를 선호하게 됐고, COVID-19 유행 이후에도 꾸준히 비대면 활동을 늘려가고 있습니다. 비대면 활동에서는 상호 간 정보를 전달하는 화상 회의 시스템이 필수인데요. 이 글에서는 LINE 통화 서비스를 이용할 때 보다 좋은 음성 품질로 통화하기 위한 팁을 소개하려고 합니다. 글은 내 음성이 어떤 과정을 통해 상대방에게 전달되는지 살펴본 뒤 내 음성을 좀 더 좋은 품질로 전달하기 위해 사용자가 취해야 할 행동과 LINE이 제공하는 기술을 설명하는 순서로 진행하겠습니다. 음질의 중요성 음성 품질을 높일 수 있는 사용자 환경 조성 음성 전달 과정과 품질 결정 요소 오디오 장치 환경 요인 주변 환경 요인 음성 품질을 방해하는 환경 요
- Android
- iOS
- Data/AI
- Windows
NLP 국제 학회 COLING 2022 참석 후기
김희찬, 안연선, 조현호2022-12-01
LINE에서 ML Engineer로 일하며 추천 시스템 및 콘텐츠 기반 모델을 개발하고 있습니다.
안녕하세요. Data Science Dev 팀의 김희찬, 안연선, 조현호입니다. 지난 10월 가을, LINE에서 후원한 COLING 2022 학회에 다녀왔습니다. COLING 2022는 세계적인 컴퓨터 언어학 및 자연어 처리 학회로 올해에는 우리나라 경주에서 일주일간 열렸습니다. 저희 팀은 LINE의 SNS 서비스 중 하나인 VOOM의 추천 시스템을 연구 및 개발하고 있으며, 텍스트뿐 아니라 오디오와 비디오, 사용자 행동 데이터도 많이 다루고 있습니다. 저희 셋 모두 NLP와 밀접한 연구 개발을 진행하고 있어서 큰 기대를 안고 학회에 참석했는데요. 이번 글에서는 COLING 2022 학회에 다녀온 후기를 전달하겠습니다. 행사장 분위기 코로나 때문에 포스터 및 세션 발표는 온/오프라인에서 동시에 진행됐습니다. Zoom으로 참여한 온라인 참가자와 행사장에 모인 오프라인 참가자가 서로 소통하기 어렵지 않을까 우려했는데요. 학회에서 공유해 준 온라인 사이트에 모든 세션 발표의 녹화 본과
- Data/AI
SHIELD: LINE VOOM을 어뷰저로부터 보호하기
이주홍2022-08-18
클라이밍을 즐기는 평범한 프로그래머
LINE DEVELOPER DAY 2021에서 이주홍 님이 발표하신 SHIELD: LINE Timeline을 어뷰저로부터 보호하기 세션 내용을 옮긴 글입니다. 참고로 LINE Timeline은 현재 LINE VOOM으로 이름이 변경됐습니다. 안녕하세요. Shield Dev 팀 이주홍입니다. 이번 글에서는 어뷰저(abuser)로부터 LINE VOOM(구 Timeline)을 보호하고 있는 SHIELD를 소개하겠습니다. SHIELD는 어뷰징 검출과 NLP를 이용한 텍스트 필터링, 텍스트 필터 에이전트, 어뷰징 페널티 히스토리 관리 기능으로 구성된 솔루션으로 2019년 2월에 LINE VOOM에서 코멘트를 이용한 어뷰저를 막기 위해 개발하기 시작했습니다. 2019년 3월, LINE VOOM에 첫 번째 모델을 적용했고, 2020년에는 스토리와 생일 축하 카드에 모델을 추가해 다양한 형태의 어뷰저를 검출하고 있습니다. 앞으로도 LINE의 튼튼한
- Data/AI
딥러닝은 어떻게 동작할까? 현재 어디까지 왔고, 미래는 어떻게 될까?
한길로2022-06-21
Camera AI 팀을 리딩하며 개발하고 있습니다. AI 기술을 보다 널리 알리는 데 관심이 많습니다.
안녕하세요. LINE+ Camera AI 팀을 리딩하며 개발하고 있는 한길로입니다. 앞서 손재범 님이 '모바일 GPU에서 뉴럴 네트워크를 더 효율적으로 만들기'라는 글에서 저희 팀을 소개한 적 있는데요. 저희 팀은 주로 비전 문제를 다루며, 숏폼 플랫폼과 카메라 앱에서 사용하는 인공 지능 적용 콘텐츠를 연구하고 개발합니다. 이번 글에서는 많은 분들에게 AlphaGo와 거의 동일한 명사로 취급받고 있는 딥러닝에 대한 제 생각을 자유롭게 공유해 보려고 합니다. 인공 지능 산업은 앞으로 여러 산업 전반에 걸쳐 크고 작은 영향을 미칠 것이라고 예상되는데요. 이런 인공 지능과 관련해 개발자뿐 아니라 다양한 사람들의 시각이 보다 풍부하게 형성되길 바라는 마음으로 글을 작성했습니다(쉽고 간단하게 설명하기 위해 일부 논리의 비약과 단순화한 개념이 있다는 것을 알려드립니다). 먼저 헷갈리기 쉬운 세 용어를 짧게 정리하고 가겠습니다. 인공 지능: 셋 중에서 가
- Data/AI
모바일 GPU에서 뉴럴 네트워크를 더 효율적으로 만들기
손재범2022-04-07
LINE+ Camera AI 팀에서 AI Filter 개발 관련된 업무를 맡고 있습니다.
안녕하세요. LINE+ Camera AI 팀의 손재범입니다. Camera AI 팀에서는 주로 비전 문제를 다루며 숏폼 플랫폼과 카메라 앱에서 사용하는 AI 적용 콘텐츠를 연구하고 개발합니다. 예를 들어, 카메라에 비친 내 얼굴을 만화 캐릭터처럼 바꿔주는 애니메이션 필터 기능이나 립싱크 기능과 같은 신기하면서 재미있는 카메라 필터를 연구하고 개발하는 팀입니다. 또한, LINE 앱에서 쉽게 사용할 수 있도록 AI 기능을 최적화하고 경량화하는 일도 병행하고 있습니다. 저희 팀에선 서버 환경이 아닌 모바일 환경에서 AI 모델을 추론해야 하는 상황이 자주 있는데요. 이에 모바일 GPU 환경에서 '최소한의 성능 감소와 최대한의 속도 향상'을 탐색하는 과정에서 세운 여러 가지 가설과 이를 증명하기 위한 실험 내용을 공유하면 좋겠다는 생각이 들어서 글을 쓰게 되었습니다. 비록 NVIDIA GPU와 Apple 칩셋 하나씩만 사용해 진행했지만, 개별 연산 단위에서부터 여
- Data/AI
HyperCLOVA와 NFT 마켓, LINE이 그리는 기술의 미래
LINE Engineering2022-01-12
LINE의 기술을 소개하는 블로그를 운영하고 있습니다.
LINE은 지난 2021년 11월 10일과 11일 양일간 기술 컨퍼런스 LINE DEVELOPER DAY 2021을 온라인에서 개최했습니다. 이 행사의 오프닝 키노트에서 CTO 박의빈 님과 AI 사업 책임자 이사고 신이치 님, 블록체인 사업을 담당하고 있는 요네야마 유스케 님이 LINE의 과거와 현재, 그리고 미래에 대해 이야기했는데요. 이 키노트를 글로 옮겨서 두 번에 걸쳐 전달드리려고 합니다. 이번 글은 그 두 번째 편입니다. 첫 번째 글에서는 메신저에서 AI와 블록체인까지, LINE이 10년간 걸어온 길이란 제목으로 LINE의 지난 10년을 돌아본 뒤 하이퍼 스케일 AI를 목표로 삼은 LINE CLOVA에 대해 전달드렸는데요. 이번 글에서는 이사고 님이 HyperCLOVA 언어 모델의 구조와 향후 계획을 전달한 뒤 요네야마 님이 LINE의 블록체인 전략에 대해 공유하겠습니다. HyperCLOVA 언어 모델의 구조와 해결해야 할 과제
- Data/AI
- Blockchain

1 2 3