Engineering

LINEの大規模なData PlatformにData Lineageを導入した話

こんにちは、Data Platform室IU Devチームの島村です。
Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスから利用されています。

IUにおいて、Data Pipelineが複雑になるにつれて、データに関する問題が発生した際のデータの関係性の把握が難しくなっていました。この問題を解決するために、IU Webでは、Data Lineage機能を導入しました。この記事では、導入したData Lineage機能と、機能開発時に発生した問題及びその解決方法についてご紹介します。

BGP Graceful Restartに関わる各OSSルーティングプラットフォームの動向調査

こんにちは.2021年の4月からITSC Verda室のネットワーク開発チームでアルバイトをしている菅原大和(@drumato)と申します.本記事は,私達のチーム内で調査が必要になった,BGPでNSF(Non-Stop Forwarding)を実現する技術の一つであるBGP Graceful Restartの一般的な話題について整理し発表するものです.また,各OSSルーティングプラットフォームの状況について整理します.付随する話題として,私達LINEがネットワークメンテナンスに力を入れる理由や,ネットワークプロトコルの技術を積極的にキャッチアップする背景についても触れます.Long-Lived Graceful Restart(LLGR)については本記事の範囲外としますのでご了承ください.

【インターンレポート】汎用的な音声表現のための自己教師あり学習の研究

はじめまして、名古屋大学大学院情報学研究科修士1年の畔栁伊吹です。2021年の夏にLINEのAI開発室のリサーチャーインターンシップに6週間参加しました。今回のインターンはコロナの影響でフルリモートで参加しました。普段と異なる環境かつ限られた時間の中で成果を出せるか不安でしたが、メンターの方と毎日30分程度ミーティングの時間があったため、問題なく進めることができました。インターンでは、「汎用的な音声表現のための複数のサンプリング戦略を用いた自己教師付き学習法」の開発、実験、論文執筆を行いました。論文は音声・音響・信号処理分野における世界最大規模の国際学会ICASSP2022に投稿し、採択されました[1]。以下では、インターンで取り組んだ研究の概要について書きます。

【インターンレポート】 プライバシを保護したFederated Learningの安全性評価

2021年夏のインターンシップに参加したお茶の水女子大学の松本茉倫です.インターンシップでは「局所差分プライバシを適用したFederated Learningの安全性評価」について研究しました.

本研究に関する論文は,第14回データ工学と情報マネジメントに関するフォーラム (DEIM2022)にて、3月1日に同タイトル(プライバシを保護したFederated Learningの安全性評価)発表予定です.

LINEアプリにおける複数人トークとグループトークの統合

LINEアプリは1対1の会話だけでなく、複数ユーザーでの会話にも対応しています。 

これまでLINEにおける複数ユーザーでの会話には、用途に応じてと複数人トークグループトークの2種類がありました。 

複数人トークは一時的な会話の用途で設計されています。複数人トークを作るときに、名前を付けることはできません。友だちをトークに招待する際に相手の承認を待つ必要はなく、「招待」ボタンをタップすると自動的にトークルームに追加されます。すべては、すぐに会話を始めるために設計されています。 

【インターンレポート】有用性の高いモデルを獲得する差分プライベート学習手法

大阪大学情報科学研究科の伊藤竜一と申します.2021年の夏期インターンシップに6週間参加し,期間後もアルバイトとして従事していました.プライバシを保護しながらパーソナルデータを含むデータの分析を可能にしたいというモチベーションから,データ生成と差分プライベート学習に関する研究を行いました.この記事では差分プライベート学習について紹介したいと思います.なお,より詳しい内容は第14回データ工学と情報マネジメントに関するフォーラム (DEIM2022) にて「低ランク近似を介した選択的パラメータ更新による差分プライベート学習」として発表予定です.

【インターンレポート】シチュエーションを限定した対話における応答生成

こんにちは、川本稔己と申します。今回LINE夏インターンシップ技術職就業型コースに参加する機会を頂きましたので、その内容をご報告致します。

私は特に対話に関する研究を行っていて、身近な例でいうと音声アシスタントのような人とシステムで行う対話に興味があります。システムが何でも答えてくれるようになったり、話し相手になってくれたら楽しいですよね。そういった思いがあって、今回のLINEのインターンでは、AI開発室のNLPチームで業務に携わりました。業務内容は大規模汎用言語モデルを用いた対話システムを構築することで、その成果を対話システムライブコンペティション4に提出しました。その結果、オープントラックとシチュエーショントラックでどちらも1位を取ることができましたので、本記事では自分がメインで担当しましたシチュエーショントラックについて詳細をご報告致します。

続 LINE 社内用 NPMパッケージの管理戦略

みなさんこんにちは。UIT Front-end Dev7チームの吉澤です。主にUITが扱う社内サービスやミドルウェアの開発/運用などを行っています。
またDev7チームにはLIFF(LINE Front-end Framework)というLINEが使っているフレームワークの開発をしているメンバもいます。他のUITのチームとは一風変わった特徴的なチームです。

このチームの業務の1つにUITが管理しているPrivate npm registryの拡張、関連機能開発/運用があります。
実はこれに関連した全社的にnpmが使えなくなるという障害が2021/2/15にLINE社内で発生していました。今回はその障害について話しながら私たちUITが管理しているPrivate npm registryについての話を書きます。

2022年におけるフロントエンド開発のベースライン

2022にフロントエンド開発で最も考慮すべきユーザー環境は、パフォーマンスでは低スペックのAndroid端末、標準使用では2年前のSafari、そしてネットワークでは4Gです。それに対してはJSへの過剰依存などが原因で主にパフォーマンスの面でのウェブ全体の対応がよくありません。

こんにちは!LINEフロントエンド開発室のダバロス アランです。この記事のタイトルを見て「釣りタイトルですね〜」と考えている方がいると思いますが今回に限ってはそれを多めに見てください。それはなぜかと言いますと、2021年から2022年にかけて私たちフロントエンドエンジニアが全体的に考え方を改める必要が出るほど大きな変化がありました。

その変化とそれに対して私たちフロントエンドエンジニアがちゃんと応えられるているかを色々なデータを見て分析したいと思います。