LINEの大規模なData PlatformにData Lineageを導入した話

こんにちは、Data Platform室IU Devチームの島村です。
Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員が活用できるように、データの収集、処理、分析、可視化を提供しています。私が所属するIU Devチームでは、「IU Web」を開発しています IU Webは、IUのデータを安全にかつ効率的に活用できるようにするData Catalog機能を提供しており、LINEグループのあらゆるサービスから利用されています。

IUにおいて、Data Pipelineが複雑になるにつれて、データに関する問題が発生した際のデータの関係性の把握が難しくなっていました。この問題を解決するために、IU Webでは、Data Lineage機能を導入しました。この記事では、導入したData Lineage機能と、機能開発時に発生した問題及びその解決方法についてご紹介します。

BGP Graceful Restartに関わる各OSSルーティングプラットフォームの動向調査

こんにちは.2021年の4月からITSC Verda室のネットワーク開発チームでアルバイトをしている菅原大和(@drumato)と申します.本記事は,私達のチーム内で調査が必要になった,BGPでNSF(Non-Stop Forwarding)を実現する技術の一つであるBGP Graceful Restartの一般的な話題について整理し発表するものです.また,各OSSルーティングプラットフォームの状況について整理します.付随する話題として,私達LINEがネットワークメンテナンスに力を入れる理由や,ネットワークプロトコルの技術を積極的にキャッチアップする背景についても触れます.Long-Lived Graceful Restart(LLGR)については本記事の範囲外としますのでご了承ください.

LINEがApache Software FoundationのSilver Sponsorになりました

こんにちは。Open Source Program Office TF (タスクフォース)です。私たちはLINEのエンジニア組織とオープンソースエコシステムを融合し、より密接な関係を築いてコミュニティと共に成長できる文化を作るために様々な取り組みを行っています。今回は、この3月にLINEがApache Software FoundationのSilver Sponsorに加わることになった背景について紹介します。

文章有害性評価コンペティションへの挑戦

AI開発室のTrustworthy AIチームに所属している綿岡です。普段の業務は言語モデルの信頼性向上のための技術開発で、特に有害文検知に関する技術開発に注力しています。昨今の言語モデルの急速な発展に伴い、有害文検知の技術も急成長しており、Perspective API(有害文を検知するAPI)を提供するJigsawは有害文検知コンペティションを2018年から毎年開催しています。一方、我々Trustworthy AIチームは、日本語での有害文検知モデルの構築は今後最重要課題となるだろうと常々考えてきました。そのことから有害文検知の最先端に挑戦するとともに知見を深めることを目的として、2021年11月からKaggleで開催された「Jigsaw Rate Severity of Toxic Comments」にTrustworthy AIチームから綿岡が参加することにしました。最終結果を先に記載しておきますと、2,301チーム中147位で銅メダルを獲得しました。このブログでは、本コンペの概要及び出場にあたって取り組んだ内容について報告します。

LINE Open Source Sprint 2021: オープンソースに貢献する文化の創出

こんにちは。 Open Source Program Office TF (タスクフォース)です。LINEがオープンソースに大きく依存していることはよく知られる事実ですが、私たちのチームはLINEのエンジニアリング文化がオープンソース文化と密接に融合するように多くの努力を払っています。

LINEのような環境で働いている開発者であれば、一度ぐらいは次のようなことを考えたことがあるかと思います。
「あ…自分も時間をかけて、いつかはオープンソースに貢献しないと…」
この思いはすぐに次につながることでしょう。
「けど、何をどこからやればいいのだろう。。。」
多くの人がこのような悩みを抱えているという事実が分かったことで、私たちのチームはオープンソースへの貢献を行うための社内イベントの開催を企画しました。

今回の記事では、2021年の年末に行われた「LINE Open Source Sprint 2021」についてご紹介します。

【インターンレポート】汎用的な音声表現のための自己教師あり学習の研究

はじめまして、名古屋大学大学院情報学研究科修士1年の畔栁伊吹です。2021年の夏にLINEのAI開発室のリサーチャーインターンシップに6週間参加しました。今回のインターンはコロナの影響でフルリモートで参加しました。普段と異なる環境かつ限られた時間の中で成果を出せるか不安でしたが、メンターの方と毎日30分程度ミーティングの時間があったため、問題なく進めることができました。インターンでは、「汎用的な音声表現のための複数のサンプリング戦略を用いた自己教師付き学習法」の開発、実験、論文執筆を行いました。論文は音声・音響・信号処理分野における世界最大規模の国際学会ICASSP2022に投稿し、採択されました[1]。以下では、インターンで取り組んだ研究の概要について書きます。

2021 LINE NEWS UIT Workshop レポート

こんにちは。

LINE フロントエンド開発センターの安部です。
私が所属するフロントエンドチームでは月間154億PV(2021年8月時点)の大規模サービスであるLINE NEWSの機能追加・改善に日々取り組んでいます。

LINE NEWSの開発を継続していく中で改善のアイデアや要求は日々蓄積していきます。
エンジニアもそれぞれ理想やモチベーションを持って開発を続けていますが稼働中のサービスに対しアーキテクチャやフレームワークの刷新といった大きな変更を伴う改善に着手できる機会はそう多くありません。

またLINE NEWSは企画・開発・QAが分業体制になっているため開発側の都合だけでは作業の優先順位付けができず技術的負債が放置されてしまうこともあります。

その少ない機会への備えや現実的な制約へのフラストレーション発散の場としてLINE NEWSのフロントエンドエンジニア全員で「LINE NEWSを作り直すなら?」というテーマで各メンバーが抱いている理想や、その理想の実現を阻害する原因について話し合うWorkshopを実施しました。

今回の記事ではそのWorkshopの様子を紹介します。多人数チームでの開発や大規模サービスの運営に興味のある方の参考になれば幸いです。

【インターンレポート】 プライバシを保護したFederated Learningの安全性評価

2021年夏のインターンシップに参加したお茶の水女子大学の松本茉倫です.インターンシップでは「局所差分プライバシを適用したFederated Learningの安全性評価」について研究しました.

本研究に関する論文は,第14回データ工学と情報マネジメントに関するフォーラム (DEIM2022)にて、3月1日に同タイトル(プライバシを保護したFederated Learningの安全性評価)発表予定です.