Blog - LINE ENGINEERING

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog

【インターンレポート】Federated Fine-tuning of LLMs with Differential Privacy
野﨑雄斗2023-09-19
Machine Learning Solution室 Privacy & Trustチーム
はじめに初めまして！野﨑雄斗と申します。現在、私は東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程1年で、杉山・横矢・石田研究室に所属し、機械学習についての研究をしています。特に現在は弱教師付き機械学習を軸に研究しています。2023年8月上旬から6週間、LINE夏インターンシップ技術職就業型コースに参加させていただき、「Federated Fine-tuning of LLMs with Differential Privacy」という課題に取り組みました。このレポートはそのテーマについて私が行ったことについて紹介いたします。目標: 分散したデータから大規模言語モデル(LLMs)の訓練するプライバシー保護機械学習手法の実装 LLMは一般的なNLPタスクをうまく解くことができます。その一方で、スマートフォン上での予測変換などタスクには、スマートフォン上の機微なデータを用いてLLMを学習することが望ましいと考えられます。その際、スマートフォン上のデータは個人のプライベートなものであると考えられるため、プライバシーに配慮した機械学習手法が必要です。そこで、本インターンシ
NLP若手の会（YANS）奨励賞・ハッカソン賞受賞の報告
Kenta Shinzato, Masato Umakoshi, Yukiya Wada2023-09-18
NLP Foundation Devチーム, NLP Platform Devチーム
こんにちは。NLP Foundation Devチームの新里顕大とNLP Platform Devチームの馬越雅人、和田有輝也です。 2023年8月末に開催された研究シンポジウム「NLP若手の会（YANS）第18回シンポジウム」にて、新里が奨励賞を受賞しました。また、同シンポジウム内で開催された「YANS分野交流ハッカソン with 言語処理学会30周年記念事業」のデモアプリ開発ハッカソンにて馬越が優秀賞・審査員特別賞を受賞し、リーダーボードハッカソンにて和田が優秀賞を受賞しました。各受賞について報告いたします。「HojiChar: テキスト処理パイプライン」奨励賞受賞の報告 NLP Foundation Dev チームの新里です。研究シンポジウムにおいて「HojiChar: テキスト処理パイプライン」というタイトルの発表について奨励賞をいただくことができました。発表ポスターや開発へのフィードバック、各種実験を実施をしていただいたチームの方々、YANS運営の方々に感謝致します。奨励賞を頂いた発表は、私が開発をしている HojiChar というオープンソ
- Event Report
- AI
- NLP
【インターンレポート】ブローカーの開発でPyroscopeのスケールアウトを可能にした話
賀恩沢2023-09-15
CSI DevCチーム
はじめにこんにちは！2023年夏に就業型インターンに参加しました、東京大学大学院情報理工研究科コンピュータ科学修士１年生の賀恩沢です。今回は、CSI SRE (DevC) チームに配属され、Site Reliability Engineer(SRE)としてPyroscopeのスケールアウトを可能にするブローカーを開発しましたので、取り込んだ内容についてを紹介したいと思います。背景 CSIとは、Communication & Service Integrationの略称であり、LINEスタンプ、着せかえ、ウォレットタブやホームタブなどのコンテンツやサービスの信頼性制御のためのエンジニアリングに取り組んでいます。私たちは、1,000以上のサーバーを管理しており、現在は信頼性をさらに向上させるためにサービスのKubernetes移行をしています。従来の仮想マシンと違って、アプリケーションで何か異常が発生した際、直ちにKurbenetesはそのアプリケーションを停止し、自動的に再デプロイします。壊れたアプリケーションとその関連するPodはすべて削除されるため、異常となる原因の究
【インターンレポート】LINEポイントの営業を支援するために社内レポートを改善した話
熊倉秀人2023-09-15
Point Devチーム
はじめまして、熊倉秀人です。8/7から9/15まで開発4センター/Point Devチームのバックエンドエンジニアとして技術職就業型コースのインターンシップに参加しました。本レポートではインターンシップで取り組んだ課題について説明します。取り組んだ内容本インターンではLINEポイントクラブの広告案件の操作や設定を行うことができる社内用管理画面（以下、管理画面）に変更を加え、既存のレポート画面では見ることの出来なかった情報であるpre_conversionの件数を見れるようにしました。pre_conversionとはユーザーがポイントをもらうためにエントリー（サービスの登録など）を行った後、実際にポイント付与されるまでの状態を管理するためのデータです。この機能は以前から事業企画側からの要望があったのですが他に優先度の高い案件が多く存在しており、工数もかかるため手つかずのままでした。 campaign report画面について複数のページに変更を加えたのですが、一番実装が重かったのはcampaign reportページでした。campaign reportページはあるcam
【インターンレポート】LINE AndroidアプリのPDFプレビュー機能開発記
八木颯仁2023-09-15
iOS/Androidエクスペリエンス開発チーム
こんにちは！今夏エンジニア就業型インターンに参加させていただいた八木颯仁と申します。私は慶應義塾大学の修士1年で、主に整数論という数学の一分野を学んでいます。また、普段はモバイルアプリやWebアプリの開発をしたり、競技プログラミングに勤しんだりしています。インターンではAndroidエンジニアとして6週間、iOS/Androidエクスペリエンス開発チームというところで、コミュニケーションアプリLINEのAndroidクライアントの開発に携わりました。この記事の前半ではインターン期間中に取り組んだタスクについて詳細に説明します。また後半では私がインターンを通して感じたことなどを紹介します。 PDFプレビュー機能の開発作ったもの早速ですが、私がインターン中に実装したPDFプレビュー機能がどのようなものか見ていただきましょう！既存のPDFメッセージ PDFプレビュー実装後チャット内のPDFファイルに対してサムネイル画像をプレビューとして表示する機能を実装しました。従来はファイル名ダウンロードできる期限ファイルサイズ
【インターンレポート】手の動きを含めた動作生成
Yuto Matsuda2023-09-14
CVLチーム
京都大学情報学研究科修士１年の松田有登です．8月7日から9月15日の6週間、LINE DSC(データサイエンスセンター)のComputer Vision Lab (CVL) Virtual Human Lab (VHL)チームでインターンシップに参加させていただきました。今回私が取り組んだ手の動きを含めた動作生成についてご紹介します。背景動作生成モデルは、アクションラベルや言語、音楽などを入力したときに、それに対応した動作、行動を出力するモデルです。既存の動作生成モデルには、Variational Autoencoder (VAE)のEncoder、Decoderに正解ラベルを付与したConditional Variational Autoencoder (CVAE)を用いて、動作の種類を示すラベルによる条件付き動作生成を行なったACTOR[1]や、Diffusion modelベースでtext-to-motionやaction-to-motionなどのタスクをこなすMLD[2]などが挙げられます。しかし、いずれのモデルにおいても手の動き・動作は考慮されておらず、常に手
【インターンレポート】OFS Spark Syncer supporting Iceberg
Kengo Arakawa2023-09-14
Machine Learning Infrastructure2チーム
はじめに自己紹介初めまして、京都大学情報学研究科修士１年の荒川健吾です。大学院では、HRI（ヒューマンロボットインタラクション）分野の研究室に所属し、アバターロボットの移動操作の困難性の解決に意図認識の手法を用いて取り組んでいます。また、普段はアルバイトとして医療現場での医師の負担軽減を目的としたカルテ要約ソフトのバックエンド開発を担当しています。今回は６週間の就業型インターンで、Machine Learning Infrastructure2チームに配属され、Spark を用いた OFS（Online Feature Store）のデータインジェストジョブの開発に取り組みました。 Machine Learning Infrastructure2 チームとは Data Engineering センター/Machine Learning Platform室に属し、4名のエンジニアが在籍しています。社内のエンジニアがMLモデルの開発や利用のみに集中できるように、MLとその周辺環境を利用しやすいものにすることを目的として、たくさんのプロダクト・ツールの開発・運用を行っています。
LINE Data PlatformにおけるSpark3.2.1アップグレードに伴うリソース効率改善の事例
Daisuke Kataoka, Eli Kitagawa2023-09-13
LINE Data Platform室 Data Solutionsチームで社内のData Platform利用ユーザのサポートをしています
こんにちは。Data Platform室 Data Solutionsチームの片岡と北川です。 Data Platform室では、約400ペタバイトのデータ分析基盤を運用しております。このData Platformは、「Information Universe」(以下、IU) と呼ばれており、LINEの様々なアプリケーションから生成されるデータをLINE社員（以下、ユーザ）が活用できるように、データの収集、処理、分析、可視化を提供しています。我々が所属するData Solutionsチームでは、IUのプロダクトのユーザへのデリバリー、IUの安定運用のためのエンジニアのサポート、ユーザからのテクニカルな質問への回答を担当しています。今回は、その活動の一環として実施したSpark3.2.1アップグレードプロジェクトにおけるリソース効率の改善事例について紹介します。 Spark3.2.1アップグレードプロジェクト発足の背景 IUでは、IUのテーブルに対してデータ操作をする際には、SQLやScriptを利用してユーザ自身でDDL/DMLを実行してもらう運用としており、IU側で実行エ
- Spark
- Data Platform
UIT Meetup vol.20『これがぼくらのスタンダード』を開催しました
Takuma HANATANI2023-09-12
Engineering Manager at LINE Corp. @potato4d
9月8日に、フロントエンドコミュニティ UIT の20回目となるミートアップ UIT Meetup vol.20『これがぼくらのスタンダード』を開催しました。本記事では、イベントの内容について振り返っていきます。なお、本編のアーカイブについては以下の YouTube 動画より閲覧が可能となっております。まだ見ていないかた、見逃したかたはぜひ視聴いただければと思います。本記事では、各セッション紹介でチャプターへのリンクを貼り付けているため、特定のトークから再生を始めることも可能です。 YouTube: https://www.youtube.com/watch?v=kNvXW2gqOfA UITとは？ UIT は、 LINE のメンバーが中心となって発足した、「User Interface × Technology」を掲げるコミュニティです。 LINE の東京オフィスのメンバーからはじまったコミュニティですが、現在では外部コミュニティの方々との Podcast での交流、福岡でのミートアップ開催や、その他のフロントエンドイベン
LIFF Android でのダークモード対応について
Takuya Ogawa2023-09-06
アカウントプロダクトアプリ開発2チーム
こんにちは。コミュニケーションアプリ「LINE」のAndroidクライアント開発をしている小川琢也です。今回は、LINE Android アプリの LIFF ブラウザでダークモード対応を行った際の話を紹介します。 LIFF ブラウザ LIFF は LINE Front-end Framework の略で、LINE が提供するウェブアプリのプラットフォームです。 LIFF についての詳細はこちらを参照ください。このプラットフォーム上で動作するウェブアプリを LIFF アプリと呼び、これら LIFF アプリを LINE アプリの上で表示するためのブラウザが LIFF ブラウザです。 Android での LIFF ブラウザは WebView を利用しており、ダークモードの対応も WebView に沿ったものとなります。 WebView のダークモード対応 Andrid 12 (Api level 32) まで androidx.webkit を利用し、 WebSettingsCompat.setForceDark と&nbs
- Android
- LIFF

1 2 3 4 5