Blog - LINE ENGINEERING

TAG ARCHIVES: line-intern-ja

【インターンレポート】Federated Fine-tuning of LLMs with Differential Privacy
野﨑雄斗2023-09-19
Machine Learning Solution室 Privacy & Trustチーム
はじめに初めまして！野﨑雄斗と申します。現在、私は東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程1年で、杉山・横矢・石田研究室に所属し、機械学習についての研究をしています。特に現在は弱教師付き機械学習を軸に研究しています。2023年8月上旬から6週間、LINE夏インターンシップ技術職就業型コースに参加させていただき、「Federated Fine-tuning of LLMs with Differential Privacy」という課題に取り組みました。このレポートはそのテーマについて私が行ったことについて紹介いたします。目標: 分散したデータから大規模言語モデル(LLMs)の訓練するプライバシー保護機械学習手法の実装 LLMは一般的なNLPタスクをうまく解くことができます。その一方で、スマートフォン上での予測変換などタスクには、スマートフォン上の機微なデータを用いてLLMを学習することが望ましいと考えられます。その際、スマートフォン上のデータは個人のプライベートなものであると考えられるため、プライバシーに配慮した機械学習手法が必要です。そこで、本インターンシ
【インターンレポート】ブローカーの開発でPyroscopeのスケールアウトを可能にした話
賀恩沢2023-09-15
CSI DevCチーム
はじめにこんにちは！2023年夏に就業型インターンに参加しました、東京大学大学院情報理工研究科コンピュータ科学修士１年生の賀恩沢です。今回は、CSI SRE (DevC) チームに配属され、Site Reliability Engineer(SRE)としてPyroscopeのスケールアウトを可能にするブローカーを開発しましたので、取り込んだ内容についてを紹介したいと思います。背景 CSIとは、Communication & Service Integrationの略称であり、LINEスタンプ、着せかえ、ウォレットタブやホームタブなどのコンテンツやサービスの信頼性制御のためのエンジニアリングに取り組んでいます。私たちは、1,000以上のサーバーを管理しており、現在は信頼性をさらに向上させるためにサービスのKubernetes移行をしています。従来の仮想マシンと違って、アプリケーションで何か異常が発生した際、直ちにKurbenetesはそのアプリケーションを停止し、自動的に再デプロイします。壊れたアプリケーションとその関連するPodはすべて削除されるため、異常となる原因の究
【インターンレポート】LINEポイントの営業を支援するために社内レポートを改善した話
熊倉秀人2023-09-15
Point Devチーム
はじめまして、熊倉秀人です。8/7から9/15まで開発4センター/Point Devチームのバックエンドエンジニアとして技術職就業型コースのインターンシップに参加しました。本レポートではインターンシップで取り組んだ課題について説明します。取り組んだ内容本インターンではLINEポイントクラブの広告案件の操作や設定を行うことができる社内用管理画面（以下、管理画面）に変更を加え、既存のレポート画面では見ることの出来なかった情報であるpre_conversionの件数を見れるようにしました。pre_conversionとはユーザーがポイントをもらうためにエントリー（サービスの登録など）を行った後、実際にポイント付与されるまでの状態を管理するためのデータです。この機能は以前から事業企画側からの要望があったのですが他に優先度の高い案件が多く存在しており、工数もかかるため手つかずのままでした。 campaign report画面について複数のページに変更を加えたのですが、一番実装が重かったのはcampaign reportページでした。campaign reportページはあるcam
【インターンレポート】LINE AndroidアプリのPDFプレビュー機能開発記
八木颯仁2023-09-15
iOS/Androidエクスペリエンス開発チーム
こんにちは！今夏エンジニア就業型インターンに参加させていただいた八木颯仁と申します。私は慶應義塾大学の修士1年で、主に整数論という数学の一分野を学んでいます。また、普段はモバイルアプリやWebアプリの開発をしたり、競技プログラミングに勤しんだりしています。インターンではAndroidエンジニアとして6週間、iOS/Androidエクスペリエンス開発チームというところで、コミュニケーションアプリLINEのAndroidクライアントの開発に携わりました。この記事の前半ではインターン期間中に取り組んだタスクについて詳細に説明します。また後半では私がインターンを通して感じたことなどを紹介します。 PDFプレビュー機能の開発作ったもの早速ですが、私がインターン中に実装したPDFプレビュー機能がどのようなものか見ていただきましょう！既存のPDFメッセージ PDFプレビュー実装後チャット内のPDFファイルに対してサムネイル画像をプレビューとして表示する機能を実装しました。従来はファイル名ダウンロードできる期限ファイルサイズ
【インターンレポート】手の動きを含めた動作生成
Yuto Matsuda2023-09-14
CVLチーム
京都大学情報学研究科修士１年の松田有登です．8月7日から9月15日の6週間、LINE DSC(データサイエンスセンター)のComputer Vision Lab (CVL) Virtual Human Lab (VHL)チームでインターンシップに参加させていただきました。今回私が取り組んだ手の動きを含めた動作生成についてご紹介します。背景動作生成モデルは、アクションラベルや言語、音楽などを入力したときに、それに対応した動作、行動を出力するモデルです。既存の動作生成モデルには、Variational Autoencoder (VAE)のEncoder、Decoderに正解ラベルを付与したConditional Variational Autoencoder (CVAE)を用いて、動作の種類を示すラベルによる条件付き動作生成を行なったACTOR[1]や、Diffusion modelベースでtext-to-motionやaction-to-motionなどのタスクをこなすMLD[2]などが挙げられます。しかし、いずれのモデルにおいても手の動き・動作は考慮されておらず、常に手
【インターンレポート】OFS Spark Syncer supporting Iceberg
Kengo Arakawa2023-09-14
Machine Learning Infrastructure2チーム
はじめに自己紹介初めまして、京都大学情報学研究科修士１年の荒川健吾です。大学院では、HRI（ヒューマンロボットインタラクション）分野の研究室に所属し、アバターロボットの移動操作の困難性の解決に意図認識の手法を用いて取り組んでいます。また、普段はアルバイトとして医療現場での医師の負担軽減を目的としたカルテ要約ソフトのバックエンド開発を担当しています。今回は６週間の就業型インターンで、Machine Learning Infrastructure2チームに配属され、Spark を用いた OFS（Online Feature Store）のデータインジェストジョブの開発に取り組みました。 Machine Learning Infrastructure2 チームとは Data Engineering センター/Machine Learning Platform室に属し、4名のエンジニアが在籍しています。社内のエンジニアがMLモデルの開発や利用のみに集中できるように、MLとその周辺環境を利用しやすいものにすることを目的として、たくさんのプロダクト・ツールの開発・運用を行っています。
【インターンレポート】移動音源のためのマルチチャネル音源分離
Takuya Fujimura2023-05-30
ASPチーム
名古屋大学情報学研究科博士前期課程１年の藤村拓弥です．2022年の夏から8ヶ月に渡り，Auido Signal Processing (ASP) チームのインターンシップ・アルバイトとして「移動音源のためのマルチチャネル音源分離」について研究を行いました．以下ではその内容について紹介します．背景音源分離とは，混ざった音を分離する技術です．この技術を使えば，スマートスピーカなどで，複数人の音声を同時に聞き取ることなどが可能になります．音源分離手法の中でも，複数のマイクロホンを用いるマルチチャネル音源分離手法は，頑健性と処理結果の歪みの少なさといった点で優れており，実応用でもよく利用されます．しかしながら，これまでのマルチチャネル音源分離手法の多くは，音源が移動しないという仮定の下で，より良い分離方法の研究が進められてきました．そのため，話者や音源が動き回る場合には，分離性能が大幅に低下します．これに対して，我々は新たに移動音源のためのマルチチャネル音源分離手法を提案しました．関連研究本記事では，音源分離を「混合信号から複数の音源を同時に推定する技術」，音源強調を「混合信号から
- line-intern-ja
- Audio
【インターンレポート】トピック判別器を利用した対話システムのための話題制御技術開発
Hiromasa Sakurai2023-05-26
NLP開発チーム
こんにちは。東京大学大学院情報理工学系研究科コンピュータ科学専攻修士1年の櫻井大雅と申します。8月8日から9月16日の6週間、LINE株式会社の2022年度夏季インターンシップの「技術職就業コース」に参加させていただきました。このレポートでは、NLP開発チームで私が取り組んだ内容について説明します。まず、基盤モデルを活用した対話システムにまつわる問題について紹介したのち、それを解決するために本インターンで何に取り組んだかを述べます。背景膨大なパラメータを大量のテキストで学習し、高い汎化性能によって様々な下流タスクに応用可能な基盤モデルは、自然言語処理の分野において重要性を増しています。LINEとNAVERも、日本語に特化した大規模な汎用言語モデルを内包するシステム群であるHyperCLOVAを共同開発しています。このHyperCLOVAをベースとした対話システムは様々なジャンルに関する自然な文章を生成することが可能で、広範囲の話題に対応できます。昨年度の対話システムライブコンペティションでも、LINEのNLP開発チームはHyperCLOVAを用いた対話システムによって、自由
【インターンレポート】ドキュメント画像に対する加工検知モデルのための学習データ生成
Rintaro Hasegawa2023-05-10
Trustworthy AIチーム
はじめに 2022年9月から6週間の就業型インターンに参加しました、慶應義塾大学大学院修士1年の長谷川麟太郎です。今回のインターンではTrustworthy AIチームに配属され、ドキュメント画像に対する加工検知モデルの研究・開発に取り組みました。ここでは、インターンシップ中での自分の取り組みとその成果について報告します。テーマ背景近年、深層学習モデルを用いた画像加工技術についての研究が多くなされており、例えば、顔画像を加工することが可能なDeepfakeでは、精巧な顔画像の合成などが加工になります。一方、Deepfakeによる政治家や芸能人の成りすましという問題も起きています。以下の右側の画像は、Deepfakeによって生成された画像ですが、左側の本物の画像と見分けをつけることはかなり困難です。こういった問題対処するために「顔画像が本物かDeepfakeによって作られた偽物か」を見抜くようなモデルについても盛んに研究されています。引用：https://spectrum.ieee.org/ai-creates-fake-obama このような画像の加工は顔画像だけではな
- line-intern-ja
- Trustworthy AI
【インターンレポート】発話から欲しい単語を高精度に抽出する音声認識
Aoi Ito2023-03-24
Speechチーム / ASPチーム
はじめに法政大学情報科学部ディジタルメディア学科3年の伊藤葵と申します。私は、LINEインターン(技術職就業型コース) 及びアルバイトとして2022年8月から8ヶ月間、音声認識の研究に携わりました。インターン & アルバイトでは、実際に企業で行われている研究を進めるだけでなく、人生初の学会発表 (題: 日本語音声認識における語彙集合分割とマルチタスク学習による目的語彙抽出)、さらには国際会議への論文投稿もさせていただきました！本ブログでは、研究内容の紹介・人生初の学会・インターンの感想についてご紹介いたします。研究内容の紹介本インターンで進めた研究について、簡単にご説明します。詳しい仕組み等が気になった方は、ぜひ論文に目を通してみてください。問題背景現在、音声認識の技術は日々進歩し、さまざまなサービス(会議の文字起こしや音声検索etc.)で活用されています。多岐にわたる活用方法に伴い、認識結果の扱い方も目的に応じて変わってきます。例えば、文字起こしといった音声記録では”発話内容すべて”の正確な記録
- line-intern-ja
- Speech Processing

1 2 3 4 5