Blog - LINE ENGINEERING

TAG ARCHIVES: line-intern-ja

【インターンレポート】LINEギフトにおけるバッチ処理のKubernetes化とCI改善
平岡拓海2023-09-22
LINEギフトチーム
はじめにこんにちは。東京大学大学院情報理工学系研究科修士1年の平岡拓海です。2023年の8/7~9/15の6週間、LINE株式会社の就業型サマーインターンシップに参加しました。期間中、LINEギフトチームに配属され、サーバーサイドエンジニアとして業務に取り組みました。本インターンでは、主に一部のバッチ処理をPerlからJavaに書き換え、ジョブをVerda Kubernetes Service (VKS)上で走らせること GitHub ActionsにおけるCI改善に取り組みました。それぞれを順に説明していきます。バッチ処理背景 LINEギフトでは、ログ集計処理や期限が切れたクーポンを削除する処理などをバッチ処理として、一定の期間ごとに走らせています。そのバッチ処理の現状の問題点として Perlで実装されており、Javaへの移行がまだ進められていない。それぞれのバッチ処理がロックを取得しながら同期的に、かつ1つのサーバーで実行されているため、あるバッチ処理がメモリを食い潰すとそれ以降のバッチ処理が全て実行できない。リリース作業時にバッチサーバを再起動する
【インターンレポート】話者性を自然言語で制御可能な音声合成
清水怜央2023-09-22
AI Dev室 ASPチーム
はじめにこんにちは、東北大学大学院情報科学研究科修士1年の清水怜央です。この度6週間の就業型インターンシップとしてAI Dev室ASPチームに所属し、タイトルにもあるような自然言語で話者性を操作できる音声合成モデルについての研究に取り組みました。本記事では、その研究活動の内容について報告します。音声と制御文の例はじめに本研究で行なったことを簡単に知ってもらうために、提案法のモデルで合成した音声と話者性を制御するための文の例を示します。制御文：「The speaker identity can be described as low-pitched, calm, slightly dark, very mature, cool, masculine.」訳：「話者性は低い音高で、落ち着いた、やや暗い、とても渋い、かっこいい、男性的と表現できます。」制御文：「The speaker identity can be described as slightly refreshing, weak, slightly clear, slightly relaxed, very yo
【インターンレポート】Aligned LLM に対するストレステストの検討
矢野一樹2023-09-22
Machine Learning Solution室Privacy & Trustチーム
はじめに初めまして！東北大学情報科学研究科修士1年の矢野一樹です。2023年8月から6週間、LINE夏インターンシップ技術職就業型コースに参加させていただきました。今回のインターンではMachine Learning Privacy & Trust チームに配属され、主にAlignedされたLLMに対するストレステストについて検討しました。本記事では、インターンシップ中での自分が取り組んだ作業内容とその成果について報告させていただきます。テーマ背景大規模言語モデル(LLM)は、任意の入力単語列に対して尤もらしい単語列を出力できることから様々なタスクに応用することができます。しかし、言語モデルは人間が作成したコーパスを使用して学習しているため、倫理的にふさわしくない振る舞い、例えば、暴力的な文章の生成、公平性の欠如、プライバシー情報の暴露などをしてしまう危険性があります。近年ではそのような振る舞いを防止するために様々な工夫を用いて言語モデルをAlignさせるAligned LLMが開発されています。しかしAligned LLMは全ての入力に対して完璧にAlignedされ
- internship
- line-intern-ja
【インターンレポート】LINEの大規模ネットワークインフラの動作状況を可視化する経路監視システムの構築
鈴木大地2023-09-21
ネットワークオペレーションチーム
LINE就業型インターンでネットワークオペレーションチームに6週間お世話になりました鈴木大地と申します。普段は東京大学大学院情報理工学系研究科コンピュータ科学専攻というところで主に化学や物理のための科学計算を量子計算で高速化できないか研究しています。大学院では量子力学や行列と戯れていますが今回のインターンではジャンルを大きく変えて以前より興味を持っていたネットワークオペレーションチームに配属され6週間インターンとして仕事をしました。ネットワークと言えども仕事は数多ありますが、今回のインターンではタイトルの通りLINEの大規模で複数データセンタにまたがるネットワークについて稼働状況を監視するシステムの構築をしました。具体的には以下の機能を備えています。各データセンタから相互にpingを送信しあうことで、LINEのデータセンタネットワークの稼働状況を監視する監視データを元に現在のネットワークの状況をわかりやすく可視化する稼働状況に異常がみられた場合社内slackの然るべきチャンネルに通知する(執筆現在開発中) この記事では上の監視システムが必要となった背景や実現にあたって使用し
【インターンレポート】Physics-based reinforcement learning for physically plausible human motion generation
李博簡2023-09-21
AI Dev室 CVLチーム vh lab
初めに初めまして、東京大学大学院情報理工学系研究科創造情報学専攻修士1年の李博簡と申します。8月7日から9月15日までの6週間、LINE データサイエンスセンター（DSC)のComputer Vision Labチーム（CVL) Virtual Human Labでインターンシップに参加させていただき、モーション生成関連の研究活動を行いました。今回私が取り込んだ研究内容は、物理ベースの強化学習による、物理法則に沿った人間の動きの生成とその制御というテーマです。このレポートで、インターン期間中の研究と実験についてご紹介します。課題近年、Transformer、Diffusion modelやVariational Autoencoders (VAE)などを利用し多くの自由度が高いモーション生成や制御モデルが提案されつつある一方で、動いていないのに足が滑ったり、体の一部が中にめり込んだりなど、実際にはありえない現象が生じてしまう場合があります。その上に多様なモーションを生成するためにも、数多くのラベル付きモーションデータが必要で、高品質なモーションキャプチャーデ
【インターンレポート】ストーリーを考慮したマルチシーンに基づく動画要約
Ryota Kaji2023-09-21
Computer Vision Labチーム
はじめにこんにちは、電気通信大学大学院修士一年の梶凌太です。普段は動画生成に関する研究を行っています。今回は６週間の就業型インターンシップに参加させていただき、Computer Vision Lab (CVL)チームで「ストーリーを考慮した料理動画要約」に関する研究活動に取り組みました。ここでは、インターンシップ中での自分の取り組みとその成果について報告します。背景近年、動画メディアは爆発的に普及していますが、動画は画像と比較して冗長であり、ユーザーの求めるシーン以外のものを多く含みます。長い動画から重要なシーンのみを要約してダイジェスト動画を作るタスクであるVideo summarizationは、このような背景のもと需要が高まっています。例えば料理動画などがその一例で、視聴するユーザの利便性を考えると、調理手順に関するところなどの見たいところ・気になるところのみを取り出したいという需要は高いです。ユーザーの欲しいシーンの描写をテキストで与えたときに、対応するシーンを抽出するタスクを考えると、料理動画はこのような観点で使いやすいため今回の研究対象としました。今回のインタ
【インターンレポート】LINEの大規模ETL batch pipelineにおけるdbtの導入によるデータ分析での課題解決の検証
Aisu Takida2023-09-20
IU Data Connectチーム
こんにちは、早稲田大学政治経済学経済学科学部3年の滝田愛澄と申します。2023年8月7日から6週間、LINE株式会社のIU Data Connectチームにて、就業型インターンシップに参加させていただきました。本インターンでは、LINEの大規模ETL batch pipelineであるVinitusが現在抱えている課題を解決することを目的に、data build tool (dbt) の調査とdbtを用いた新たなworkflowのプロトタイプの設計・実装に取り組みました。このレポートでは、現在のVinitusが抱えている課題を確認し、dbtの導入によってどのようにそれらの課題を解決できるか、具体的にこのプロトタイプでは何をどう実装したのかについてを述べます。背景データが十分に蓄積され始めると、データ分析やBIツールによるダッシュボード化、機械学習による未来予測などのデータ活用を行う動きが一般となってきました。これらのデータ活用のために必ず必要とされるのがデータエンジニアリングです。データエンジニアリングというワードは広義な意味を持ちますが、データが蓄積されてから活用され
【インターンレポート】量子化による大規模言語モデル軽量化の効果測定
佐藤杏奈2023-09-20
AI Dev室 NLP Platform Devチーム
この度、LINEの技術職就業型コースのインターンシップに参加させていただきました、お茶の水女子大学修士課程1年の佐藤杏奈と申します。インターンシップではNLP Platform Devチームに所属し、量子化による大規模言語モデル（LLM）の軽量化について検証を行いました。本レポートではその成果について、ご報告いたします。 0. 大規模言語モデルの量子化とは量子化とは、重みなどのパラメータをより少ないビットで表現することで、モデルの軽量化、高速化を図る手法の一つです。昨今活躍する大規模な言語モデルの多くは数十億、数百億以上のパラメータを持っており、これらの訓練には通常、多くのGPUで数ヶ月と、膨大なコストが必要になります。また、そのようにして訓練させたモデルは、別の特定の用途に合うようにチューニングすることはもちろん、モデルを動かすことも簡単ではありません。大きなモデルであるほどメモリが必要になり、生成・推論のコストがかかるため、モデルを扱うためにも充実した計算環境が求められます。そこで今回は、そんな大規模言語モデルをよりコストを抑えて扱えるようにすることを目標に、モデルの軽
【インターンレポート】HelmによるKubernetesのマニフェストのバージョン管理
石黒湧大2023-09-20
CSI DevBチーム
はじめに　筑波大学大学院修士1年の石黒湧大です。2023年8月より6週間の就業型インターンシップに参加させていただきました。インターンシップでは、LINE Platform Developmentセンター1/CSI室 DevBチームに配属され、「HelmによるKubernetesのマニフェストのバージョン管理」に関する検証および導入に取り組みました。　本ブログではその内容とインターンシップの感想について紹介させていただきます。背景ショップサービスの問題　CSI室はCommunication & Service Integration室の略称であり、LINEサービスのスタンプ・絵文字・着せかえなどのコンテンツの機能開発、関連サービスとの連携、およびその信頼性の向上を担当しています。「LINE」アプリのユーザーは私たちが運用する「スタンプショップ」や「着せかえショップ」といったサービスを利用して、上記のコンテンツを購入・ダウンロードして利用しています。　このショップサービスは複数のアプリケーションで構成されており、そのうちの一部はプライベートクラウドのサービスの一つ
【インターンレポート】ML Annotation tool における AutoLabeling 機能の開発
Sota Nakatani2023-09-19
ML Infrastructure1チーム
はじめにこんにちは、中谷颯太と申します。京都大学大学院の修士1年で、都市計画系の研究室に所属しており、転居に伴う弊害についての研究を行っています。今回は6週間の就業型インターンとしてML Infrastructure1チームに参加させていただき、ML Annotation tool におけるAuto Labeling機能の開発に取り組みました。本記事では、その内容について紹介します。 ML Infrastructureチームとは ML InfrastructureチームではMLエンジニアがモデル開発に集中できるように、また社内の他組織がMLおよびその周辺環境を利用しやすくなるような環境を作ることを目的としており、そのためのプロダクトの開発や運用保守を行っています。そのようなプロダクトの一つとして、ML Infrastructureチームでは社内のデータから学習データをより便利に円滑に作成するためのAnnotation toolの提供を進めています。今回はこのプロジェクトに参加させていただき、その中の一機能であるAutoLabeling機能の開発を行いました。背景アノテーションと

1 2 3 4 5