Blog - LINE ENGINEERING

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog

LINEの新しいセルフサービス型バッチデータ収集システム「Frey」の導入
LINE Engineering2020-12-14
こんにちは、Data Platform室Data Engineering 1チームの徐です。 Data Platform室では、大規模なHadoopクラスタを運用し、データ収集、分析、活用するためのプラットフォームを提供しています。Data Engineering 1チームのミッションの一つは、様々なストレージからのdata ingestionシステムを構築、運用することです。本記事では、バッチ処理でデータ収集を行うシステムの概要を説明した後に、LINEのセルフサービスツールであるFreyをご紹介します。従来のバッチ処理システム概要典型的なバッチ処理システムは以下の様な特徴が挙げられます。バッチタスクを実行するには、スクリプトを許可してスケジューリング・エンジンに保存するユーザー向けにツールやライブラリの備わった一般的なプログラミングフレームワークが用意されており、標準化されたスクリプト記述が可能で、管理も簡単にできる GitHubなどのバージョン管理ツールとも連携可能下図に示しているのは、LINEで4年以上使われていたバッチ収集システムの第一世代です。課
【インターンレポート】「LINE証券」LINE公式アカウントでの値動きランキング自動配信
LINE Engineering2020-11-30
自己紹介 2020年の８月から9月にかけて技術職就業型コースのインターンシップに参加した遠藤皓義です。現在は慶應義塾大学の経済学部3年に在籍していて、コーポレートファイナンスやミクロ経済学を勉強しています。今回のインターンを通して私が取り組んだ内容をご紹介させて頂きます。 LINE証券について LINE証券では個人向けの株取引サービスを提供しています。サービスの特色としては、誰でも気軽に少額から投資を始められる点を強みとしています。一般的な株式取引は100株単位(単元株)での取引となりますが、「LINE証券」では”いちかぶ”(単元未満株)という、1株単位で取引することが可能なため、1株数百円から投資を始められます！僕もこのインターンをきっかけにLINE証券を使って投資を始めたので、それがインターンの収穫の一つだったりします笑プロジェクト＋背景続いて僕の担当したプロジェクトを紹介させて頂きます。一般の人が株を始めると最初に大体下の二つの壁にぶつかります（僕も始めてみて実感しました笑）どの株をいつ買ったらいいかわからない
- Server-side
- line-intern-ja
WFHで減ったチームのコミュニケーションを「Communication Dev」で解決してみた
LINE Engineering2020-11-26
こんにちは。LINE Growth Technology UITチームの田中祥子です。この記事では、LINE Growth Technology（以下、GT）のUITチームでコミュニケーションの一環として行っている「Communication Dev」について紹介したいと思います。経緯 GT のフロントエンドエンジニアはGTの開発室の中にあるUITチームに所属しています。メンバーはそれぞれ別のプロジェクトに所属していることが多く、メンバー間のコミュニケーションが希薄でした。また、私自身が入社して日も浅く、1つのプロジェクトにしか携わっていないので、UITチームの他のメンバーとの交流がほとんどありませんでした。そこで、普段交流のないメンバーと一緒に何かを開発をすることでコミュニケーションの機会を増やし、GTのUITチームとして絆を深めることを目的に始まったのが「Communication Dev」という取り組みです。 Communication Devでは、GT UITチームのメンバーがAチームとBチームとして4人ずつに分かれ、週に最低30分ほど時間を取り、チーム開発を行いました
- LINE Growth Technology
Swaggerを使ったAPIドキュメントの作成と、バックエンドとフロントエンド間の連携
LINE Engineering2020-11-25
こんにちは。LINE Growth Technology福岡開発室でサーバーサイドエンジニアをしている中村です。この記事では担当していたプロジェクトで実施した、Swaggerを使ったAPIドキュメントの作成と、BE（バックエンド）とFE（フロントエンド）間の連携について紹介します。プロジェクトの説明はじめに、今回LINE Growth Technology福岡開発室（以下「GT」）がシステムの設計開発を担当した、LINE公式アカウント審査ツールのプロジェクトについて説明します。 LINE公式アカウント審査ツールとは、LINE公式アカウントで認証済アカウントが申請された際に、申請内容が適切であるか審査するシステムです。このシステムは、LINE公式アカウントが利用されている各国に存在する審査パートというチーム（以下「審査チーム」）によって利用され、日本以外の国家も含め、一日あたり平均約1,000件の申請を審査します。プロジェクトの開発は大きくわけて、審査チームが使用するWEB画面を提供するFEと、WEB画面及び他システムにAPIを提供するBEが存在します。今回私はBE担当としてこ
- LINE Growth Technology
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
LINE Engineering2020-11-19
DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本記事ではまず環境音認識の概要について簡単に説明し、我々が参加したコンペティションのタスク、そして我々が1位を獲得した用いた方式について紹介いたします。環境音認識について環境音認識とは、どんな状況でどんな音が発生しているかを認識・理解する技術です。具体的には、音響信号を入力としてどのタイミングで何の音が発生したかを出力する分類問題となります(図1)。図1:環
【Team & Project】 LINE GAMEの基盤プラットフォーム開発・GAME SDKの開発を担当しているチームを紹介します
LINE Engineering2020-11-18
LINE Engineering Blog official account
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。ゲームの基盤プラットフォーム及び関連システムやクラウドプラットフォーム開発・サービス、 LINE GAME への技術支援及び運営をしているゲームプラットフォーム開発室の中から、今回は、GAME SDKなどを担当しているゲームクライアント開発チームを紹介します。 Choi Younghoと Lee Seonuにゲームプラットフォーム開発室全体の取り組みについて、そしてYamazaki Goにゲームクライアント開発チームの話を聞きました。 ―― まず、自己紹介をお願いします。 Choi：2012年からゲームプラットフォーム組織に所属し、LINE GAME立ち上げから携わって今に至ります。 Senior Manager (室長)として部署の方向性の決定やメンバー管理など、組織の全般的な業務を
- LINE Game
- LINE GAME PLATFORM
LINE TIMELINEの新たな挑戦vol.3 - ディスカバー・レコメンド・モデル
LINE Engineering2020-11-13
はじめに LINEのタイムラインに必要な機械学習とレコメンドモデルを作っているData Science DevのJo Younginです。vol.1とvol.2に続き、今回のvol.3では「ディスカバー」を閲覧するユーザーに見せるコンテンツをどのように選定し、どの順番で配置するかについて説明します。ディスカバーのレコメンドディスカバーにアクセスするユーザーがディスカバーに長く滞在して多くの投稿を閲覧し、また次回の訪問につながるようにするには「レコメンド」が非常に重要な役割を果たしています。ポストプール（post pool）まず、LINEのタイムラインの数多くの全体公開の投稿の中、ディスカバーのユーザーにおすすめできる候補群を作成します。この候補群をポストプールと呼びます。ディスカバーサービスの特性上、視覚化が必要なので画像や動画を含む全体公開の投稿のみを対象とします。ディスカバーのユーザーに違和感がない投稿を見せるために、LINEのタイムラインで一定数以上の「いいね」をもらった投稿をポストプールに追加し、vol.2（vol.2発行後リンクをつける）で紹介し
- Data Science
- LINE Timeline
【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
LINE Engineering2020-11-12
概要 LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。この問題を解決するために、今回の技術職就業型コースのインターンシップで、私は効率的なVerdaのHypervisoの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し、比較的複雑になりうる多数の物理マシンに対して並列に行われるオペレーションを、より効率的で堅牢に行えるようにしました。さらに、この設計に基づいた実装を行い、実際に利用されている850台のHypervisorに対するチェックデプロイを通して、その効率を確かめました。背景 LINEはプライベートクラウドVerdaを開発しています。LINEのサービスはこのプライベー
ランダムフォレストを用いたabuser分析とハイパーパラメータのチューニング
LINE Engineering2020-11-11
こんにちは, 今年の4月からLINEのゲームセキュリティチームに新卒として入社しました草間好輝( @yocchii_ )です. ゲームセキュリティチームは. 主にゲーム内で発生する不正行為の対策を目的としたチームです. 例えばゲームチート解析(バイナリ/パケット解析)やクライアントセキュリティモジュールの提供(例:ORK(https://engineering.linecorp.com/ja/blog/ork-vol-1/)), ゲームサーバでの疑わしい動作の分析, リリース前のゲームのセキュリティ診断などです. 本記事では, 同じゲームセキュリティチームのメンバーであるWah Dekaiと共にLINE GAMEのチート分析の一貫で行っているランダムフォレストを用いたabuser検知について解説したいと思います. [関連記事：https://engineering.linecorp.com/ja/blog/monitoring-to-prevent] 背景ゲームセキュリティチームでは(https://engineering.linecorp.com/ja/blog/moni
- Security
LINE TIMELINEの新たな挑戦vol.2 - ディスカバー配信システムの紹介
LINE Engineering2020-11-10
はじめに前回の記事、LINE TIMELINEの新たな挑戦vol.1 – おすすめのコンテンツが探索できる「ディスカバー」と新しい購読モデル「フォロー」に続き、今回は「ディスカバー配信システム」についてより詳しく紹介したいと思います。ディスカバー配信システムは、大きくDiscover FeedとDiscover Agent、Discover ML（Machine Learning）サーバーで構成されます。今回の記事では、Discover FeedとDiscover Agentを中心に説明し、次回の記事でDiscover MLサーバーについて説明します。下図は、vol.1で紹介したディスカバー配信システムの全体フローチャートです。Discover Feedは、6番と7番、8番、10番の役割を担当し、Discover Agentは8番と9番の役割を担当しています。ディスカバー配信システム下図は、Discover FeedとDiscover Agentの構造と流れを示したものです。 Discover Feed Discover Feedは、Discover A
- Server-side
- LINE Timeline