Blog - LINE ENGINEERING

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog

データエンジニアリング関連ソフトウェアの障害対応事例
Keiji Yoshida2018-12-03
LINE Data Labs データエンジニア
この記事は LINE Advent Calendar 2018 の 3 日目の記事です。 LINE Data Labs のデータエンジニアの吉田啓二です。私が昨年末から今年にかけて担当したデータエンジニアリング関連ソフトウェアの障害対応内容をいくつかご紹介します。 1. Apache Hadoop YARN : ResourceManager Failover 1-1. システム概要 Data Labs が管理している Hadoop クラスタの中で、各 LINE サービスのデータを収集して一元管理しているものがあります。 Apache Sqoop などを使用して各 LINE サービスのデータが HDFS へ取り込まれます。 YARN クラスタ上では MapReduce, Tez, Spark などのアプリケーションが実行され、これらのデータに対する集計・加工などの処理が実施されます。システム構成は以下の通りです。この Hadoop クラスタは HDP-2.6.2.0 (2.6.2.0-205) で構築されており、 YARN のバージョンは 2.7.3 です。 1-2. 発生事象こ
- Hadoop
- Spark
- Zeppelin
【登壇・協賛情報】JJUG CCC 2018 Fall
LINE Engineering2018-12-03
LINE Engineering Blog official account
2018年12月15日(土)に開催される日本最大のJavaコミュニティイベント JJUG CCC 2018 Fall にて、LINEはゴールドスポンサーを務めます。そして、懇親会にはお寿司を提供させていただく予定です。ぜひ、ご参加ください！また、当社より3名のエンジニアが登壇予定です。 LINE で広告プラットフォームを Java + Golang で立ち上げた話 - Tokuhiro Matsuno 生粋のKotlin LoverによるLINEのKotlinの話 - 藤原聖 JShellではじめる最新Java - きしだなおきイベント情報主催 : 日本Javaユーザグループ開催日時 : 2018年12月15日（土）場所 : ベルサール新宿グランドコンファレンスセンター 5F 参加費 : 無料詳細は以下公式サイトをご覧ください。http://www.java-users.jp/ccc2018fall/
- 協賛情報
統計指標の信頼区間を評価する Delta method とその応用（論文紹介）
Takaguchi Taro2018-12-02
LINE Data Scientist
こんにちは、Data Labs の Data Analysis チームで主に LINE のメッセンジャーアプリに関する分析を担当している Takaguchi です。この記事は LINE Advent Calendar 2018 の２日目の記事です。 Data Labsは、LINE アプリをはじめとするLINEファミリーサービスのデータを事業へ活用するための専門的な開発組織です。私の所属するData Analysisチームでは、最新の知見を業務に取り入れるべく研究論文の紹介や研究会への参加などを積極的に行っています。その一環として、「エンジニアは、国内外のカンファレンスへの参加に必要な費用を一年に一回は会社に負担してもらえる」という LINE の制度を利用して、国際会議 KDD 2018に参加しました（同僚の Takayanagi と私による参加レポート記事はこちらです）。この記事では、この国際会議に参加して最も強く印象に残った論文の内容を紹介します。はじめにこの記事で紹介する論文の情報は以下の通りです（以下では「本論文」と呼びます）。 Alex Deng, Ulf Knoblic
- Data Science
- Delta method
LIFF + TIC-80
seisuke2018-12-01
LINE Engineer
こんにちは、LINE FukuokaのAndroidエンジニアでLINEのメッセンジャーアプリの開発を担当している吉田清亮 (@seisuke)です。この記事は LINE Advent Calendar 2018 の1日目の記事です。先月開催された社内Hackathonで、Fantasy Consoleと言われる聞きなれないジャンルのプロダクトであるTIC-80をLIFFで動かしてみました。せっかく得た知識などを共有できればと思い、この記事を書くことにしました。 LINE Fukuokaでは毎年Hackathonを開催しており(去年のレポート)、何人かのプレゼンターが開発企画の提案を行い、それに興味をもった4,5人のチームで2日間開発を行うのが、基本の形となります。その際に普段自分の業務ではあまり縁のない技術を使うチームも少なくないです。自分はTIC-80を、WebAssemblyを利用することによって、LIFF の中で動作させるという企画を行い、開発することになりました。 TIC-80、そしてFantasy Consoleとは TIC-80 はC言語で作られたFantasy
- LIFF
- TIC-80
LINE Developer Meetup #45 in Kyoto 参加レポート
Kataoka2018-11-30
LINE Engineer
こんにちは。LINE Fukuokaでサーバサイドエンジニアをしている片岡です。 9月27日（木）に京都でLINE Developer Meetup #45が開催されましたので、参加レポートをお届けします。今回もたくさんのご参加をいただき、ありがとうございました！今回のテーマは「インフラ」でした。インフラといっても様々なものがありますが、今回はネットワークアーキテクチャ, ソフトウェアロードバランサ, OSインストーラといったという3つの点から、実際にLINEで取り組んでいる技術分野についてご紹介させていただきました。私も参加してきましたので、そのレポートをお届けします。 Network for LINE: 大規模サービスを支えるネットワークインフラの全貌 / 小林正幸(LINE株式会社) このセッションでは、LINEが新たに採用したデータセンターネットワークアーキテクチャと、柔軟なトラフィックエンジニアリングを実現するためのバックボーンネットワークについて、ご紹介させていただきました。大規模サービスを支えるネットワークインフラの全貌 from LINE Corpora
LINE Advent Calendar 2018のお知らせ
Teppei Miki2018-11-30
Developer Relations Team, LINE Corporation.
Developer Relationsチームの三木です。 12月1日から25日にかけて、LINE Advent Calendar 2018をLINE Engineering Blogにて実施することになりましたので、お知らせいたします。LINEのさまざまな部門に所属するエンジニア有志25名がバトンを渡しながら、記事を公開していきます。開始に先立って、本記事ではそのラインナップをご紹介します。 Advent Calendarについての説明は、本ブログ読者のエンジニアの皆様には説明不要かと思いますので、割愛いたします。なおLINE Engineering Blogでは、2016年からAdvent Calendarを開始しました。過去の記事は、以下に一覧としてまとまっておりますのでぜひご覧ください。 LINE Advent Calendar 2017 LINE Advent Calendar 2016 先日開催したLINE DEVELOPER DAY 2018では「Next LINE」をテーマとして、セッション・LT・ポスター掲示など様々な手段で、LINEが投資する様々な技術的な領域に
【協賛情報】JapanContainerDays v18.12
LINE Engineering2018-11-28
LINE Engineering Blog official account
2018年12月3日〜5日の日程で開催されるJapanContainerDays v18.12にて、LINEはランチ&トートバッグスポンサーを務めます。JapanContainerDays（JKD）はコンテナ活用/クラウドネイティブの現状をひとまとめにした開発者のためのイベントです。また、当社より3名のエンジニアが4つのセッションにて登壇予定です。 LINEエンジニアを支えるCaaS基盤の今とこれから - 西脇雄基 LINEにおけるRancher CaaSの実際 - 西脇雄基 Kubernetes上で動作する機械学習モジュールの配信＆管理基盤 Drucker Rekcurd について - 服部圭悟 GitOpsではじめるKubernetes CI/CD Pipeline - 遠藤耕平イベント情報名称 : JapanContainerDays v18.12 日時 : 2018年12月3日〜5日 (3日はトレーニングとミートアップ、4日・5日がカンファレンス) 会場 : sola city Conference Center (東京都千代田区神田駿河台4-6)
- 協賛情報
「LINE DEVELOPER DAY 2018」のセッション資料を公開しました
Momoki Kota2018-11-27
LINE技術領域に関するPRや社内外のイベントなどを担当しています。\r\n
Developer Relationsチームの桃木です。先日開催した「LINE DEVELOPER DAY 2018」、多くの皆様にご来場いただき本当にありがとうございました。各ホールおよびカフェで行っていたセッションの資料を公開しました。当日ご来場頂いた皆様も、お越し頂けなかった皆様も、ぜひぜひご確認ください！なお、各セッションのプレゼン動画・フォワイエで行っていたポスターセッションの掲示データについては、また改めて公開させていただきますので、今しばらくお待ち下さい。 ■HALL A（LINE LIVE：https://live.line.me/channels/31960 ）【Opening】"Next LINE" LINEが創る新たな世界【A-1】Clova AI for Everyone【A-2】LINEのインフラプラットフォームはどのように大規模サービスをスケールさせ運用コストの小さなインフラを提供しているのか【A-3】How does LINE effectively handle media content?【A-4】Multi-Tenancy Kafka clus
- linedevday
「LINE DEVELOPER DAY 2018」ご参加いただき、ありがとうございました！！！
Minwoo Park2018-11-21
As a member of Developer Relations team at LINE, I evangelize awesome tech assets of LINE.
Developer Relationsチームの桃木です。本日、LINEのエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」を開催しました。社内外のエンジニアの皆様1,000名以上にご来場いただく大盛況なイベントとなりました。ご来場いただいた皆様、そして登壇・運営に携わった社内外の皆様、本当にありがとうございました！全てのセッションの資料および動画を含む詳細エントリは後日改めて公開しますが、まず速報的にイベントの様子を簡単にレポートします。「LINE DEVELOPER DAY 2018 」は、「Next LINE」をコンセプトに、多様なテーマのセッションを通して、新たな技術領域におけるチャレンジや、それを支えるLINEのエンジニアの技術的知見や経験・挑戦、そして目指しているビジョンなどについてお話しました。今年は、白金台の八芳園に会場を移し、4つのホールに加え、カフェでのLT、今回初めて行ったポスターセッションなど6トラックにおいて合計60のセッションを実施しました。AIやBlockchainなどLINEが新たに取り組むプラットフォー
- linedevday
LINE の IoT プラットフォーム LINE Things の Developer Trial を試してみる
Hirotaka Kawata2018-11-21
LINE Engineer
English version. LINE Things のプラットフォーム開発をしている川田です。皆さんは、LINE Things という LINE の Bluetooth LE を使った IoT プラットフォームをご存知でしょうか？ 2018年11月に行われた LINE Developer Day 2018 で発表され、開発者が気軽に利用できる Developer Trial が公開されました。この記事では、LINE Things のサンプルコードをもとに、実際に LINE 上で連携できるデバイスを ESP32-DevKitC を利用して作成し、動かしてみる手順をご紹介します。 LINE Things とは LINE Things とは、Bluetooth LE に対応した IoT デバイスを LINE のアプリ上で接続し Bot や Web サービスと連携することができるプラットフォームです。今まで Bluetooth LE (BLE) を利用するデバイスをスマートフォン上から操作するには、専用のアプリを作成したり Web Bluetooth を利用する必要がありました。
- IoT