Blog - LINE ENGINEERING

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog

LINE LIVE チャット機能を支えるアーキテクチャ
Hagiwara Go (Oklahomer)2016-09-20
LINE株式会社のOklahomerです。
LINE株式会社のOklahomerです。本記事では、LINE LIVEという動画配信サービスのチャット機能が、どのような構成で成り立っているのか紹介します。チャットの紹介 LINE LIVEのiOS/Android アプリでは、配信中の動画を視聴しながらリアルタイムにコメント投稿できるチャット機能を提供しています。この機能の役割は、視聴者同士が対話を楽しむだけにとどまりません。配信者が視聴者のコメントに返答するという形で配信者と視聴者の接点として機能したり、また配信者がコメント内容に従って企画を進めるなど、配信者と視聴者が一体となって配信を作り上げていく上でも重要な機能となっています。これが有名人による配信となれば当然視聴者数も多くなりますし、その配信中に視聴者からのコメントを募れば瞬発的に相当量のコメント流入があることは容易に想像できるでしょう。もちろんコメント流入が増えるということは、全視聴者へと中継すべきコメントの量も増えますから、それらをいかに高速に捌くかが常に課題となります。実際、一配信のみで分速1万件を超えるコメントが投稿されるようなこともあります。そのためチャット
- LINE LIVE
LINE Developer Dayトークの見所を一部ご紹介します
Yusuke Kushii2016-09-07
Developer RelationsチームでCulture Evangelistをしています。LINE Engineering Blogや技術イベントなどを担当。
9月29日(木) に渋谷ヒカリエホールにて開催するLINE DEVELOPER DAY 2016 では、17のトークをお届けする予定です。今回は、17のトークのうち、４つのトークについてご紹介したいと思います。参加登録は公式サイトから、応募締切は9月15日(木)です。LINE Developer Day 2016 ■ HALL A 11:00 - 11:40「Keynote / New world by the LINE BOT」 LINE Developer Day 2016 のキーノートスピーカーのを担当する松野です。今年の keynote は LINE の BOT プラットフォームがテーマです。今年の春から始まった LINE の Bot をお試しで作れる Trial Bot の現状。そして今後。Bot Platform の新機能。Bot 関連の新サービスなどなど。初公開の情報など盛りだくさんでお届けしますので乞うご期待！ ■ HALL A 14:20 - 15:00 「Security x LINE Platform」 Security x LINE Platformと
- linedevday
メッセージの安全性のさらなる強化：Letter Sealingの適用拡大
Shin Kibin2016-08-28
LINEでメッセンジャーサーバ開発を担当しています。
以前の記事「メッセージの安全性新時代：Letter Sealing」にて、LINEの1:1トークにエンドツーエンド暗号化(End-to-End Encryption、E2EE)を実装したことをお伝えしました。それ以降もLINEは、より多くの機能にLetter Sealingを適用拡大するために多大な努力を続けてきました。今回の記事では、これまでの取り組みをご紹介したいと思います。適用拡大による改善点 1：1トークでLetter Sealingがデフォルト有効化されるより安全にサービスをご利用いただけるよう、1:1トークでLetter Sealingがデフォルトで有効化されました。これまではユーザーが必要に応じてLetter Sealingオプションをオンに設定する必要がありましたが、現在はユーザーがオフに設定しない限りLetter Sealingがデフォルトで有効化されています。最初から全ユーザーを対象にLetter Sealingをデフォルトオンで提供しなかった一番大きな理由は、iOSのプッシュ通知方式のためでした。LINEは、受信したメッセージ内容の一部をプッシュ通知でプレビ
- Security Engineering
PromCon 2016登壇レポート
Yukawa Wataru2016-08-28
LINEでデータエンジニアとして働いています。普段はHadoop、Hive、Presto、Azkaban、Fluentd、Elasticsearch、Prometheus、Grafanaなどを触っています。
はじめに以前のblog postで予告したように、OSSのモニタリングツールとして最近注目を集めているPrometheusの初のカンファレンスPromCon 2016に参加して発表してきました。発表資料や動画はこちらから見ることができるので各セッションの詳細はそちらをご覧ください。このblog postでは当日の様子をお伝えしたいと思います。本家でもレポートが出ているので興味ある方はそちらもチェックしてみると良いと思います。https://prometheus.io/blog/2016/09/04/promcon-2016-its-a-wrap/ 当日のイベントの様子参加者の雰囲気 PromCon 2016は8/25(木), 26(金)の2日間にわたってドイツのベルリンで開催されたイベントです。会場はGoogle Berlinで、LINEはシルバースポンサーとして協賛しました。カンファレンスの規模は参加者約80名でシングルトラックで進行しました。東京でのPrometheusイベントでさえ約100名のエンジニアが参加したぐらいなので、本家のカンファレンスで80名というキャパシティ
- Event Report
- 登壇情報
LINE Developer Day の雰囲気を動画でお伝えします
Yusuke Kushii2016-08-24
Developer RelationsチームでCulture Evangelistをしています。LINE Engineering Blogや技術イベントなどを担当。
参加登録を受付中のLINE Developer Day 2016 の準備を行っています！沢山の方にご来場いただけるように、昨年のイベントの様子がわかる短い動画を作成しました。是非ご覧ください。詳細はこちらからご確認ください。▼LINE Developer Day 2016 公式サイトと応募フォームを公開しました以上、Kushiiよりお伝えいたしました。
- linedevday
内部データパイプラインへのKafka Streamsの適用
Kawamura Yuto2016-08-18
LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。
Kafka Streamsのご紹介こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。内部システム間のevent deliveryを統一された方法で行うデータパイプラインの開発 LINEサーバシステムにおけるバックグラウンド処理を担当するコンポーネントの一つであるtalk-dispatcherの置き換えこの2つの目的は互いに関連性がないようにみえますが、これらの目的を達成するために、Apache Kafkaとストリームプロセッシング技術を適用することを考えています。Apache Kafkaは、LinkedInによって開発され、使われてきた大容量の分散メッセージングシステムです。ユニークな機能を多数提供していますが、一番重要な特徴は次のとおりです。ディスクベースの永続化を提供す
- Kafka
LINE Developer Day 2016 公式サイトと応募フォームを公開しました
Yusuke Kushii2016-08-07
Developer RelationsチームでCulture Evangelistをしています。LINE Engineering Blogや技術イベントなどを担当。
LINE Developer Day 2016 開催のお知らせで開催告知をさせていただきましたが、公式サイトと応募フォームが公開となりましたのでお知らせいたします。 English 開催概要開催日時 9月29日(木) 10時開場、18時半終了予定場所渋谷ヒカリエ9F ヒカリエホール参加費無料懇親会イベント終了後、同じ会場で開催予定です対象アプリやWebなどの開発に関わるエンジニア応募方法こちらの応募フォームからご応募ください応募締切は9月15日(木)です一般プレス枠は先着50名、一般参加枠 450名となっております。一般プレス参加はご自身でブログや各種メディアで定期的に記事を書いている方が対象となり、イベントについて何かしら記事をあげていただける場合のみ選択してください。一般参加枠が抽選となった場合は当落結果を9月22(木)を目処にメールにてご連絡する予定です。（抽選にならなかった場合も必ずメールはお送りいたします）タイムテーブル LINE Developer Day 2016 公式サイトにてご確認ください懇親会同じ会場にて行います、参加費は無料です
- LINE DEVELOPER DAY
チャネルゲートウェイへのCircuitBreakerの適用
Shin Jong Hun2016-08-04
面倒なことが大嫌いで、面倒を減らすために悩み続けています。これがプログラミングが好きになった理由なのですが、なんだかやることが増えた気がするのは自分だけでしょうかね？
はじめに Circuit Breakerの紹介記事を先に読むことを推奨します。チャネルゲートウェイにCircuitBreakerを適用するチャネルゲートウェイサーバは、LINEの多様なサーバの機能をCP(Contents Provider)に提供する役割を担っています。そのため、チャネルゲートウェイサーバは接続されているサーバに大きく影響されます。なお、そうした影響はチャネルゲートウェイサーバ全体に容易に拡散します。この問題の解決に悩んでいたところ、CircuitBreakerに関する内容を聞きました。特定のサーバに障害が発生した場合、CircuitBreakerがそれを検知してそのサーバに投げられるリクエストを遮断すれば、問題を十分解決できると思いました。そのため、チャネルゲートウェイにCircuitBreakerを適用することを決めました。チャネルゲートウェイ用のCircuitBreakerを直接実装することもできましたが、Armeriaにすでに見事なCircuit Breakerが実装されていました。ArmeriaのCircuitBreakerは、様々なオプションをニー
LINE Game AirBorne DataCenterのご紹介
OH WANG JIN2016-07-26
現在、LINE Ads Platformのデータエンジニアとして働いています。これまではゲーム、セキュリティ、検索に関する開発を担当してきました。ビックデータ関連技術を研究・開発しています。
以前の記事「Spark、Mesos、Zeppelin、HDFSを活用した大容量セキュリティデータの解析」に続き、今回はAirArmor※注1から得られる検知情報をほぼリアルタイムで処理するために使用したクラウド技術とストリーミング処理方式についてご紹介します。 ※注1: LINEのゲームセキュリティ開発室で開発し、LINE Gameに適用しているモバイル向けゲームセキュリティソリューションの名称 AirBorne DataCenter & Mesos (with DC/OS) Apache Mesosをベースにセキュリティデータを解析する全体的な仕組みをAirBorne DataCenterと称しています。この仕組みには、ビックデータを処理するためのKafka、Spark、Elasticsearch、Hadoop、Zeppelin、Springなどのオープンソースが含まれています。導入の背景 2015年初頭にスタートしたAirBorneは、大量のデータを迅速に照会することを目的に作られたものです。MesosベースのSparkを主に使用しており、データの照会およびビジュアライズ
- LINE Game
分散サービス環境へのCircuit Breakerの適用
Ono Yuichi2016-07-14
LINEのエンジニアです。
LINEエンジニアのonoです。この記事では、LINEのサーバで実際に導入を始めているCircuit Breakerという仕組みについてご紹介します。 Circuit Breakerとは？ LINEをはじめとする昨今のWebやアプリのバックエンドサーバシステムは、お互いにAPIやRPCで接続された多数のサービスのネットワークとして構成されるようになってきました。もしこのネットワークの中の1つが突然全く応答を返さなくなったらどうなるでしょうか？ダウンしたサービスに対するアクセスがタイムアウトするまでブロックすることにより、依存するサービスまでもが連鎖的にダウンしてしまう可能性があります。もしネットワークの全容を誰も把握できていなかったら、根本の原因がどのサービスにあるのか発見するのに時間がかかってしまうでしょう。我々はこのような障害の連鎖を防がなくてはいけません。少なくとも、最も重要な機能が影響を受けないようにする必要があります。そのためには、障害がおきたサービスへのアクセスを遮断しなければなりません。この仕組みを自動化したものが、Circuit Breakerです。 h