Blog - LINE ENGINEERING

TAG ARCHIVES: Elasticsearch

LINEのData Catalogの検索精度を大幅に改善した話
Taishi Eguchi2022-12-26
IU Devチーム
はじめにこんにちは。東京大学大学院修士1年の江口大志です。10月から12月にかけてのパートタイムジョブという形で、LINEでソフトウェアエンジニアとして働きました。今回はData Platform室のIU Devチームに所属し、LINE社内のData Catalogの検索精度の改善に取り組みました。本ブログではその内容について紹介します。背景 LINEでは、社内のデータ利活用を促進するためにInformation Universe（以下、IU）と呼ばれる内製のデータプラットフォームを利用していて、LINEのほぼ全てのサービスから生成されるデータが集積されています。図. LINEの内製のデータプラットフォーム（参考）現在IUでは、4万テーブルに約400 PBのデータが入っており、それらのデータは毎日150,000ものジョブで生成・変更され増え続けています「IU Web」は、IUのデータを安全かつ効率的に活用できるように、Data Catalogとして以下のような機能を提供しています。データの検索機能データの権限管理データのメタデータの管理機能（Data Linea
【インターンレポート】IU Web 検索補完機能の実装
Ryoto Suzuki2021-10-13
こんにちは。東京大学大学院修士1年の鈴木凌斗と申します。8月23日から6週間、技術職就業型コースのインターンシップに参加しました。今回のインターンではData Platform室 IU Devチームに所属し、LINE社内で利用している「IU Web」というデータカタログの検索機能改善に取り組みました。本ブログでは、その内容について紹介します。背景 IU Webについて参考：LINEがサービス横断で実現する"データ活用の民主化" LINEでは全社横断でデータを活用するために「IU」(Information Universe) と呼ばれるデータプラットフォームを利用していて、LINEのほぼすべてのサービスのデータがここに集積されています。現時点でサーバ台数は2,000台以上、ストレージ使用量は約300PBとなっています。「IU Web」はIUのデータを管理するデータカタログとして以下を提供します。どのようなデータが存在するかデータの権限は誰にあるかデータのメタ情報データの検索機能社内ユーザは、IUに存在する大量のデータの中から目的のデータにアクセスするためにIU
Excel のピボットテーブルを ElasticSearch + Kibana にしてみた
yasunori.kuji2018-12-06
2018/8にLINEに入社しました。前職は青森で、部署のサービスをすべてコンテナ化していました。
みなさんはじめまして。 8月にLINEに入社し、ITサービスセンター・システム室で主にサーバ構築/管理を担当している久慈泰範と申します。こういう場が初めてですのでちょっと緊張しておりますが、 LINE Advent Calendar 2018 - 6日目の記事を担当させていただきたく思います。はじめにこの記事では、LINE Advent Calendar ならではの技術の深掘り...というよりも、サービスの活用方法とその可能性について触れたいとおもっています。 Elasticsearch + Kibana は主にログ解析で使われることが多いと思いますが、本記事ではそれぞれの特性を活かし Excel のピボットテーブルの代わりに使えないか？というトライを紹介します。できあがり先にできあがったものを紹介すると、こんな感じです。こういった、Excel〜って感じのデータをシステムに簡単取り込んで ↓　↓　↓　↓　↓　↓　↓　↓　↓ ブラウザでExcelのピボットグラフを作って、並べていま
- Elasticsearch
- Kibana
Elastic{ON} 2017 参加レポート
Jaejin Lee2017-06-20
LINEで大規模サービスのモニタリングシステムを開発しているソフトウェアエンジニアのJaejin Leeです。身の回りの可愛いものを瞬時にキャッチするレーダを搭載しております。
はじめにこんにちは。LINEでモニタリングシステムの開発を担当しているソフトウェアエンジニアのLee Jae Jinです。今回の記事では、会社のサポートを得て参加した「Elastic{ON} 2017」カンファレンスに関する感想をお届けします。LINEは、開発者のカンファレンス参加を積極的に支援しています。前半では写真を交えながら現場の様子をお伝えし、後半では個人的に興味深かった参加したセッションについて簡単な説明を付け加えたいと思います。 Elastic{ON} 2017の概要現場の様子「Elastic{ON} 2017」カンファレンスは、2017年3月7日から同9日にかけて米サンフランシスコの「Pier 48」で開催されました。Pier 48はAT&Tパーク付近にある埠頭倉庫風の建物で、世界中から2,000人以が出席する規模の大きなカンファレンスでした。Elastic Stack、中でもElasticsearchとKibanaは、LINEでも様々な目的で利用されています。私が開発を担当しているモニタリングシステムでもイベントの保存、解析、視覚化の際にElastic S
- Event Report
- Elasticsearch
Elasticsearch を検索エンジンとして利用する際のポイント
Hirotaka Kawata2016-12-07
LINE Engineer
こんにちは、LINE でスタンプ・着せかえショップのバックエンド開発をしている川田 (@hktechno) です。この記事は、LINE Advent Calendar 2016 の 6 日目の記事です。今年の4月に、Java も Elasticsearch もまともに知らなかった新卒エンジニアが Elasticsearch クラスタの管理を突然任されて苦労した話をしようと思います。 Elasticsearch とは Elasticsearch は、Elastic 社が開発している検索・分析エンジンおよびそのストレージを担うソフトウェアです。簡単に言えば、検索に特化したクエリを投げることができるデータベースのようなものです。No-SQL 型の DB といっても良いと思います。 Elasticsearch のすごいところは、大量のドキュメントの中から形態素解析や n-gram など自然言語的な解析を行った上で、素早く検索クエリを処理でき、かつノードを増やすことで簡単にスケールアウトすることができることです。最近では、Elasticsearch は様々なログの収集・分析にも使われるように
- Server-side
- Elasticsearch

1