Blog - LINE ENGINEERING

TAG ARCHIVES: Infrastructure

Argo Workflowsを使ってLINEのBaremetalセットアップを自動化した話
Kodai Matsumoto2022-08-15
Infrastructure Engineer at LINE Corporation.
こんにちは、LINE ITサービスセンターシステム室の松本です。この記事では私が2019に新卒としてLINEに入社して以来携わってきた、LINEのBaremetalセットアップの自動化に関するプロジェクトについてご紹介したいと思います。 Verda Baremetal as a Serviceについて LINEではOpenStackベースのプライベートクラウドサービスであるVerdaを通じて、LINEで運営しているサービスを担当する社内の開発者へ、VMやストレージといったインフラリソースの提供を行っています。Verdaには様々なサービスがありますが、その中の1つにBaremetal as a Serviceという物理サーバを使用した専有型のコンピューティングリソースを提供する仕組みがあります。このBaremetal as a Serviceでは、通常の物理サーバ上に直接OSをインストールし使用することにより、仮想化技術等を利用した際に発生するオーバーヘッドやノイジーネイバーといった問題を気にすることなくサーバを利用することができます。また、大量のデータを扱うLIN
【インターンレポート】オートベンチマークツールとWeb UIの作成
Ken Oishi2021-09-24
2021年の夏のインターンシップに参加した大石( @elect_gombe )です。システム室システムエンジニアリングチームでオートベンチマークツールを6週間で作成しました。この記事では作成したシステムについて紹介します。物理サーバのベンチマーク取得の問題 LINEは5万6,000超もの物理サーバを抱えている会社で、そのサーバインフラの整備も社内で行われています。新規購入のサーバに対してベンチマークを取ることで一定の基準を設けてサーバを比較することができ、機種の選定などに役立てることができます。今まではベンチマークの取得を手動で行われてきており、ドキュメントベースのベンチマーク結果や、その都度作成されるスクリプトだけではそのベンチマーク結果を異なる旧世代とを直接比較をすることが難しくなってきました。また、ベンチマーク結果の集計方法が統一されておらず、ベンチマーク対象のノードが多い場合は保存し忘れなどもありました。今回のインターンシップでは、物理サーバに対して基本的なベンチマークの取得の自動化を目的としてオートベンチマークツールを開発しました。作成したベン
- Infrastructure
- line-intern-ja
【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
LINE Engineering2020-11-12
概要 LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。この問題を解決するために、今回の技術職就業型コースのインターンシップで、私は効率的なVerdaのHypervisoの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し、比較的複雑になりうる多数の物理マシンに対して並列に行われるオペレーションを、より効率的で堅牢に行えるようにしました。さらに、この設計に基づいた実装を行い、実際に利用されている850台のHypervisorに対するチェックデプロイを通して、その効率を確かめました。背景 LINEはプライベートクラウドVerdaを開発しています。LINEのサービスはこのプライベー
SRv6ベースのマルチテナンシー環境で起きたTSO問題とその検証方法 - LINE Developer Meetup #67 フォローアップ記事
LINE Engineering2020-10-22
Verda室ネットワーク開発チームの田口です。私は2019年にLINEに新卒入社して、プライベートクラウド「Verda」に関わるネットワークの開発・運用を行なっています。先日、8月19日に開催されたLINE Developer Meetup #67では、『ネットワーク機能のベンチマーク自動化』というタイトルで発表を行いました。発表では、以下の3点に関してご紹介をしました。上記のうち、1つ目の『ロードバランサのベンチマーク自動化』に関しては、過去のブログポストに背景からシステム概要まで説明していますので、そちらをご参照ください。この記事は、主に3つ目の『性能問題の切り分けにもベンチマークが役に立つ』のフォローアップを目的としており、当日紹介した内容に加えて、TSOの基本動作の解説と、D-Plane検証ツールの使い方にも触れています。どちらも、Meetup本編では省略した部分ですので、当日参加して頂いた方は、その部分だけでも見て頂けますと嬉しいです。背景 Verdaでは、金融系などのセキュリティ要件が高いサービス等をネットワーク的に分離するため、マルチテナンシー機能をサポートして
ダウンタイムなしでHadoopクラスタを移行した時の話
LINE Engineering2020-08-25
こんにちは、Data Platform室の小野です。Data Platform室では、昨年のLINE DEVELOPER DAYでも発表があったように、大規模なHadoopクラスタを運用しています。先日、分析基盤に特化したデータセンターのルームが構築され、ここへクラスタの移行作業を行いました。このクラスタは全社的に使われており、毎日10万個以上のジョブが走っています。そのため、クラスタを止めずに移行することが求められました。この記事では、そのときどのようにHadoopクラスタを移行したのか、そしてどのような問題が起こったのかについて、ご紹介します。今回は、以下の4つのコンポーネントに絞って、ご紹介します。 ResourceManager NameNode JournalNode Zookeeper 現在使用しているソースのバージョンについては、LINE独自でパッチをあてたり、いくつかバックポートを行なっていたりするため、オープンソースとして公開されているソースと完全に一致するものではないですが、Hadoopは3.1.2、Zookeeperは3.5.5がベースとなっていま
【Team & Project】LINEのInfrastructure Securityに関わる業務を担当しているチームを紹介します
LINE Engineering2020-08-24
LINE Engineering Blog official account
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEのInfrastructure Securityに関わる業務を担当しているInfra Protectionチームを紹介します。Infra ProtectionチームのLee Jihoon、Jun Seungnam、Choi Wontae、Vestin Simonに話を聞きました。 Infra Protectionチームのzoom会議の様子 ――まず、自己紹介をお願いします。 Jihoon：LINEのSecurity CenterでInfrastructure Security 組織を担当しています。現在はチームマネージャー・Security Architectとして、複数のチームで進行しているプロジェクトや業務に対する全般的な管理をしています。 Seungnam：Security Engineerとして入社し、現在はInfra ProtectionチームでCloud Servic
- Infrastructure
- Security
ElastiFlowによるインターネットトラフィックの可視化
LINE Engineering2020-01-30
こんにちは、ネットワーク室サービスネットワークチームでアルバイトをしている中川稜です。LINEでは現在インターネットエッジルータのFlow情報を収集・分析・可視化するためのツールとしてElastiFlowを利用しています。今回はElastiFlowをどのように構築し、どのようにデータを可視化しているかを紹介します。 ElastiFlowの導入に至った背景データセンタのインターネットエッジでFlow情報を取得する目的として以下のものがあります。ピアリング/トランジット事業者別の通信を分析し、LINEの通信品質を向上・維持させるための最適なトラフィックコントロールを柔軟かつリアルタイムで行うための根拠データとするリアルタイムでデータ分析・可視化を行うことで、迅速な障害対応やデータドリブンなオペレーションを可能にする過去の通信がどのような状態であったかを追跡調査する LINEでは過去数年間利用した自社開発の別ツールがありましたが、これにはいくつかの課題がありました。インターネットに接続するEdge Routerは流れるトラフィックが多いため、Flowも多くなるがColle
- Infrastructure
- Network
新卒エンジニアの仕事〜12月のインフラエンジニア編〜
LINE Engineering2019-12-19
こんにちは！2019年4月に新卒入社し、Verda室のネットワークの開発チームで業務を行なっている田口と申します。Verdaとは、社内サービス向けの大規模なプライベートクラウド基盤のことで、私はこのVerdaの業務のうち、ネットワークコンポーネントの開発を行っています。 LINEでは専用ハードウェア機器をベースとしたネットワーク運用はもちろん、XDPやDPDKをベースとした、ソフトウェアによるネットワークコンポーネントの開発にも力を入れています。このうち、Verdaのネットワーク開発チームでは、ソフトウェアを中心としたアプローチでVerdaを通したインフラの改善に取り組んでいます。この記事では、新卒インフラエンジニアの仕事の一例として、ネットワークソフトウェアを対象にした性能計測と、品質維持というインフラ基盤を支える取り組みについて紹介します。ソフトウェアベースのネットワーク基盤と性能維持まず、私の業務の背景を説明するために、Verdaの状況と課題について軽く触れたいと思います。 Verdaは2017年のリリース以来、急速な成長を続けているプライベートクラウド基盤です。例えば、
- Infrastructure
- newgrads
【インターンレポート】 LINEを支えるインフラのメンテナンスと監視環境の改善を行いました
Hirano Takanori2019-10-30
はじめに LINEの夏のインターンシップに参加しました平野孝徳です。インターンシップではLINEを支えるインフラを設計・構築・運用をしているサービスネットワークチームに8/13~9/13の期間所属し、インフラのメンテナンスと監視環境の改善を行いましたので、その内容を紹介します。テーマ１. LINEで利用しているネットワーク機器のアップデート１つ目のタスクはLINEのデータセンターで実際に稼働中のネットワーク機器のバージョンアップを行うというタスクです。 LINEのデータセンターではたくさんのネットワーク機器を運用しています。それらの実際に稼働しているネットワーク機器をネットワークから切り離し、バージョンアップを行いました。最先端の仕組みのデータセンターを体験 LINEのデータセンターではCLOS Networkという、OSI参照モデルのLayer 2を排除したネットワークになっており、サーバーまでeBGPの経路情報が流れています。そのため、ToR(Top of&nbs
- Infrastructure
- line-intern-ja
【インターンレポート】ネットワークノードのパケット処理の高速化について
Saito Ryoga2019-10-25
こんにちは。8月26日から5週間、Verda室のネットワーク開発チームというところでインターンをしていた齋藤遼河といいます。私は今回、データセンター内にあるネットワークノードのパケット処理の高速化についての開発を行っていました。今回は、その成果についてお話していきます。背景 LINEでは多くのサービスをローンチしており、それらの多くはVerdaと呼ばれるプライベートクラウドに収容されています。Verdaはオーバーレイ技術によるネットワーク分離を行わないシングルテナント構成のL3ネットワーク上に構築されており、ノード間でお互いに直接通信できる仕組みになっています。この構成を採用したことによりネットワークのシンプル化が実現されましたが、一方でサービスによってはネットワーク分離をはじめとするマルチテナント構成が必要となるケースもあり、プライベードクラウドを提供する上で課題となっていました。 https://www.janog.gr.jp/meeting/janog44/application/files/6815/6464/4550/jano44_srv6_tsuchiya-02.pd
- Infrastructure
- line-intern-ja

1 2