Blog - LINE ENGINEERING

TAG ARCHIVES: Verda

【インターンレポート】サービス依存関係の有向グラフでの管理による障害影響範囲の可視化
Yuma Ueda2022-10-04
Verda Reliability Engineering チーム
はじめにこんにちは。この度、Verda Reliability Enginneringチームにて技術職就業型インターンシップに参加させていただきました、慶應義塾大学政策・メディア研究科修士1年の上田です。この記事では私の担当した業務の内容についてご紹介します。 Verda Reliability EngineeringチームはLINEのプライベートクラウドであるVerdaのSRE業務を行なっているチームです。そのため今回のインターンシップでは、次節で述べるVerdaにおける運用上の課題を解決することを目指しました。課題 Verda上ではOpenStackをベースに、VMやベアメタルマシン、Kubernetes、ロードバランサ、ストレージ、DBなどをはじめとした多くのサービスが提供されています。そして、これらのサービスを提供するためにVerdaの内部では多くのソフトウェアが動作していますが、その依存関係は非常に複雑なものとなっています。そのため、あるサービスの特定の部分に障害が発生した場合、どれだけの範囲に影響が及ぶのか瞬時に判断することが難しいという問題がありました。例えばVer
仮想ルータクラスタを自動でローリングアップデートする仕組みの検討と実装
Yamato Sugawara2022-01-21
はじめにこんにちは．2021年の4月からITSC Verda室のネットワーク開発チームでアルバイトをしている菅原大和(@drumato)と申します．本記事では，約半年間私が取り組んできたタスクである，｢SDNによって自動的に仮想ルータクラスタをメンテナンス，ローリングアップデートする仕組みの検討と実装｣についての成果をご紹介します．また，ここまでの活動で現在の実装が抱える問題点もわかったので，それも合わせて共有します．最後に，今後の私達のSDNシステムに必要な機能について取り上げます．背景 KloudNFVプロジェクトについて LINEのほとんどのサービスは，自社で開発/運用されているプライベートクラウドのVerda上で開発/ホスティングされています．その中には，ネットワーク的かつセキュリティ的に高い要件を持つサービスが存在します．これに対し私達は著名なパブリッククラウドにおけるVPCと同等の機能を提供する必要があります．ここでのVPCとは，隔離されたネットワークと，NATやNetwork ACLなどのNFVサービスを連携して提供するものです．このうち前者に関しては，インハウスで開
大規模LBaaSプロジェクトの成長期に体験した2つの問題
Yutaro Hayakawa2021-12-06
こんにちは、LINEのプライベートクラウドサービスであるVerdaのLoad Balancer as a Service (LBaaS) のチームでTech Leadをしている早川です。このエントリでは私が2019年4月にLINEに入社してからの約2年半で体験した大規模LBaaSならではの興味深い問題をピックアップしてご紹介します。 Verda LBaaSについて VerdaのLBaaSは2016年ごろに稼働を開始したVerdaの中でも比較的歴史が長いサービスです。当時のLINEではハードウェアのアプライアンス製品を用いて提供されていたロードバランサのサービスを置き換える目的で開発されました。特徴としては実際にユーザのトラフィックを受けるいわゆるデータプレーンと呼ばれるコンポーネントも含めて全てがソフトウェアで実装されているということが挙げられます。中でも個人的に気に入っているのは、L4LBのデータプレーンはLinuxのXDP (eXpress Data Path) という機能を用いて自前で実装されており、非常に高い性能が出せるという点です。2016年当初はXDPがmainline
- Verda
- Private Cloud
【インターンレポート】FRRouting IS-IS SRv6 Extension 設計と実装に関して
Naoyuki Tachibana2021-10-26
こんにちは，9月6日から6週間，Verda室のネットワーク開発チームでインターンを行っていた橘直雪といいます．インターンのテーマとしてLINEがデータセンターで活用しているオープンソースのルーティングプラットフォームであるFRRのIS-IS daemonにSRv6機能の拡張を開発しました. この記事ではその成果についてお話します. 背景 LINEでは，数多いサービスのほとんどをVerdaというプライベートクラウドに収容しています．Verdaでは，ネットワーク分離のためにSRv6を利用しています．詳細については，以下のブログを御覧ください． https://engineering.linecorp.com/ja/blog/intern2019-report-infra/ https://speakerdeck.com/line_developers/designing-and-implementing-multi-tenancy-data-center-networking-with-srv6-in-large-scale-platform VerdaのSRv6はneut
- Verda
- line-intern-ja
【インターンレポート】Kubernetes OperatorによるVerda Cloudの構成管理
Manaya Sasaki2021-10-25
はじめにこんにちは、電気通信大学学部3年生の佐々木です。8/16から約6週間、技術職就業型コースのインターンシップに参加しました。私は、VRE(Verda Reliability Engineering)チームに配属され、Verda Resource Operatorの実装に取り組みました。 VerdaとVREチームについて VerdaとはLINEがもつPrivate Cloudのことです。Verdaでは、物理サーバーをOpenStackによって管理し、様々なサービスをLINEの開発者に提供しています。提供するサービス毎にチームが存在し、Kubernetes as a Serviceを提供しているチームもいれば、LoadbalancerやNATを提供しているチームもあります。VREチームでは、そういったチームが開発や運用を効率化するための施策を横断的に行っています。より詳細な話はこちらの記事に詳しく載っているので、興味のある方は是非ご覧ください。https://gihyo.jp/dev/serial/01/line2021/0008?page=1 Verdaのリソース管理に
【Team & Project】 Verda Platformに対する Site Reliability Engineering に関わる業務を担当しているチームを紹介します
LINE Engineering2021-01-12
LINE Engineering Blog official account
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回はLINEのプライベートクラウドであるVerdaに対するSite Reliability Engineering（以下SRE）活動をしているチームを紹介します。 Verda Reliability EngineeringチームのPark Youngwoon、山田英樹、Kang Moon Joongに話を聞きました。 Verda Reliability Engineeringチームの皆さん ―― まず、自己紹介をお願いします。 Park： LINEのプライベートクラウドであるVerda について、SRE活動をミッションとしているVerda Reliability Engineering Team(以下VRE)のマネージャーをして
【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
LINE Engineering2020-11-12
概要 LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。この問題を解決するために、今回の技術職就業型コースのインターンシップで、私は効率的なVerdaのHypervisoの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し、比較的複雑になりうる多数の物理マシンに対して並列に行われるオペレーションを、より効率的で堅牢に行えるようにしました。さらに、この設計に基づいた実装を行い、実際に利用されている850台のHypervisorに対するチェックデプロイを通して、その効率を確かめました。背景 LINEはプライベートクラウドVerdaを開発しています。LINEのサービスはこのプライベー
SRv6ベースのマルチテナンシー環境で起きたTSO問題とその検証方法 - LINE Developer Meetup #67 フォローアップ記事
LINE Engineering2020-10-22
Verda室ネットワーク開発チームの田口です。私は2019年にLINEに新卒入社して、プライベートクラウド「Verda」に関わるネットワークの開発・運用を行なっています。先日、8月19日に開催されたLINE Developer Meetup #67では、『ネットワーク機能のベンチマーク自動化』というタイトルで発表を行いました。発表では、以下の3点に関してご紹介をしました。上記のうち、1つ目の『ロードバランサのベンチマーク自動化』に関しては、過去のブログポストに背景からシステム概要まで説明していますので、そちらをご参照ください。この記事は、主に3つ目の『性能問題の切り分けにもベンチマークが役に立つ』のフォローアップを目的としており、当日紹介した内容に加えて、TSOの基本動作の解説と、D-Plane検証ツールの使い方にも触れています。どちらも、Meetup本編では省略した部分ですので、当日参加して頂いた方は、その部分だけでも見て頂けますと嬉しいです。背景 Verdaでは、金融系などのセキュリティ要件が高いサービス等をネットワーク的に分離するため、マルチテナンシー機能をサポートして
【Team & Project】OpenStackとKubernetesを用いたVerda Platformを開発しているチームを紹介します
LINE Engineering2020-04-24
LINE Engineering Blog official account
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズを開始します。第一回目である今回は、インフラ領域を統括するITサービスセンターでPrivate Cloud「Verda」を企画・開発・運用するVerda室において、OpenStackとKubernetesを用いたVerda Platformを開発しているVerda Platform開発チームを紹介します。 Verda Platform開発チームのzoom会議の様子 Verdaは、LINEの共通インフラ基盤であるプライベートクラウドです。LINEでは、厳密なセキュリティポリシーとプライバシーポリシーがあるため、そのモデルに適用させるには既存クラウドでは難しく、セキュリティ、規模、プラットフォームの成熟性、コストを考慮して、社内でプライベートなクラウドプラットフォームを構築しました。現在、LINEグループ内の全ての社員向けに提供されています。そしてプライベートクラウド自体は、60名ほどのインフラエンジ
【協賛・登壇情報】OpenStack Days Tokyo 2017
LINE Engineering2017-06-19
LINE Engineering Blog official account
2017年7月20日（木）〜21日（金）に虎ノ門ヒルズフォーラムで開催される OpenStack Days Tokyo 2017 にてLINEのエンジニアが登壇いたします。また、 LINEはブロンズスポンサーとして協賛しております。公式サイト OpenStack Days Tokyo 2017 【イベント概要】 OpenStackに関する最新情報、日本国内でのユーザー事例の紹介の他に、「オープンxコラボレーション」をテーマとし、オープンソースのPaaSソフトウェアを管理する「Cloud Foundry」、次世代IoTであるフォグコンピューティングに取り組む「OpenFog」、オープンソースでの新しいNFVプラットホーム実現を目指す「OPNFV」などなど、各種コミュニティとのコラボセッションを実施。他にも、コンテナ技術、インフラ自動化、DevOpsに関する最新情報も満載。<公式サイトより> 日　　時：2017年7月20日(木)〜21日(金)開催場所：虎ノ門ヒルズフォーラム 5F 7月21日(金)の基調講演には弊社 ITサービスセンターインフラプラットフォーム室のサミルイ

1 2