LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。
今回は、LINEの各種サービス用のネットワークの設計・構築・運営に関わるネットワーク室サービスネットワークチームを紹介します。
サービスネットワークチームの鈴木、飯島、中溝に話を聞きました。
サービスネットワークチームの皆さん
>―― まず、自己紹介をお願いします。
鈴木： データセンター間のネットワーク設計/構築、新規サーバールームのネットワーク構築やインターネットトラフィックコントロールの業務、 Fintechネットワークの設計や構築などに携わっています。LINEには2019年10月に入社し、2021年1月からチームのマネージャーとしてLINEのネットワークインフラの構築に関わるプロジェクト管理・進行も担当しています。
飯島：2018年にLINEに入社し現在は、新規サーバールームのネットワーク構築を担当し、機器調達、アドレス設計、構築などの業務を行っています。主にIP Clos ネットワークに関係する業務が多く、新規製品の調査、検証、関係部署との調整に邁進中です。IPv6化対応のプロジェクトにも初期から関わり、IPv6アドレス設計やそのプロジェクトの担当製品におけるIPv6調査と構築も担当しています。
中溝： LINEのメッセージングサービスのIPv6化対応のプロジェクトマネジメント、Fintechネットワークの設計や構築、パブリッククラウド環境のネットワーク構築等、色々なプロジェクトを担当しています。私は2019年にLINEに入社しました。最近はサーバールームの増床案件が多い関係で、そのネットワーク設計や構築にも関わるようになってきています。
上から時計回りに、マネージャーの鈴木、中溝、飯島
>―― みなさんがLINEに入った理由を教えてください。
鈴木：私は前職でホワイトボックススイッチ用のネットワークOSの開発業務を担当しており、業務の一貫としてGoogle、FacebookなどのOTTのネットワークアーキテクチャの調査を実施していました。
調査を進める中でJANOGやLINE DEVELOPER DAYの発表で"IP Closの導入"や"Software Load Balancer開発"などのチャレンジをしている事を知り、ネットワークエンジニアとしてLINEという会社に興味が湧きました。
正直最初は、LINEのエンジニアの方と話をしてみたいと思って求人に応募していて、転職意欲は正直高くなかったんです。ただ、選考を通じてエンジニアの方の話を聞いているうちに、「今までの経験が活かせること」「新しい技術を身につけること」「チャレンジしやすい環境であること」を感じたため、結局入社を決意しました。
飯島：私は漠然と転職活動を検討していた際、エージェントからLINEの紹介を受けたのが最初のきっかけです。最初は自分はサービスを提供する側で働いた経験もないし、特にLINEはハードルが高くて採用されるのは厳しいだろうと考えていて、応募は消極的でした。
しかし、自分も使っていて愛着があるLINEアプリであること、LINEの会社の成り立ち、サービス内容、公に発表している資料などを調べていくうちに、他では得難い経験ができそうなLINEのエンジニアとしてチャレンジしたいと考えが変わり応募を決意しました。
これは採用面接の中で知ったことですが、昨今の市場動向では、AWSなどパブリッククラウドへ移行していく風潮の中、LINEは自社インフラを強化していく方針にとても魅力を感じたのを覚えています。晴れて入社できて実際にLINEで働いてみて、思った以上の経験を積ませていただいています。
中溝：前職では社内ネットワークやプライベートクラウド環境を、プロジェクトマネジメントしながら改善していく業務を担当していました。業務に関わるメンバーも多く、自ら手を動かす機会が少なくなっていた中、もう少しサービス寄りの業務で自分でも手を動かしながら技術的に携われる仕事がしたいと強く思うようになりました。ちょうどその時、JANOGやLINE DEVELOPER DAYなどの発表で、LINEで実際に働いている人の話を聞き、面白そうな取り組みを知ることができたのが入社のきっかけです。
―― LINEで働くやりがいを教えてください。
鈴木： ちょっと多いので箇条書きで説明しますね。私が感じているやりがいは以下の通りです。
- 1億人以上のユーザ数を誇るアプリのインフラ基盤に深く関われる。
- 企画/設計/構築/運用まで様々なフェーズに関わる事ができ、自ら手を動かす機会が多い。エンジニアとしては嬉しい。
- サービスネットワークチームで担当しているネットワークの領域が広く、様々な技術に携わることができる。
- メンバーは優秀でそれぞれが強みを持っているため、一緒に働く事で日々良い影響を受けることができる。
- 様々なアプリ開発者と接する機会もあり、高いレイヤの知識が身につく環境。
飯島：一番のやりがいはLINEだということです。日本やアジアでも多くのユーザが利用していただいているため、ユーザのためにインフラ基盤を整えていく過程と結果は働いていて特に楽しいです。新しいプロジェクトもどんどん進んでいき、まるで生き物のようなインフラを毎日メンテナンスを行っています。
自分たちが行っている業務の重要性に緊張感を持ちつつ、やりがいがあるインフラ構築や改善・運用、そして何よりもユーザのためのサービスです。それを考えるとモチベーションが下がることはそうそうありません。
また、LINEメンバーはパフォーマンスが高い方が多く、年齢関係なく尊敬する方たちが本当にとても多いです。「何の業務をするかも」も大事ですが、それを「どんな仲間と日々業務を進めていくのか」も仕事の楽しさに直結します。一重にそれはユーザのためという共通意識があるからこそ成り立っていることだと考えています。
中溝：非常にビジネスのスピードが早く、次々に新しい案件が出てくる環境です。しかし、そういう状況でも現在のネットワークに満足することなく、日頃から課題意識を持って改善を進めています。出来る限り現在のネットワークポリシーとコンフリクトしないようにしながら、現状ある課題を改善するために、自ら新しいネットワークを考え作っていけるところに、非常にやりがいを感じています。
―― チームの構成・役割などについて教えてください。
鈴木：私たちのチームはネットワーク室という組織にあります。ネットワーク室には4つのチームがあり、サービスネットワークチームではLINEの各種サービス向けの商用ネットワークの設計、構築を担当しています。私たちの役割を理解していただくために、他のチームについても簡単に説明します。
まず、エンタープライズネットワークは、日本および世界中に点在するオフィスのネットワーク設計/構築を担当しています。そして、ネットワークオペレーションチームは、サービスネットワークとオフィスネットワークの両方の運用業務、24時間365日のネットワーク機器の監視/障害対応および社内ユーザ向けの設定作業を担当しています。データセンターチームは利用するデータセンターのファシリティの企画/設計を担当しています。
私たちのチームのミッションは、LINEの既存サービスの拡大や新規サービスローンチのためにアプリケーション開発者へ安定したネットワークインフラをタイムリーに提供することです。
そのミッションに向けて、様々な業務に取り組んでいます。
チーム内の役割分担はネットワーク領域に合わせある程度固定していますが、 要望に応じてアサインすることで継続的に新しい技術の習得できる事を意識しています。
- データセンター内ネットワークの設計/構築
- Verda向けの IP Clos ネットワーク / Fintech等の特定サービス向けのDedicated ネットワーク
- インターネット ピアリング およびインターネット トラフィックコントロール
- データセンター間のMPLS ネットワークの設計/構築
- ネットワーク設計/構築のサポートツールの開発
- インターネット:3-4人
- データセンター間ネットワーク(MPLS網) :3-4人
- データセンター内のネットワーク( IP Clos /traditional/それらを集約する機器):ほぼ全員で分担
- Fintech:サービスごとに全員で分担
―― チームメンバーを紹介してください。
鈴木：サービスネットワークチームメンバー数は全部で12名です。そのうち、11人が日本で勤務し、1人が韓国で勤務しています。主に20代〜40代のメンバーが在籍していますが、LINEの中では平均年齢は少し高いチームだと思います。
通信キャリア、ISP、SIer、Webサービス出身のメンバーが在籍しております。
メンバーの特徴は以下の通りで、それぞれのバックグラウンドが違うため、チームとしての幅広いノウハウがあり、とても面白いチームだと感じています。
- インターネット トラフィックを自由自在に操る
- 様々の機器の特徴やソリューションに精通
- 機器数/リンク数が膨大な IP Clos の複雑な物理設計を最適化
- プログラミングにより自動化を推進
- オープンソースのソフトウェアを活用しトラフィックの可視化、品質向上のためのモニタリングツール開発を推進
また、メンバー同士がしっかりと支援する文化が根付いているため、リモート中心のワークスタイルですが、新しいメンバーもチームに溶け込みやすいと思います。
―― 利用技術・開発環境について教えてください。
鈴木：利用しているネットワーク機器のメーカやプロトコルは以下の通りになります。
利用技術
| 機器メーカ | Routers & Switches |
| NVIDIA/Arista/Cisco/Juniper | |
| Load Balancers | |
| Citrix / Brocade | |
| DCI ネットワーク | MPLS /OSPF/ segment Routing / EoMPLS iBGP / eBGP |
| DC ネットワーク | IP Clos ネットワーク eBGP RFC5549 / MCLAG |
| 3-tier traditional ネットワーク OSPF/BGP/MCLAG |
開発環境
ツールの開発環境ですが、社内のプライベートクラウドサービスVerdaが提供しているVM、 Container、Kubernetes、Redis、ELKなどのサービスを使うことができるので開発に専念ができます。
全てのツールではないですが、一部についてはdroneを使ってCI/CDを回しています。具体的には、gitへのPRを出した際に、container imageのビルドなどのテストを自動化しています。
日々の業務を通して、設計/構築の改善のためのアイデアを見つけ、ツールの開発や構築を行っています。
- トラフィック可視化ツール
最適なトラフィックコントロールをするためのトラフィック可視化ツール
https://engineering.linecorp.com/ja/blog/internet-traffic-by-elastiflow/ - 疎通確認ツール
作業実施時の正常性確認のためのEnd-to-Endのネットワーク疎通を実施
prometheusのblackbox_exporterにて構築 - 運用ツール
Redisやelasticsearchから取得したsyslog情報をWebUIで表示
https://engineering.linecorp.com/ja/blog/intern2019-report-inframaintenance/
―― 今のチーム課題を教えてください。
飯島：私たちチームの課題でも一番重要なことは、インフラ拡大を急激に行うことで不足している人的リソース、人的リソースを補うための自動化の仕組み、ネットワークインフラ状況の可視化です。
私たちは業務でメーカ製のネットワーク機器（スイッチ、ルータ、ロードバランサーなど）に関わることが多く、ハードウェアとソフトウェアの品質がインフラの品質にも直結します。これらが安定したものであることは必須です。
しかし、ただ単純に安定している古くからある製品や技術を使っているだけでは、インフラの拡大と品質を維持・向上することが難しいケースが多くあります。
品質の維持・向上は常に優先事項として高く、私たちはそのために準備などを怠ることができません。また、これらの仕組みが増えていくにつれて、逆に作業効率が悪くなる部分もあります。限られたリソースの中で、仕組みと作業効率を日々検討し、運用をしていくことがとても大事だと考えています。
次に IP Clos ネットワークの課題についてです。
国内の IP Clos ネットワークといえば、LINEやヤフーの名前をよく聞くと思います。サーバーサイドの観点から見ると確実に恩恵を受けているのですが、従来のネットワーク構成と比較し、インフラ側としては苦労する点が少なくはないのが実情です。
特に課題となっているのが大きく分けて2つあります。
- サーバールームが増える度に消費されるプライベートIPv4アドレスの枯渇
- ネットワークスイッチの機器点数、ネットワーク機器間を接続する光トランシーバー数が増大
機器点数が増大することで、物と労力のコストも増大していきます。参考までにそれぞれのコストについて現在の数値を簡単にご紹介します。
- 物/コスト
- 約3600台の IP Clos ネットワーク用スイッチ数
- 1部屋あたり約3000個の光トランシーバー数
- 労力/コスト
- 上記の数に対して対応する障害発生件数も増加
- ネットワークスイッチのハードウェアとOSやトランシーバーの品質が悪いことによる対応件数の増加
- OSにはBugがつきもので、OS version upなどのメンテナンスも容易ではない
- ネットワーク構築における物理的作業（機器設置、機器間接続）の時間増加
- 日々行われる各種設定変更作業の増加
- 物理トポロジーの監視体制強化
インフラの品質を維持しながら作業効率性も向上させる必要があるため、ターミナルでtelnetやsshでログインし、CLIでネットワーク機器を操作する従来の方法のみでは、作業工数がかかり業務が進まなくなります。人的リソースが多く必要になってくるので、誰がどの作業にも対応できるシンプルなツールや、そもそも人を介さない仕組みやツールの準備が必要です。
中溝：入社以来携わってきたIPv6プロジェクトがいよいよ商用環境に実装されるタイミングになります。サービス影響を最小限に抑えて、LINEのメッセージングサービスをIPv6でもサービス提供出来るようにすることが現在の課題です。
飯島さんのお話にもあったように、サーバールームが増える度にIPv4アドレスが使われ、近い将来不足してしまう懸念がありました。IPv6の導入はこの課題を解決するための取り組みですが、導入自体にも様々な課題があります。
IPv6を適切に動作させるためには、各ネットワーク機器のバージョンアップやメンテナンスを相当数しないといけません。そのため、バージョンアップやメンテナンスがしやすい機器の選定やネットワーク構成の追求をしていく必要があると思っています。
―― 課題解決に向けた取り組みについて教えてください。
飯島：LINEは意思決定が恐らく他社よりも早いと思います。ただ、それでも課題にあげた全ての内容を短期的に解決することが難しい状況で、リーダーを中心に各メンバーも能動的に解決に向けて動いているところです。
私たちはインフラ拡大に向けて、様々な取り組みを進めているのでやるべきことは膨大です。今やるべきこと、出来ることは優先順位を持って選択し、推進していく必要があるので、リーダーの統率や方針決めが重要となってきます。進捗と結論、そしてその結論の効果測定を行うことが課題解決に向けて一番重要な取り組みであると考えています。
ネットワーク全体の課題は、 IPv4をなるべく使わない機能の採用と IPv6のみ使用するインフラ整備を進めています。また、各機器点数の増大については、機器調達コストを削減するために、複数のベンダーからの機器調達と一括購入による単価削減交渉したり、ネットワークのピークトラフィックや複数の障害にも耐えられる構成の最適化による機器点数の最適化を進めています。
労力のコスト増加に対する取り組みとしては、以下のような形でそれぞれ取り組んでいます。
| 課題 | 取り組み |
| 障害発生件数の増加 |
|
| 悪品質による対応件数の増加 |
|
| OSのメンテナンス |
|
| 物理的作業時間 |
|
中溝：サービスのローンチをきっちりやりきる為には、プロジェクトに携わるメンバーの協力が必要です。ネットワークだけでなく、サービス側の担当者や仮想基盤(Verda)、インフラ、セキュリティ等様々なメンバーにプロジェクト発足当初から参加してもらっていますので、色々な目線で見て問題がないかを検討し、その中で出来るだけソフトランディングになるような実装方法を取りたいと考えています。
また、サービスへIPv6を適用する時に、問題が発生した場合、出来るだけ早く気づくにはどうすればいいか、適切なモニタリング方法を事前に検討しています。
メンテナンスしやすい機器選定やネットワーク構成の追求については、実際に自分たちで運用しながらどういう構成が良さそうか設計できるので、そのタイミングでベストと思える機器や構成を積極的に選定していく必要があります。
ネットワークは一度作ってしまえば長いこと運用していく形になるので、バージョンアップやメンテナンスしやすい構成を取ることは極めて重要だと思います。
―― 今後のロードマップを教えてください。
飯島： LINEは特にここ2〜3年でインフラが巨大化しており、今後も多くの計画を予定しております。そのため、IP Closネットワークの設計・構築期間短縮のための効率化、そして運用監視の改善は、重要かつ中長期的な課題となります。様々な面でより労力を抑えつつ、業務を属人化せず標準化を念頭に置いています。ネットワーク設計の標準化は出来つつあります。運用面は、課題解決のためにメーカ既製品やオープンソースも利用しつつ、それらで手が届かないところは開発メンバー中心にツール開発を行っています。
また、私も中溝さんと同じくIPv6化プロジェクトメンバーであり、私の入社した頃ぐらいからLINEでIPv6を導入することが決まりました。私は、最初期から携わっていることもあり、思い入れが深いプロジェクトです。年単位で時間がかかっていますが、海外ユーザからの要望が強くあることもあり、なるべく早くLINEのメッセンジャーサービスでIPv6が使用できるようにするために計画を進めています。2021年内に中核な部分はある程度は完了する予定です。 IPv6が使えるようになることで、LINEのサービスがどうなっていくか楽しみです。
LINEはネットワーク構築と運用監視において、既製品を使うよりも個別要件に対応するため、自社で準備して自分たちにとって利便性が高いものを使う傾向にあります。
ネットワーク機器は年々増加傾向で、ネットワーク拡張計画速度に合わない、今まで使っていたツールだけでは運用が立ち行きづらい、ネットワークを健全ではない部分に気づきづらいのが課題としてあります。構築と運用のためのツール開発を自他部署で役割分担して進めようとしている最中です。
中溝：現在のIPv6プロジェクトは日本と台湾のユーザへのメッセージングサービスだけが対象になっており、今年の3Qで一段落しそうです。
その後は現在対象外となっているタイのユーザへのメッセージングサービスのIPv6適用もあるかもしれません。また、その他のアプリケーションへのIPv6適用も考えられます。いずれにせよ少し先の話になるとは思いますが、これらを視野に入れて今のプロジェクトを進行していきたいと思っています。IPv4のプライベートアドレスが枯渇気味なので、代替手段としてIPv6を使うなど、あらゆる方面からIPv6を検討し、使う機会は増えていくと思います。
鈴木： LINEは他社のクラウドサービスではなく、Private Cloudを独自に構築し自社サービスに利用しています。データセンターの電源障害で様々なアプリケーションがダウンしたことを報じるニュースをたまに見ることがあると思いますが、LINEとしてはサーバールームの電源障害が発生した場合でもアプリケーションが止まらずに動き続けるように以下の取り組みを進めています。
- サーバーファームのmulti AZ化
- 東京リージョン内のインターネット接続拠点冗長化
ルーティングの複雑化、帯域設計の難しさ、拡張時のポリシー制定などの課題がありますが1つずつ課題をクリアし、社会的なインフラとして使命を果たせるように障害に強いインフラ基盤の整備を進めていきます。
また、みずほ銀行とのJVで新銀行設立の大きなプロジェクトを進行中です (2022年度にリリース予定)。この銀行業務用のサーバーを収容するデータセンターネットワーク、インターネット接続、様々なサービスとの連携のための外部サービスとの接続を0から新規で構築を進めています。LINEサービス用のネットワークと比較すると規模は小さいですが、同様の役割を担う機器が多種あり、とてもチャレンジしがいがあります。
―― 最後に、サービスネットワークチームに興味を持ってくれた人にメッセージをお願いします。
鈴木： LINEはこれからもサービスの拡大、新規サービスローンチのために早いスピードでインフラの拡張を続けていきます。
そのために新しい仲間の力が必要になります。LINEのネットワークインフラの拡大と改善を力を合わせて推進していきましょう！
飯島：LINEに関心を寄せて頂きありがとうございます。LINEサービスのためのインフラは実際にLINEを使用して頂いている方がとても多いので、自分が行っている業務の意味とそれに対応する緊張感が得も言われぬ達成感を得られます。
お話した通り課題は多いものの、課題解決していくのは仕事として非常にやりがいがあります。あまりナレッジがないことを進めることも少なくなりません。是非、一緒に仕事をしていきましょう！
中溝：LINEのサービスネットワークは社会的なインフラで大変な部分も多々ありますが、個人の裁量が大きく、やりたいと思う仕事は積極性さえあれば出来る環境だと思いますので、熱い思いがある人と一緒に仕事が出来ると嬉しいです。
