​LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表で触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「​日本語の基盤モデルを搭載したHyperCLOVAの大規模化と応用可能性​」です。​  

LINEはNAVERと共同で独自の日本語基盤モデルの開発を進めてきました。本セッションでは、その基盤モデルを搭載したHyperCLOVAの現状と課題について考察。それに加えてHyperCLOVAの応用事例として、2021年に開催された対話システムライブコンペティションの全トラックで1位を獲得した対話システムと、メールや報告書など頻繁に作成する文書の執筆速度を大幅に向上する文章執筆アシスタントツールを取り上げました。​   

今回はセッションの発表内容についての秘話を、LINEのNLP Teamに所属するEngineering Managerの佐藤敏紀とSoftware Engineerの山崎天にインタビューしました。​  

LINE社内のNLP研究・開発を一手に担うチーム​  

――NLP Teamの担っている役割や、佐藤さんと山崎さんの業務内容について教えてください。​  

​​佐藤：LINEには、すべてのサービスの競争力を最大化することを目的にデータサイエンス技術の研究・開発および分析を行うData Scienceセンターという部門があり、そのなかのAI Dev室に自然言語処理(Natural Language Processing, NLP)の技術を担当するNLP Teamが存在しています。私はこのチームのEngineering Managerを務めています。​  

チームが取り組んでいることは大きく分けて3つ。HyperCLOVAのモデルの構築や応用と、LINE社内のサービス改善のためのNLP技術の活用、まだ利用されていないものの今後必要になるであろう要素技術の研究・開発です。​  

実際にユーザーの手元に届いている事例としては、出前館の商品名・店舗名のあいまい検索機能が挙げられます。従来は、出前館アプリの検索フォームに意図が不明瞭なフレーズを入れると、商品までたどり着けませんでした。しかしNLPの技術を用いることで、そうしたフレーズの場合でもユーザーが商品になるべく到達できるようにサービスを改善しました。また他には、LINEアプリでユーザーがメッセージを入力している際にスタンプを柔軟に検索するアルゴリズムの改善を行うなどの取り組みをしています。​  

「今後必要になるであろう技術の研究・開発」の一環として、HyperCLOVAを用いた対話システムの開発に取り組んでおり、社内外で高い評価を得ています。たとえばセッション後の2022年12月に第12回対話システムシンポジウムに参加したのですが、2部門で1位を獲得できました。​   

​​山崎：私はNLP TeamでSoftware Engineerを務めています。「Tech-Verse 2022」で紹介されていた文章執筆アシスタントツールHyperCLOVA Writerのような、HyperCLOVAの技術を用いたデモアプリの開発に1年間従事していました。他にもHyperCLOVAを使用した対話システムの開発を担当しています。佐藤さんが説明された対話システムシンポジウムでの開発リードや、他の対話ロボットを作る大会での開発リードも担いました。​  

​​佐藤：山崎さんは、他にも多くのプロジェクトで重要な働きをしてくれています。例えばLINEは国立国会図書館が保有するデジタル化資料のOCRテキストデータ化プロジェクトに協力しているのですが、そのなかで「画像に記載された日本語の文章を、右から読むのか、左から読むのかを判定する」という処理が必要になり、その実装や高速化を山崎さんに担当してもらいました。​  

39billionモデルから82billionモデルへの変更に伴い生じた変化​  

――今回のインタビューでは、セッションで語られた内容の裏話を伺います。2022年に、NLP TeamはHyperCLOVAの82billionモデルの開発を進行されていました。このモデルの開発を行う過程で、印象深かった出来事はありますか？​   

​​佐藤：その前段階であるHyperCLOVAの39billionのモデルを使っていた時代に、私たちは対話システムのコンペティションなどで上位入賞していたため、82billionモデルの開発にもその知見の大部分を応用できるだろうと予想していました。それまで経験した研究・開発では、モデルのパラメータやサイズを変えたくらいでは、使い方やノウハウが大きく変わることが無かったためです。​  

しかし、HyperCLOVAを​39billion​モデルから82billionモデルに変更した際に、それまでのノウハウのかなりの部分が全く通用しなくなるほどの大きな変化が起こりました。既存の手法を用いるだけでは、思ったような性能が出なくなったのです。私だけでなくNLP Teamのみんなもこの変化には驚いたでしょうし、82billionモデルを使用する実装の性能​を向上させるまでに、かなりの試行錯誤がありました。

――82billionモデル自体の性能を向上させるうえで、効果的だった取り組みの例はありますか？​   

​​山崎：複数ありましたが、たとえばモデルを学習させるデータ全体の構成を変えると効果的なのではないかと考えて、様々なタイプのデータを新たに追加しています。例えば、小説の文章のデータを集めて利用しました。データの構成を変えたからなのか、モデルのサイズが大きくなったからなのか因果関係まではわかりませんが、結果としてHyperCLOVAが出力する文章の描写が細かくなり、情景のイメージが湧きやすくなったと感じています。この結果を定量的に評価することは難しいですが、人間が文章を読んだ際に、明らかに心が打たれる度合いが強くなっていることは驚きでした。​  

――小説以外では、どのようなデータを学習に用いているのですか？​   

佐藤：たとえばブログの文章ですね。日本の法律やインターネット上の慣習に従う範囲で、国内のさまざまなブログサービスをクローリングしてデータを収集したうえでHyperCLOVAの学習に用いています。その逆に、LINEの各サービスにおけるコミュニケーションのデータは一切使用していませんし、TwitterなどSNSのデータも積極的には使用していません。つまり、モデル学習のデータ源として「人間同士の対話」に関するデータを大量には追加していないわけですが、にもかかわらず対話システムの性能が向上するのは、基盤モデルを応用した際の不思議な点だなと感じています。​ 

HyperCLOVAの技術を社会に適用していくために​  

――​​HyperCLOVA Writer​の開発で注力した点はありますか？​   

​​山崎：「HyperCLOVAの機能をどのように見せると、ユーザーが日常生活でも使えると思ってくれるか」を意識しつつ実装するのが一番大変でした。NLP技術を活用するシステム全般においては、入力値の情報が多いほうが良い結果を得ることができます。しかし、入力が煩雑だとユーザーにとっては手間になってしまいます。うまくモデルを動かすことと、ユーザーが求める機能のバランスをとることに、非常に注力しました。​  

​​佐藤：社内でも多くの方々にHyperCLOVA Writerを試験的に使ってもらっており、「HyperCLOVA Writerを使えば、○○の業務を効率化できるのではないか」というアイデアを数多くいただきました。その結果、すでに複数の部署と連携をとりつつ、HyperCLOVA Writerを使った業務改善に取り組み始めています。また、社外からも声がかかり、HyperCLOVA Writerを用いたPoCが始まっています。人々の日常的な業務と、先進的な技術をうまくリンクさせることのできた、良い事例になったと考えています。​  

――別の話題として、セッション内では「CLOVA Studioを2023年度中に日本国内で提供することを目指している」というお話もありました。この目標を達成するにあたり、どのような点がサービス普及の障壁になってくると思われますか？​  

​​佐藤：さまざまな課題が考えられますが、今回のインタビューではCLOVA Studioを利用するユーザーが抱える悩みについて言及させてください。CLOVA Studioが提供されると何が起きるかというと、ユーザーは「NLPのエンジニアが普段の開発で使っているようなプロンプトを書けるインターフェースを突然与えられた状態」になります。​  

つまりCLOVA Studioは、OpenAIが公開しているGPT-3のプレイグラウンドなどに類するものであり、アプリケーションというよりは素のWeb APIにユーザーインターフェースをつけたようなシステムといえます。汎用性高く何でもできる代わりに、使いこなす難易度がとても高いのです。その結果として「HyperCLOVAは性能が出ない」とか「HyperCLOVAで何をすればいいのかわからない」と認識してしまうユーザーが出てくることを私たちは危惧しています。​  

そこで、CLOVA Studioのインターフェースやユーザー体験を変えていき、よりユーザーフレンドリーに、特定の目的を簡単に達成できるような方向性にシフトすればこれを防げる可能性があると考えています。​   

たとえば最近、世の中ではChatGPTが登場していますよね。あれはインターフェースをチャットに限定することで、ユーザーがNLPのモデルをわかりやすく活用できるようになっています。用途を限定したことで、実現できない機能も多そうに感じるのですが、モデルの良さそのものはユーザーに伝わっています。この事例のように、CLOVA StudioとHyperCLOVA Writerをセットで一般公開するなど、わかりやすい活用例をユーザーに提示するべきであろうと思っています。​ 

​​山崎：CLOVA Studioを使いこなすうえでは「HyperCLOVAはどのようなデータを用いて学習しているのか」を考えることが重要になります。たとえば、「○○のデータを大量にインプットしているから、○○の領域は良いアウトプットが出そうだ」などといった点を考慮しつつプロンプトを書くと、良い性能を発揮できます。​   

CLOVA Studioを一般公開することで、ユーザーの方々がそうしたテクニックを積極的に見つけてくれることを期待しています。また将来的には、そうした知見を共有できるようなコミュニティも構築していきたいと、個人的には考えています。

​LINEならば自分たちの作った技術で社会を変えられる​    

――NLP Teamにいるからこそ経験できたことはありますか？​  

​​山崎：世の中全体で自然言語処理の技術への需要が高まっており、「この課題ならばNLPの技術を活かせそうだ」と思えるような問い合わせが、社内外からNLP Teamに来るようになっています。そうしたなかで、個別の課題を解いた際に社会にどれくらいのインパクトを与えられるかを鑑みて、何に取り組むかを取捨選択するスキルが習得できました。また、たくさんのプロジェクトに携わることから、スケジュール管理能力も身につきました。​  

加えて、自分はサービスのデモをスピーディーに作ることは得意ですが、その完成度を上げていくことはどちらかと言えば苦手です。NLP Teamには経験豊富なメンバーが多いので、彼らからノウハウを得てアプリの完成度を向上させる方法を学べています。​  

​​佐藤：マネージャー視点としては、NLP Teamには優しいメンバーが多いので、無駄にギスギスした感じにならず前向きな議論ができる点がありがたいです。このチームのマネージャーを担うようになってから改めて、ものづくりにおいては人柄が重要であり、それが高品質なシステムをスピーディーに作ることにつながると確信しました。​  

また、各自のこだわりが良い意味で別々の方向を向いています。だからこそ、複数のメンバーによるバランスが良いプロジェクトチームを組成することで、業務を円滑に進められるケースが多いです。メンバーの良い組み合わせが実現できると、プロジェクトに取り組むメンバーたちも楽しめますし、良い成果も出るとわかったことは、NLP Teamで経験したことの一番の収穫でした。​  

――他社ではなく、LINEで自然言語処理に携わる良さは何でしょうか？​   

​​山崎：私は対話システムに携わっているためその観点で話すと、LINEがチャットアプリを提供している会社であることから対話システムとの親和性が高く、自然言語処理の技術を事業に活かしやすいことが強みだと思います。​   

​​佐藤：LINEが抱えるユーザーの規模が非常に大きいことが、大きな利点だと考えています。自然言語処理の研究・開発に携わるなかで最も悲しいことは、自分が作って心の底から良いものだと考えているシステムを、世の中の人々に使ってもらえないことです。しかしLINEの環境ならば、システムをリリースできれば多くの方々の生活を便利にできます。自分たちが作った技術によって、社会を変えられるのが醍醐味です。かつ、LINEという会社はプロダクトや機能をリリースするまでのサイクルも非常に早いんですよね。​   

それからLINEはWebアプリもスマートフォンアプリも、BtoBのサービスもBtoCのサービスも、多種多様なシステムを運営しているのが面白いです。何か特定の技術をユーザーに届ける場合には、それぞれのシステムが抱える制約条件を考慮する必要があります。だからこそ、「この制約をクリアするために、○○を試してみよう」といった感じに知恵を絞り、新しい技術を考案できます。創意工夫が好きな開発者や研究者にとって、楽しんで働ける環境です。​  

​――では最後に、佐藤さんと山崎さんの今後の目標をお願いします。​   

​​山崎：私は対話システムが好きなので、今後はユーザーが持つ“対話システムに対する意識”そのものを変えていくのが目標です。現在、多くの方々はスマートスピーカーなどに話しかける際に「音楽をかけて」のように、ぶっきらぼうに言葉を投げかけることが多いです。これは、ユーザーが対話システムをあくまで“機械”だと考えているからです。​    

ですが、多くのユーザーに対話システムを“暮らしをサポートしてくれる存在”として意識してもらえるように工夫して、人間と対話システムとの関係性そのものを変えていきたい。そのためにも、より便利なアプリケーションを今後も開発したいです。​  

​​佐藤：私の目標は3つあります。1つ目は、LINEのNLP TeamはNLP業界のなかで大きなインパクトを出せると期待が持てるチームになってきているので、きちんと功績を残して日本または世界のNLP業界そのものを変えていくこと。​   

2つ目は、LINEだけでなくZホールディングスも含めた会社の大きな枠組みのなかで、NLPを始めとする人工知能関連の技術を事業にどのように活かすのかを考えていくこと。​    

3つ目は本当に個人的なことなのですが、私はOSS開発に携わっておりMeCab用のシステム辞書であるmecab-ipadic-NEologdの作者でもあります。今後の目標としてこれ以外にも、何か多くの方に使っていただけるような新たなOSSを作りたいと考えています。

――これからも、NLPを活用して優れたプロダクトが生まれることを楽しみにしています。今回はありがとうございました。​  

​