Blog - LINE ENGINEERING

TAG ARCHIVES: NLP

NLP若手の会（YANS）奨励賞・ハッカソン賞受賞の報告
Kenta Shinzato, Masato Umakoshi, Yukiya Wada2023-09-18
NLP Foundation Devチーム, NLP Platform Devチーム
こんにちは。NLP Foundation Devチームの新里顕大とNLP Platform Devチームの馬越雅人、和田有輝也です。 2023年8月末に開催された研究シンポジウム「NLP若手の会（YANS）第18回シンポジウム」にて、新里が奨励賞を受賞しました。また、同シンポジウム内で開催された「YANS分野交流ハッカソン with 言語処理学会30周年記念事業」のデモアプリ開発ハッカソンにて馬越が優秀賞・審査員特別賞を受賞し、リーダーボードハッカソンにて和田が優秀賞を受賞しました。各受賞について報告いたします。「HojiChar: テキスト処理パイプライン」奨励賞受賞の報告 NLP Foundation Dev チームの新里です。研究シンポジウムにおいて「HojiChar: テキスト処理パイプライン」というタイトルの発表について奨励賞をいただくことができました。発表ポスターや開発へのフィードバック、各種実験を実施をしていただいたチームの方々、YANS運営の方々に感謝致します。奨励賞を頂いた発表は、私が開発をしている HojiChar というオープンソ
- Event Report
- AI
- NLP
Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルを公開します
Koga Kobayashi, Tomoya Mizumoto2023-08-18
NLP Foundation Devチーム
こんにちは。NLP Foundation Devチームの小林滉河(@kajyuuen)と水本智也(@tomo_wb)です。 NLP Foundation Devチームでは言語モデルの構築やモデルの応用・評価について取り組んでいます。今回はその取り組みの一つである「japanese-large-lm-instruction-sft」について紹介します。こちらは先日紹介したjapanese-large-lmを「Finetuned Language Models Are Zero-Shot Learners」で提案されたInstruction Tuningという手法を用いて、Supervised Fine-tuning (SFT) したモデルになります。自動評価の結果、同パラメータ数の日本語大規模言語モデル（LLM）の中でも高い性能であることを示せたため、本モデルを共有します。 japanese-large-lm-instruction-sftはtransformersライブラリから利用可能で、商用利用も可能なApache License 2.0をライセンスとして採用しています。 http
- NLP
- language models
36億パラメータの日本語言語モデルを公開しました
Shun Kiyono, Sho Takase, Toshinori Sato(overlast)2023-08-14
NLP Foundation Dev Team
こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズラージエルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。この記事では、我々が訓練・公開した36億（3.6 Billion）および17億（1.7 Billion）パラメータの日本語言語モデル（以下、それぞれ3.6Bモデル、1.7Bモデルと呼びます）を紹介しつつ、途中で得られた言語モデル構築のノウハウを共有します。使い方 1.7Bモデル、3.6Bモデル共にHuggingFace Hubの以下のURLにおいて公開しており、tr
- NLP
- language models
【インターンレポート】トピック判別器を利用した対話システムのための話題制御技術開発
Hiromasa Sakurai2023-05-26
NLP開発チーム
こんにちは。東京大学大学院情報理工学系研究科コンピュータ科学専攻修士1年の櫻井大雅と申します。8月8日から9月16日の6週間、LINE株式会社の2022年度夏季インターンシップの「技術職就業コース」に参加させていただきました。このレポートでは、NLP開発チームで私が取り組んだ内容について説明します。まず、基盤モデルを活用した対話システムにまつわる問題について紹介したのち、それを解決するために本インターンで何に取り組んだかを述べます。背景膨大なパラメータを大量のテキストで学習し、高い汎化性能によって様々な下流タスクに応用可能な基盤モデルは、自然言語処理の分野において重要性を増しています。LINEとNAVERも、日本語に特化した大規模な汎用言語モデルを内包するシステム群であるHyperCLOVAを共同開発しています。このHyperCLOVAをベースとした対話システムは様々なジャンルに関する自然な文章を生成することが可能で、広範囲の話題に対応できます。昨年度の対話システムライブコンペティションでも、LINEのNLP開発チームはHyperCLOVAを用いた対話システムによって、自由
高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました
Koga Kobayashi2023-03-13
NLPチーム
こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。高性能・高速・軽量 Hugging Faceのtransformersから簡単に利用可能商用利用可能なApache License 2.0でのモデル配布このモデルは、大規模日本語Webコーパスを用いたモデル構築により、日本語自然言語理解のベンチマークであるJGLUEの全てのタスクにおいて、Laboro DistilBERTやBandaiNamco DistilBERTといった既存の日本語DistilBE
【インターンレポート】グラフベースで、機械学習を用いないニュース記事要約文の hallucination 検出
Tomoya Kurosawa2023-03-03
NLP開発チーム
こんにちは、黒澤友哉と申します。 2022 年 8 月 15 日から 6 週間、LINE株式会社の NLP 開発チーム（現在は NLP チーム）で就業型インターンシップを行ないましたので、その内容を報告していきたいと思います。私は東京大学情報理工学系研究科コンピュータ科学専攻の修士で、自然言語処理を専門としています。所属は谷中研究室です。 0. 概要本文に入る前に、このレポートの概要を書きます。以下の図はこのインターンレポートの背景と手法をまとめた図です。このレポートでは第 3 章で「言語モデルを用いた要約生成」、「hallucination」、「日本語のグラフ」について説明した後、第 4 章でグラフ生成手順と hallucination 検出の手法、第 5 章でビジュアライザを紹介し、第 6 章以降でデモと課題を説明するという構成となっています。図 0: 本インターンレポートの背景と手法の概要図。ニュース記事は「LINEで予約」、新たにカラオケ館全215店舗との連携を開始から抜粋。要約文は手元で作成、ビジュアライザは一部改変 1. はじめに自然言語処
- NLP
- line-intern-ja
【インターンレポート】6.7B日本語モデルに対するLoRAチューニング
Hao Wang2023-02-22
NLP開発チーム
はじめにこんにちは、王昊(オウコウ)と申します。現在、私は早稲田大学基幹理工学部情報理工学科4年で、河原研究室に在籍していて、自然言語処理の研究を行なっています。私は特にマルチリンガルに関する研究に興味を持っていて、多言語BERTの構築、漢文の日本語書き下し文の生成などの研究に取り組んでいます。 2022年8月上旬から6週間、LINE夏インターンシップ技術職就業型コースに参加させていただき、AIカンパニーのNLP開発チームにて「6.7B日本語モデルに対するLoRAチューニング」という課題に取り組みました。本レポートではその内容について紹介します。本レポートの内容は、2023年3月12日から沖縄で開催される、言語処理学会年次大会にて発表いたします。6.7Bモデルのファインチューニングなどのより詳細な情報はそちらで発表いたしますので、年次大会にご参加の方はよろしくお願いいたします。背景・目的近年、Wikipediaなどのテキストデータを使用した大規模な事前学習と特定のタスクやドメインへの適応(ファインチューニング)が自然言語処理において重要なパラダイムとなっています。GPT-3などの
【インターンレポート】シチュエーションを限定した対話における応答生成
Toshiki Kawamoto2022-02-02
こんにちは、川本稔己と申します。今回LINE夏インターンシップ技術職就業型コースに参加する機会を頂きましたので、その内容をご報告致します。現在、私は東京工業大学大学院修士課程1年で、奥村・船越研に在籍しており、自然言語処理という分野の研究を行っています。私は特に対話に関する研究を行っていて、身近な例でいうと音声アシスタントのような人とシステムで行う対話に興味があります。システムが何でも答えてくれるようになったり、話し相手になってくれたら楽しいですよね。そういった思いがあって、今回のLINEのインターンでは、AI開発室のNLPチームで業務に携わりました。業務内容は大規模汎用言語モデルを用いた対話システムを構築することで、その成果を対話システムライブコンペティション4に提出しました。その結果、オープントラックとシチュエーショントラックでどちらも1位を取ることができましたので、本記事では自分がメインで担当しましたシチュエーショントラックについて詳細をご報告致します。対話システムライブコンペティション4 対話システムライブコンペティション(以降ライブコンペ)とは、対話システムシンポジウム
SIGIR2019 聴講・発表報告
Wataru Sakata 2019-08-14
UnivRel Team, LINE Corporation.
SIGIR2019 京都開発室 UnivRelチームの坂田です。私は2018年4月に新卒としてLINEに入社して以来、京都大学などと連携しながら自然言語処理技術を活用した社会課題解決手法の開発に取り組んでいます。 LINEには海外カンファレンスや学会への参加費用を支援する制度があり，会社負担で学会に参加することが可能です。私は今回、情報検索のトップカンファレンスであるSIGIRにて聴講・発表してきました。今年のSIGIRはフランス・パリで開催となり、参加者は1025名で過去最大だったようです。また論文の採択(投稿)数はFull:84(426)件 Short:108(443)件でこちらも最大だったようです。 LINEからはポスターセッションで1件採択されました。論文の詳細についてはこちらをご覧ください。パリ到着〜学会参加まで会場はパリ市内の北東部に位置するLa Villate公園のCité科学産業博物館でした。会場内には科学産業に関する幅広い展示があり研究発表以外にも見るものが多く飽きません。会場ではNAVERがスポンサーブースを出しており
言語処理学会第25回年次大会(NLP2019) 協賛レポート
Teppei Miki2019-03-22
Developer Relations Team, LINE Corporation.
Developer Relationsチームの三木です。 2019年3月12日(火)〜15日(金)に開催された言語処理学会第25回年次大会(NLP2019) にて、LINEはプラチナスポンサーを務めました。会期中は、スポンサーブース出展を行った他、LINEの開発者が対話システムに関する研究発表を行いました。本記事では、写真を中心にその模様をレポートします。今回、LINEからはクラウドAIプラットフォームClovaの開発部門に所属する、自然言語処理・音声処理関連のエンジニアが参加しました。スポンサーブースでは、本学会初日の12日にプレスリリースにて詳細を発表したばかりの「Clova Desk」を展示しました。「Clova Desk」は、LINEのAIアシスタント「Clova」を搭載したスマートディスプレイです。来場者の方には、3月19日の販売開始に先駆けて一足早く体験頂きました。またプロダクトの展示だけではなく、LINE MUSICに存在する5100万曲以上の楽曲の検索システムの構築を例に、Clovaではどういった音声認識処理が行われているのか、ポスターを使って具体的に解

1 2