NLP Foundation Dev Team
こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事では、我々が訓練・公開した36億（3.6 Billion）および17億（1.7 Billion）パラメータの日本語言語モデル（以下、 それぞれ3.6Bモデル、1.7Bモデルと呼びます） を紹介しつつ、途中で得られた言語モデル構築のノウハウを共有します。 使い方 1.7Bモデル、3.6Bモデル共にHuggingFace Hubの以下のURLにおいて公開しており、tr
Shun Kiyono, Sho Takase, Toshinori Sato(overlast)2023-08-14