NLP Foundation Devチーム
こんにちは。NLP Foundation Devチームの小林滉河(@kajyuuen)と水本智也(@tomo_wb)です。 NLP Foundation Devチームでは言語モデルの構築やモデルの応用・評価について取り組んでいます。今回はその取り組みの一つである「japanese-large-lm-instruction-sft」について紹介します。こちらは先日紹介したjapanese-large-lmを「Finetuned Language Models Are Zero-Shot Learners」で提案されたInstruction Tuningという手法を用いて、Supervised Fine-tuning (SFT) したモデルになります。自動評価の結果、同パラメータ数の日本語大規模言語モデル（LLM）の中でも高い性能であることを示せたため、本モデルを共有します。 japanese-large-lm-instruction-sftはtransformersライブラリから利用可能で、商用利用も可能なApache License 2.0をライセンスとして採用しています。 http
Koga Kobayashi, Tomoya Mizumoto2023-08-18