Koga Kobayashi
2023-03-13NLPチーム
こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。
この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。
https://huggingface.co/line-corporation/line-distilbert-base-japanese
https://github.com/line/LINE-DistilBERT-Japanese
LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。
高性能・高速・軽量
Hugging Faceのtransformersから簡単に利用可能
商用利用可能なApache License 2.0でのモデル配布
このモデルは、大規模日本語Webコーパスを用いたモデル構築により、日本語自然言語理解のベンチマークであるJGLUEの全てのタスクにおいて、Laboro DistilBERTやBandaiNamco DistilBERTといった既存の日本語DistilBE
