Blog - LINE ENGINEERING

TAG ARCHIVES: 言語モデル

【インターンレポート】言語モデル訓練データのクリーニング：ルールベース vs 機械学習
近藤瑞希2023-09-27
NLP Foundation Devチーム
言語モデル訓練データのクリーニング：ルールベース vs 機械学習こんにちは、早稲田大学修士課程1年の近藤瑞希と申します。8月21日から9月29日の6週間、NLP Platform Foundationチームでインターンシップに参加しました。本レポートでは私がインターンシップ中に取り組んだ、言語モデル訓練データのクリーニングについて報告します。背景 ChatGPTなどに代表される大規模言語モデル(LLM)は多量のテキストを用いて学習を行っています。分析や研究に使うためにテキストを集積して構造化したものをコーパスと呼び、代表的なものではPile[1]やC4[2]が挙げられます。 LLMの学習に使われるコーパスはWeb上のテキストを集めたものが多く、質の悪いデータが含まれています。例えば、同じ単語の繰り返しや意味が通っていない文章などがWeb上には多く存在します。こうした質の悪いデータを除くことでLLMの性能が向上するといった報告もあります[3]。そのため多くのLLM事前学習ではテキストの品質を判定するフィルタを作成して、コーパスのクリーニングを行っています。フィルタはほとんどの場合でル
2018年の言語モデル概要
Tung Nguyen2019-02-07
2013年にDeep Belief Networkについて初めて読んだとき、私はディープラーニング(深層学習)にはまりました。現在、Clovaの自然言語処理における深層学習を研究開発しております。
こんにちは、ClovaチームのTungです。 Clovaは、Clova FriendsやClova Waveなどといったスマートデバイスに搭載されている私たちのAIプラットフォームです。製品の詳細についてはこちらをご覧ください。 2018年の自然言語処理（NLP）分野において続々と発表された強力な言語モデル - ELMo、ULMFit 、OpenAI Transformer、BERTについて振り返りたいと思います。各モデルそれぞれの内部解説はインターネット上にあったりしますが、今回は少し異なった見方を持って来ることを試みます。全モデルのアーキテクチャーの特徴を比較しながら言語学習との関係を検証した論文について紹介して行きます。言語モデルの簡単な紹介言語モデルとは簡単に言えば、言語モデルは、（自然な）言語のトークンのシーケンスにわたる確率分布を計算するためのモデルです。 n-gram言語モデルのような古いモデルはある程度良い結果を達成しましたが、n 個のトークンを組み合わせた数が非常に多いため「次元の呪い」問題によって

1