2018年の言語モデル概要

こんにちは、ClovaチームのTungです。 Clovaは、Clova FriendsやClova Waveなどといったスマートデバイスに搭載されている私たちのAIプラットフォームです。 製品の詳細についてはこちらをご覧ください。

2018年の自然言語処理(NLP)分野において続々と発表された強力な言語モデル – ELMoULMFit 、OpenAI TransformerBERTについて振り返りたいと思います。 各モデルそれぞれの内部解説はインターネット上にあったりしますが、今回は少し異なった見方を持って来ることを試みます。全モデルのアーキテクチャーの特徴を比較しながら言語学習との関係を検証した論文について紹介して行きます。