はじめに
こんにちは！静岡大学大学院 総合科学技術研究科 情報学専攻 1年の上山 彩夏と申します。8/16~9/24の6週間、LINE株式会社の2021年度夏季インターンシップ「技術職 就業型コース」に参加させていただきました。今回のインターンシップでは、サーバーサイドエンジニアとしてAIカンパニー/AI開発室に配属され、大規模汎用言語モデルを用いて、対話応答にキャラクタ性を付与するという課題に取り組みました。本レポートでは、第一に「HyperCLOVA / 大規模汎用言語モデル」を紹介し、その後、インターンシップにて取り組んだ内容を説明したいと思います。
HyperCLOVA / 大規模汎用言語モデルとは？
近年、深層学習によって自然言語処理技術は急激に発展しており、膨大な量のテキストデータを元に学習された言語モデルが多様なタスクを高い精度で解ける能力を有していることが知られています[1]。2020年6月に「GPT-3 (Generative Pretrained Transformer 3)」[2]が登場し、人間が書いた文章と見分けがつかないレベルの文章を生成したことから、自然言
