Hiromasa Sakurai
2023-05-26NLP開発チーム
こんにちは。東京大学大学院 情報理工学系研究科 コンピュータ科学専攻 修士1年の櫻井大雅と申します。8月8日から9月16日の6週間、LINE株式会社の2022年度夏季インターンシップの「技術職 就業コース」に参加させていただきました。このレポートでは、NLP開発チームで私が取り組んだ内容について説明します。まず、基盤モデルを活用した対話システムにまつわる問題について紹介したのち、それを解決するために本インターンで何に取り組んだかを述べます。
背景
膨大なパラメータを大量のテキストで学習し、高い汎化性能によって様々な下流タスクに応用可能な基盤モデルは、自然言語処理の分野において重要性を増しています。LINEとNAVERも、日本語に特化した大規模な汎用言語モデルを内包するシステム群であるHyperCLOVAを共同開発しています。このHyperCLOVAをベースとした対話システムは様々なジャンルに関する自然な文章を生成することが可能で、広範囲の話題に対応できます。昨年度の対話システムライブコンペティションでも、LINEのNLP開発チームはHyperCLOVAを用いた対話システムによって、自由
