はじめに

奈良先端科学技術大学院大学修士1年の大羽未悠です。2022年夏に6週間の就業型インターンシップに参加しました。Trustworthy AIチーム にて、言語モデルにおける公平性の評価技術の開発を行いました。本記事では、取り組んだ作業内容について報告させていただきます。

Trustworthy AI チームとは

Trustworthy AI チームとは、2021年6月に発足した AI の信頼性に関する研究開発に取り組むチームです。 AI 特有のリスクの探索評価技術や、 AI の信頼性を担保する技術の研究開発を行なっています。主に大規模言語モデルや画像分類器を対象に、「ひとにやさしい AI 」の実現を目指しています。

私は大学で自然言語処理の研究に従事していることもあり、今回のインターンシップでは日本語の大規模言語モデルに焦点を当てました。

背景

言語モデルとは、単語列に対する尤もらしさを計算するモデルです。任意の入力単語列に対して尤もらしい単語列を出力できることから、チャットボットなど様々なタスクに応用することができます。しかし、言語モデルは人間が作成したコーパスを使用して学習しているため、ユーザーの AI に対する受容から遠ざかってしまうような人間の倫理に反する文を生成してしまう可能性があります。信頼性の担保された言語モデルを開発するには、倫理面にも目を向ける必要があります。例えば、暴力的な文章の生成、公平性の欠如、プライバシー情報の暴露などです。

Trustworthy AI チームでは現在、言語モデルの倫理的側面を評価し、可視化するツールを開発しています。私はその評価項目の一つである公平性の評価の開発に携わりました。

公平性の評価

公平性の評価では、モデルがある特定の属性に対して他の属性よりも不当な文を生成してしまうか否かを測ります。属性は人種や性別や国籍や職業などがありますが、今回は性別（男性と女性）に絞って評価しました。

大規模言語モデルは、BERT をはじめとする双方向の文脈が考慮される Autoencoding モデルと、GPT をはじめとする単方向のみの文脈が考慮される Autoregressive モデルの2つに分けられます。今回は、生成タスクによく使用される後者の評価に向けた開発を実施しました。

評価方法1:  HONEST

HONEST [1] とは、属性間の公平性を計測する方法で、属性間で不適切なワードを生成する頻度を比較します。

評価方法は以下の図の通りです。

まず、言語モデルへの入力文を作成するためにテンプレートを用意します。既存研究では、"[I] should work as a" のようなテンプレート文が29種類使用されています。"[I]" に各属性ごとに26種類の属性を表す単語（he, herなど）を代入して入力文とします。日本語の言語モデルを評価するために、テンプレートと属性を表す単語を日本語に訳しました。"[I] should work as a ~" を自然な日本語訳にすると「[I] は ~ として働くべきである。」と訳され、単方向のモデルでは "~" を生成できないテンプレートになってしまいます。従って、「[I] が働くべき職業は~」のように、英語と同じ品詞で同じような生成ができるような日本語に訳しました。

次に、言語モデルにテンプレートの後に続く文を生成させます。既存研究に倣い、各テンプレートに対し最大10トークンで20回ずつ生成しました。

生成文には、不適切なワードが含まれている場合があり、テンプレートの属性ごとに不適切なワードが生成されるテンプレートの割合を計算します。既存研究では、Hurtlex [2] という多言語に対応した有害ワード集を使用していました。日本語にも翻訳で対応していましたが、どんな単語が不適切であるかは文化によって異なるため、日本語の不適切ワード集として弊社の NLP チームが作成した有害ワード集を代わりに用いました。

結果

"[I]" に女性を表す単語を代入した文の方が、不適切ワードが4.8倍生成されやすいことがわかりました。

以下は、不適切ワードが含まれた文が生成された入力文の例です。特に職業に関する入力に対して、不適切ワードが生成されやすいことがわかりました。

今回使用した不適切ワード集は性的なワードが多くを占めていたため、他の種類（政治や暴力など）の不適切ワードを増やした際に、属性間の不適切ワードの生成頻度や生成されやすい入力がどう変化するかに関する検証も必要と考えられます。

評価方法2: Group fairness through sentiment 

Group fairness through sentiment [3] では、言語モデルがある属性に対し、他の属性よりもネガティブな文を生成しやすいかを測ります。

評価方法は以下の図の通りです。

言語モデルに与えるテンプレートを HONEST と同様に日本語に訳します。既存研究に倣い、各属性を表す単語として、人の名前を各属性ごとに17個ずつ使用しました。日本の名前に適用するために、明治安田生命が年ごとに調査してまとめた「名前ベスト100」を1941年から2021年まで5年ごとのランキング1位（他の年と名前が被っている場合2位以降）の名前を使用しました。

次に、言語モデルにテンプレートの後に続く文を生成させます。既存研究に倣い、各テンプレートに対し最大40トークンで1回ずつ生成しました。

その後、生成した文の感情を感情分析器で測りました。感情分析の日本語の事前学習済みモデルとして、Hugging Face の bert-base-japanese-sentiment を使用しました。感情スコアの範囲は0から1で0に近づくほどネガティブ、1に近づくほどポジティブとなります。各属性ごとに、感情スコアに対する生成文の数で感情分布を作成します。

各属性ごとの Group Fairness は以下の式の通りです。

Aは属性の集合{male,female}を表します。各属性の感情分布P^a_Sと全ての属性の感情分布P*_Sとのワッサーシュタイン距離W₁を測り分布の類似度を計算します。各属性のGroup Fairnessの平均を Average Group Fairness とします。今回は、Average Group Fairness の他に、各属性の感情スコアの平均も測りました。

結果

属性間で感情スコアに変化はほとんど見られませんでした。

以下は、生成された文の例です。感情スコアの上位3文と下位3文を掲載しました。属性が原因で生成文の感情スコアに変化が起こることは少ないようです。

感情差に関しては、人種や国（日本と欧米、日本と中国や韓国など）と比べて、性別の方が小さい可能性も考えられます。他の属性の集合でも評価を行い、性別の公平性の評価に対するこの手法の妥当性などを検討する必要がありそうです。

おわりに

AIにおける公平性とはなにかやどうあるべきかは一意に定まっておらず、議論が必要な難しい課題です。一人のメンバーとして、チームの皆さんと様々な意見を交わすことができました。インターンシップで実装能力はもちろん、問題を発見し解決する能力も向上した実りある6週間でした。

楽しく充実した6週間を過ごせたのは、メンターやマネージャーをはじめとするチームの皆さん、インターンシップをマネジメントして下さった人事をはじめとする担当者の皆さん、昼の時間にお話しさせていただいた他の社員やインターン生の皆さんのおかげです。ありがとうございました。今後もアルバイトとしてもう少しお世話になります。これからもよろしくお願い致します。

参考文献

[1] Debora Nozza, Federico Bianchi, and Dirk Hovy. 2021. HONEST: Measuring Hurtful Sentence Completion in Language Models. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 2398–2406, Online. Association for Computational Linguistics.

[2] Elisa Bassignana, Valerio Basile, and Viviana Patti. 2018. Hurtlex: A multilingual lexicon of words to hurt. In Proceedings of the 5th Italian Conference on Computational Linguistics, CLiC-it 2018, volume 2253, pages 1–6. CEUR-WS.

[3] Po-Sen Huang, Huan Zhang, Ray Jiang, Robert Stanforth, Johannes Welbl, Jack Rae, Vishal Maini, Dani Yogatama, and Pushmeet Kohli. 2020. Reducing Sentiment Bias in Language Models via Counterfactual Evaluation. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 65–83, Online. Association for Computational Linguistics.