Data Scienceセンター Machine Learning Privacy & Trust チームのリュウと前田です。
2023年3月に開催された第15回データ工学と情報マネジメントに関するフォーラム(DEIM2023)にて、日本データベース学会 上林奨励賞をリュウが受賞しました。
また、同フォーラムの優秀論文賞を前田、長谷川、髙橋が受賞し、2023年6月に開催されたDBSJ総会にて授賞式が執り行われました。
各受賞について報告いたします。
日本データベース学会 上林奨励賞 受賞の報告
Data Scienceセンター Machine Learning Privacy & Trust チームのリュウです。
この度は、日本データベース学会上林奨励賞を受賞しましたことを報告します。この賞は、データベース系の若手研究者に対して優れた成果を評価するものであり、私にとって大変光栄な出来事です。この場を借りて、ご指導やご支援をいただいた方々に心から感謝申し上げます。
受賞となる研究は、プライバシー保護技術、特に差分プライバシーの研究開発です。
受賞の一つ目のきっかけとなったSIGMOD22の論文は、分散型の匿名化処理技術の提案です。受賞の二つ目のきっかけとなったICLR22の論文は、差分プライバシーを保証しながら生成モデルを学習し、プライバシー保護された人工データを作成する研究です。
- （参考）プレスリリース「LINE、データ関連分野の国際学会 「SIGMOD2022」「VLDB2022」にて論文採択」
- （参考）プレスリリース「LINE、深層学習における世界トップレベルの国際学会「ICLR 2022」にて論文採択」
授賞式の模様
DEIM2023 優秀論文賞 受賞論文の報告
Data Scienceセンター Machine Learning Privacy & Trust チームの前田です。
第15回データ工学と情報マネジメントに関するフォーラム(DEIM2023) 優秀論文賞を受賞しましたことを報告します。
この賞は、DEIM2023に投稿されたすべての論文のうち、優秀な論文に対して贈られる賞です。今年は408件の論文から5件が選ばれました。このような賞を頂けたことを大変うれしく、光栄に思います。
この場を借りて、ご指導やご支援をいただいた皆さまに心よりお礼申し上げます。賞を頂いたことを励みに、今後もより一層精進してまいります。今後ともどうぞよろしくお願いいたします。
以下に受賞した論文「連合学習におけるローカル差分プライバシーメカニズムのハイパーパラメータ調整に関する一考察」の内容を紹介します。
発表論文
連合学習におけるローカル差分プライバシーメカニズムのハイパーパラメータ調整に関する一考察
前田 若菜 (LINE株式会社), 長谷川 聡 (LINE株式会社), 髙橋 翼 (LINE株式会社)
発表資料
概要
私たちは、連合学習という複数のクライアントとサーバからなる分散型機械学習のプライバシー保護について取り組んでいます。
連合学習では、クライアントはサーバの持つグローバルモデルを手元の学習データで更新し、サーバはその更新情報を受け取ってグローバルモデルを更新します。この時、サーバが受信した更新情報から元の学習データを復元できてしまう恐れがあります。
この対策として差分プライバシー (DP: Differential Privacy)の導入が考えられます。DPとはプライバシー漏洩を制限、定量化するための概念です。DP下の機械学習では、ノイズを加算するメカニズムを導入してプライバシーを保証します。
本研究では、モデルの更新情報に対してノイズを加算するメカニズム (LDPメカニズム:ローカル差分プライバシーメカニズム) をクライアントに導入するケースを扱いました。LDPメカニズムでは、モデルの更新情報のノルムをある定数以下に制限した上で、この定数 (クリップサイズ) を考慮したノイズの加算が求められます。クリップサイズの設定が不適切な場合、ノイズによって学習が発散する、または学習の進行が阻害される、等の不都合がLDPメカニズムを導入した連合学習でも生じると考えられます。
そこで、LDPメカニズムを導入した連合学習を効率よく進行することを目的として、クリップサイズの設定方法や適応的に変更する方法に関して、いくかの実験的な取り組みを行いました。その結果、学習段階ごとのクリップサイズの調整に関する知見を得ることができ、またLDP下の連合学習向けのクリップサイズの適応的更新手法の開発が必要であることがわかりました。
授賞式の模様
LINEが注力するプライバシー保護技術の研究開発と実用化について
LINEでは、ユーザーデータを活用したパーソナライゼーションに力を入れており、同時にデータを扱う際のプライバシーへの配慮についても重要視しています。
その一環として、連合学習や差分プライバシー、秘密計算等の先端的なプライバシー保護型機械学習技術の検証や実装などを推進しており、国際的に高い水準の研究成果を出しています。さらには、連合学習と差分プライバシーというプライバシー保護技術をサービスに適用（詳細はTech-Verse 2022にて講演）するなど、実用化にも積極的です。
今後も十分なプライバシーへの配慮と多様なユーザーへの深いパーソナライズの両立を目指して、研究開発に取り組んでまいります。