可信联邦学习 (Trustworthy federated learning) 是一种增强型的联邦学习,它除了保证原始数据的隐私安全和模型的可证安全,还保证学习过程的高效率和模型的可用性,模型决策机制的可解释性、及模型的可溯源和审计监管。
为了帮助读者了解可信联邦学习前沿进展,机器之心机动组组织策划了最新一期视频分享。
在此次分享中,加拿大工程院及加拿大皇家科学院两院院士,微众银行首席人工智能官杨强老师将首先为我们系统回顾联邦学习的进展和挑战,并展望几个重要发展方向。而后以下四篇论文作者将从不同角度介绍可信联邦学习的最新研究成果。
其中,《联邦学习中隐私与模型性能没有免费午餐定理》首次从信息论的角度,分析揭示了联邦学习的模型效用与隐私保护之间的内在约束关系,该论文所阐述的定量分析可以为设计可信联邦学习算法提供有效的指导。
《FedSVD:10 亿规模数据上的无损联邦奇异值分解》提出了基于随机掩码的奇异值分解方案,应用于多方生物信息数据分析、多方金融数据建模等场景,在 SVD 任务中,该方案的效率比同态加密提高 10000 倍,误差比差分隐私方案小 10 个数量级,同时提供了安全性分析和实验验证。
《FedCG: 联邦生成对抗网络保护隐私保障性能》在横向联邦学习中将生成对抗网络与分割学习相结合,有效保护了参与方的数据隐私,同时保障了各参与方模型性能的竞争力。
《FedIPR:联邦学习模型所属权验证》提出了首个联邦学习模型版权验证框架,在不牺牲模型可用性前提下,提供了可靠且鲁棒的模型反盗版机制,保护了模型拥有者的合法权利和商业利益。
主题:可信联邦学习
个人简介:杨强,加拿大工程院及加拿大皇家科学院两院院士,微众银行首席人工智能官,香港科技大学计算机与工程系讲席教授和前系主任,AAAI-2021 大会主席,国际人工智能联合会(IJCAI)理事会前主席,香港人工智能与机器人学会(HKSAIR)理事长,智能投研技术联盟(ITL)和开放群岛开源社区 (OI) 主席,ACM TIST 和 IEEE TRANS on BIG DATA 创始主编,CAAI,AAAI,ACM,IEEE,AAAS 等多个国际学会 Fellow。领衔全球迁移学习和联邦学习研究及应用,著作包括《迁移学习》、《联邦学习》、《隐私计算》和《联邦学习实战》等。
演讲摘要:联邦学习是人工智能和隐私计算的重要交集。如何使联邦学习更加安全可信和高效是今后产业和学界关注的重点。杨强教授在讲座中将系统回顾联邦学习的进展和挑战,并展望几个重要发展方向。
论文一:联邦学习中隐私与模型性能没有免费午餐定理
- 论文标题:No Free Lunch Theorem for Security and Utility in Federated Learning
- 论文链接:https://arxiv.org/pdf/2203.05816.pdf
个人简介:张晓今博士于 2021 年获得香港中文大学哲学博士学位,现为香港科技大学博士后研究员。她的研究兴趣包括人工智能、机器学习和联邦学习。
分享摘要:从信息论的角度为联邦学习中隐私泄漏和效用损失的分析提供了一个通用的框架,量化了隐私和效用之间的约束关系,揭示了隐私效用的无免费午餐场景,该论文阐述的框架及分析可以为设计可信联邦学习算法提供有效的指导。
论文二:FedSVD:10 亿规模数据上的无损联邦奇异值分解
- 论文标题:Practical Lossless Federated Singular Vector Decomposition over Billion-Scale Data
- 论文链接:https://dl.acm.org/doi/abs/10.1145/3534678.3539402
个人简介:柴迪是香港科技大学计算机学院在读博士生,导师为杨强教授和陈凯教授,他的研究方向为联邦学习、矩阵分解中的隐私保护等。
分享摘要:提出了基于随机掩码的奇异值分解方案,应用于多方生物数据分析、多方金融数据建模等场景,在 SVD 任务中,该方案的效率比同态加密提高 10000 倍,误差比差分隐私方案小 10 个数量级,同时提供了安全性分析和实验验证。
论文三:FedCG: 联邦条件对抗生成网络
- 论文标题:FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning
- 论文链接:https://www.ijcai.org/proceedings/2022/324
个人简介:康焱是 WeBank 人工智能项目组联邦学习研究团队负责人。他的工作重点是迁移学习和联邦机器学习的研究和实现。他的多项研究工作已经在知名会议和期刊上发表,包括 IEEE Intelligence Systems,IJCAI 和 ACM TIST,他也是第一本 Federated Learning 专著的主要作者之一。
分享摘要:《FedCG: 联邦条件对抗生成网络》提出在横向联邦学习中通过将条件生成对抗网络与分割学习相结合,利用知识蒸馏,在保护数据隐私的同时保持有竞争力的模型性能。
论文四:FedIPR:联邦学习模型所属权验证
- 论文标题:FedIPR: Ownership Verification for Federated Deep Neural Network Model
- 论文链接:https://ieeexplore.ieee.org/abstract/document/9847383/
个人简介:古瀚林 2017 年毕业于中国科学技术大学数学系,2022 在香港科技大学获得博士学位。毕业后在中国微众银行 AI 组任研究员,研究兴趣包括联邦学习、隐私保护方法论。
分享摘要:在联邦模型的开发过程中,面临非法复制、重新分发、滥用的风险。为了解决这些风险,他们提出了一种新颖的联邦深度神经网络 (FedDNN) 所有权验证方案,该方案允许嵌入和验证私有水印以声明 FedDNN 模型的合法 IPR。
分享时间:北京时间 9 月 7 日 19:00-21:00
直播间:关注机动组视频号,北京时间 9 月 7 日开播。
交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。
机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。
- 点击「阅读原文」,访问机动组官网,观看往期回顾;
- 关注机动组服务号,获取每周直播预告。