题图摄于长安街
我们的团队一直在参与开源项目的贡献和社区运营。除了之前的 Harbor 开源社区外,我们近期在深度参与联邦学习领域 FATE 开源项目,感兴趣的朋友会议来交流和合作。本篇转发 FATE 开发专委会的文章。
4月份,FATE v1.8 版本正式发布。
FATE(Federated AI Technology Enabler)是全球首个联邦学习工业级开源框架,它提供一种基于数据隐私保护的安全计算框架,为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。
中国信通院《隐私计算白皮书(2021)》显示,55%的国内隐私计算产品是基于或参考开源项目开发的,其中以 FATE 开源项目为主。
2021年又被称为隐私计算“应用元年”,此次FATE v1.8版本中,考虑了生产可用性需求,在性能、功能算法、模型管理等方面均进行了丰富完善,开发者可以通过下方链接获取FATE / KubeFATE v1.8发布版。同时,FATE开源社区开发专委会也正在规划v1.9版本的准备工作,向社区用户公开收集v1.9版本的功能需求,欢迎广大开发者、用户、社区贡献者和联邦学习爱好者提出需求以及宝贵的改进建议。
点击这里,参与FATEv1.9版本需求建议征集
FATE将持续坚持“开源开放,共力创新”愿景,汇聚更多开发者、行业专家、创新力量,共同推动联邦学习技术发展及应用实践。
用户可访问以下网址获取 v1.8 的发布版:
https://github.com/FederatedAI/FATE/releases
https://github.com/FederatedAI/KubeFATE/releases
1
FATE v1.8版本功能概述
本次发布的FATE v1.8 包含了在性能、功能、框架可测试、模型管理多方面的改进。
在性能方面,为了加速多分类联邦训练任务,横纵向联邦SecureBoost新增了SecureBoost-MO算法,在效果基本无损的情况下,训练过程性能提升最大可接近5倍,极大增强了SecureBoost联邦多分类训练任务的可用性。根据社区的反馈,我们在纵向联邦SecureBoost的预测过程中,对预测流程使用的数据结构持续优化,树的棵数较多的时候,占用的硬盘消耗和带宽消耗降低了约75%,增强大规模数据离线预测的可用性和效率。此外,对PSI-DH交集算法、纵向联邦分箱算法等也进行性能优化,效率和内存占用方面都得到了不错的提升。
在功能方面,我们解决了不少用户的痛点,例如,新增了无协调方的纵向联邦线性回归算法,该算法解决的是生产部署中“可信第三方”难找难部署的问题; 横向联邦逻辑回归算法支持多分类的训练,完善和丰富了横向多分类建模;针对数据不平衡问题,支持无协调方的纵向联邦广义线性模型,支持带权样本训练等等。
在框架可测试方面,FATE-Test自动化测试工具功能进一步增强,新增Paillier、SPDZ安全算子标准化测试,同时集成了mnist图像数据下载和全量样例数据上传等功能,提升了框架的可测试性。
在模型管理方面,通过引入自动化方法,优化了模型迁移步骤,提升了模型迁移用户体验。
KubeFATE 1.8 新增了在云原生平台的可观察性,利用Kubernetes的探针机制,保证各组件容器的高可用和服务不中断;docker-compose部署方式增加了健康检查功能;优化了Helm Chart的文件结构,方便定制化开发;基于minikube的部署教程也得到更新。
2
各模块新版本特色功能一览
此次,推出的FATE v1.8版本,对FATE进行了全面升级,增强了生产可用性,丰富并完善多项功能。此外,新版本对其他FederatedML、KubeFATE、Fate-Flow、Fate-Board、Fate-Test等多个模块都进行了更新及改进,各模块改进点如下:
FederatedML