KubeFATE v1.7和FATE v1.7 的特色功能介绍

2022-01-18 18:37:43 浏览数 (1)

FATE (Federated AI Technology Enabler)是全球首个联邦学习工业级开源框架,它提供一种基于数据隐私保护的安全计算框架,为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。

从 2019 年 2 月开源至今,FATE 已迭代了十余个版本,在金融、医疗等众多领域有了落地应用,汇聚了上千家企业、高校等科研机构的开发者。

KubeFATE 是运维联邦学习开源平台 FATE 的最佳工具。不久前,KubeFATE v1.7.0 正式发布,全面支持 FATE v1.7.0 。欢迎广大用户使用 KubeFATE 最新版本,并通过 Github 或微信群给我们反馈建议。

FATE v1.7.0 对原先 FATE 进行了全面升级,解决联邦学习技术平台之间互联互通问题,大幅优化了性能效率。而 KubeFATE v1.7.0 全面兼容最新的 FATE v1.7.0 。此外:

1. 更新了 KubeFATE 及 FATE 的 Ingress 部署方式,以支持 Kubernetes v1.22 以后的版本;

2. 更新了 Docker-compose 中的示例为最新的 DSL v2 版本;

3. 更新了所有 Jupyter Notebook示例代码;

4. 修改之前的代码 bugs,优化使用体验。

KubeFATE v1.7.0 的更新包括:

1. Docker-compose安装包 v1.7.0;

2. FATE v1.7.0 的 Chart;

3. FATE Exchange v1.7.0 的 Chart。

KubeFATE CLI 与 KubeFATE 后台服务不需要更新,可沿用v1.4.2(与KubeFATE v1.6.1同时发布),具体导入新的 v1.7.0 的chart,请参考文章:

https://github.com/FederatedAI/KubeFATE/blob/master/docs/Manage_FATE_and_FATE-Serving_Version.md#manage-charts-in-kubefate-manually

需要加入KubeFATE开源项目群的朋友,可以关注本公众号 亨利笔记 ,后台回复 kubefate 即可。

另外,FATE V1.7 为开发者带来多项重要更新:

■ 性能提升:横纵向联邦SecureBoost性能提升5倍 ,千万级别样本训练支持;隐私保护求交(PSI)算法性能提升3倍 ,不平衡场景下PSI性能提升10倍 以上;

■ 两方逻辑回归:新增纵向联邦逻辑回归算法,支持无可信第三方;

■ 横向通用模型转化:支持FATE的横向模型导出成主流引擎模型训练文件,可用于跨引擎的离线预测和在线推理;

■ 安全协议增强:新增同态加密和秘密分享混合协议;

■ 组件插件化:可同时部署多个版本算法组件包,运行时指定版本,支持热插拔;

■ 调度能力增强:checkpoint/warmstart、数据/模型复用、作业参数更新;

■ 多方异构引擎支持:简化Session API接口,移除workmode,backend参数,FATE计算,通信,存储引擎在部署时决定,更好的支持多方不同引擎设置;

■ 存储增强:新增LocalFS存储引擎,搭配Spark Local计算模式;

■ 仓库分离:1)新增FATE-Flow独立仓库,FATE-Flow代码从FATE主仓库剥离,增强产品迭代灵活性及扩展性;2)新增AnsibleFATE仓库,把FATE主仓库Ansible自动化部署部分独立管理。

https://github.com/FederatedAI/FATE

详细解读,可回顾FATE社区第14期圆桌会 | FATE V1.7内容介绍:点击此处

视频链接:

https://www.bilibili.com/video/BV1Br4y117Ss?spm_id_from=333.999.0.0

FATE技术架构

FATE 的底层是 Tensorflow / Pytorch(深度学习)、EggRoll /Spark(分布式计算框架)和多方联邦通信网络,上层为联邦安全协议,并在安全协议的基础上构建联邦学习算法库。围绕实际场景,FATE 在技术架构顶层构建了联邦区块链、联邦多云管理、联邦模型可视化平台、联邦建模 pipeline 调度、联邦在线推理等。

FATE 联邦算法组件已发展至 30 余个,实现工业界主流场景算法全覆盖和工业界主流多方安全计算协议全覆盖,涉及数据输入输出、纵向联邦统计、纵向联邦特征工程、纵向联邦学习算法、横向联邦学习算法、模型评估、安全计算等算法方案。

0 人点赞