打破数据孤岛:联邦学习近期重要研究进展(26)
首先使用全局模型的子集初始化本地模型,在多轮通信回合中保证本地模型大小 Lj 不变。本地模型更新后,再次应用 PFNM 方法匹配生成新的全局模型。值得注意的是,全局模型的尺寸在不同的通信回合中是不断变化的,特别的,我们希望随着本地模型的改进这个尺寸能够逐渐变小。
实验分析
数据库:MNIST、CIFAR-10。对两个数据库都执行相同的操作,随机将数据库分成 j 批,分区方法有两种:(a)同质分区,其中每个批次中数据类别在 K 个类中的比例大致相等;(b)异构分区,批次大小和数据类比例不平衡。
实验目的:本文给出实验证明 PFNM 可以将多个独立于不同批次数据上训练的本地神经网络聚合成一个高效的、中等规模的全局神经网络,且仅需执行一个通信回合。当允许额外的通信时,其性能还将提升。
1)单轮通信学习性能对比
仅通过一轮通信学习生成全局模型,这与真实应用场景是吻合的,在真实场景中,一些设备的数据可能不能持续存在,此时仅能基于之前训练得到的本地模型来生成全局模型。
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- ag战队|AG超玩会的轮换就是花架子,一诺英雄达到十八位,打破单赛季纪录
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?
- 孤岛惊魂6|英雄联盟世界赛参赛队分析!EDG战队!
- 米莱狄|峡谷数据榜:分均输出TOP5,干将莫邪只排第四,米莱狄至今被误解
- 育碧|“不患均而患不寡”,育碧给刺客信条和孤岛惊魂团队涨薪
- ai|S11AI预测离全对就差最后一场!EDG能否打破不败之身?
- |S11淘汰赛数据盘点:场均时长为33分 55个不同英雄登场
- 中单|2021年英雄联盟世界赛终于落下帷幕!!大数据统计二!!