打破数据孤岛:联邦学习近期重要研究进展(26)

首先使用全局模型的子集初始化本地模型,在多轮通信回合中保证本地模型大小 Lj 不变。本地模型更新后,再次应用 PFNM 方法匹配生成新的全局模型。值得注意的是,全局模型的尺寸在不同的通信回合中是不断变化的,特别的,我们希望随着本地模型的改进这个尺寸能够逐渐变小。

实验分析

数据库:MNIST、CIFAR-10。对两个数据库都执行相同的操作,随机将数据库分成 j 批,分区方法有两种:(a)同质分区,其中每个批次中数据类别在 K 个类中的比例大致相等;(b)异构分区,批次大小和数据类比例不平衡。

实验目的:本文给出实验证明 PFNM 可以将多个独立于不同批次数据上训练的本地神经网络聚合成一个高效的、中等规模的全局神经网络,且仅需执行一个通信回合。当允许额外的通信时,其性能还将提升。

1)单轮通信学习性能对比

仅通过一轮通信学习生成全局模型,这与真实应用场景是吻合的,在真实场景中,一些设备的数据可能不能持续存在,此时仅能基于之前训练得到的本地模型来生成全局模型。

推荐阅读