打破数据孤岛:联邦学习近期重要研究进展(27)

对比算法:神经网络、聚合算法、经典联邦学习 [2]、K-means 聚类。

打破数据孤岛:联邦学习近期重要研究进展

图29/49

打破数据孤岛:联邦学习近期重要研究进展

图30/49

打破数据孤岛:联邦学习近期重要研究进展

图31/49

打破数据孤岛:联邦学习近期重要研究进展

图32/49

图 3. 单通信联邦学习.

图 3 给出了不同批次的单隐层神经网络结果。在异构分区的实验条件下,我们观察到局部 NNS 和 K-means 的性能明显下降,而 PFNM 能够保持其良好的性能。在讨论聚合性能的问题上,PFNM 与本地模型和联邦学习方法相比,改进也很明显。但是它的性能略逊于聚合方法,特别是针对 CIFAR-10 中较深的网络结构。此外我们也能看到,因为经典联邦学习方法的思路就是通过多轮通信构建全局模型,因此仅执行一轮通信回合,联邦学习方法的效果最差。

推荐阅读