打破数据孤岛:联邦学习近期重要研究进展(11)

表 1. CIFAR-10 和 MNIST 的 IID 设置结果.

打破数据孤岛:联邦学习近期重要研究进展

图7/49

打破数据孤岛:联邦学习近期重要研究进展

图8/49

图 2. 不同截止时间 T_round 的对比实验结果.

图 2 中实验证明 T_round 的影响。上:精度曲线;左下:每轮选择的客户端数;右下:选择的客户端总数。阴影区域表示 10 次实验之间的性能标准差。由图 2 中实验可知,联邦学习中设置较长的截止时间 T_round 能够引入更多客户端,但是由于聚合步骤较少,能够带来的改进非常有限。相反的设置较短的截止时间 T_round,每轮有限的客户端数量会降低分类准确度。较好的选择 T_round 的方式是每轮动态的变化从而找到有效的客户端数量。这部分内容将是今后研究的重点。

b. Non-IID 设置下的实验结果见表 2 和图 3。在 Non-IID 设置下,FedCS 依然能获得较好的效果。当然,与之前文章 [2] 中的分析一致,Non-IID 数据的联邦学习性能会受到影响。为了更好地处理 Non-IID 数据,我们需要增加每轮选择的客户端数量或总轮数,但由于实验中施加的时间限制 T_round 和 T_final,这两种处理都很困难。有效应对 Non-IID 数据的一个办法是模型压缩技术,这可以增加在相同的约束条件下可以选择的客户端的数量。关于 Non-IID 数据的处理问题不是本文讨论的重点,详细内容可见文献 [3]。

推荐阅读