打破数据孤岛:联邦学习近期重要研究进展( 十 )

3)全局模型:本文重点并不是讨论使用复杂深度学习模型在联邦学习中的有效性,因此选择经典卷积神经网络作为两个任务的全局机器学习模型。模型包括 6 个 3x3 的卷积层(32, 32, 64,64, 128, 128 个通道,每一个都由 Relu 和批处理归一化,并且每一个都跟随 2x2 个最大池化层),然后是 3 个全连接层(382 和 192 个单元具有 Relu 激活,另外 10 个单元为 softmax 激活)。全局模型更新过程中,小批量大小为 50,每轮周期为 5 次,随机梯度下降更新初始学习率为 0.25,学习率衰减为 0.99。每个客户端的计算能力由在更新全局模型过程中其一秒钟内能够处理的样本数据来表示,随机确定每个客户端的平均能力,范围从 10 到 100。

4)评价指标:本文将 FedCS 与经典联邦学习方法(FedLim)进行对比。评价指标包括达到所需精度的时间(ToA@x)、最后期限后的准确度(Accuracy)。

5)实验结果:

a. IID 设置下的实验结果见表 1。总体而言,就 ToA 而言,FedCS 在 CIFAR-10 和 Fashion-MNIST 任务方面效果均优于 FedLim。此外在最后期限之后,FedCS 比 FedLim 在 CIFAR-10 中获得了更高的分类准确度。这些结果表明,在训练阶段 FedCS 比 FedLim 的效率有所提高,原因是 FedCS 能够将更多的客户端纳入到每轮训练中。此外,该实验还证实了吞吐量和计算能力的不确定性对 FedCS 的性能影响不大(由参数 r 表征)。

推荐阅读