打破数据孤岛:联邦学习近期重要研究进展( 十 )
3)全局模型:本文重点并不是讨论使用复杂深度学习模型在联邦学习中的有效性,因此选择经典卷积神经网络作为两个任务的全局机器学习模型。模型包括 6 个 3x3 的卷积层(32, 32, 64,64, 128, 128 个通道,每一个都由 Relu 和批处理归一化,并且每一个都跟随 2x2 个最大池化层),然后是 3 个全连接层(382 和 192 个单元具有 Relu 激活,另外 10 个单元为 softmax 激活)。全局模型更新过程中,小批量大小为 50,每轮周期为 5 次,随机梯度下降更新初始学习率为 0.25,学习率衰减为 0.99。每个客户端的计算能力由在更新全局模型过程中其一秒钟内能够处理的样本数据来表示,随机确定每个客户端的平均能力,范围从 10 到 100。
4)评价指标:本文将 FedCS 与经典联邦学习方法(FedLim)进行对比。评价指标包括达到所需精度的时间(ToA@x)、最后期限后的准确度(Accuracy)。
5)实验结果:
a. IID 设置下的实验结果见表 1。总体而言,就 ToA 而言,FedCS 在 CIFAR-10 和 Fashion-MNIST 任务方面效果均优于 FedLim。此外在最后期限之后,FedCS 比 FedLim 在 CIFAR-10 中获得了更高的分类准确度。这些结果表明,在训练阶段 FedCS 比 FedLim 的效率有所提高,原因是 FedCS 能够将更多的客户端纳入到每轮训练中。此外,该实验还证实了吞吐量和计算能力的不确定性对 FedCS 的性能影响不大(由参数 r 表征)。
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- ag战队|AG超玩会的轮换就是花架子,一诺英雄达到十八位,打破单赛季纪录
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?
- 孤岛惊魂6|英雄联盟世界赛参赛队分析!EDG战队!
- 米莱狄|峡谷数据榜:分均输出TOP5,干将莫邪只排第四,米莱狄至今被误解
- 育碧|“不患均而患不寡”,育碧给刺客信条和孤岛惊魂团队涨薪
- ai|S11AI预测离全对就差最后一场!EDG能否打破不败之身?
- |S11淘汰赛数据盘点:场均时长为33分 55个不同英雄登场
- 中单|2021年英雄联盟世界赛终于落下帷幕!!大数据统计二!!