打破数据孤岛:联邦学习近期重要研究进展( 七 )
客户端选择机制的目的是在每轮更新过程中尽可能多的收集有效客户端更新。本文提出的机制思想来源于 [2] 中,即「希望参与优化的客户端数量远大于每个客户端中的平均样本数」。根据这一标准,MEC 中央服务器选择能在指定截止时间内完成分发和计划更新上载任务的客户端,同时制定关于何时将模型的资源块(resource blocks,RBs)分配至选定的客户端的策略,从而避免蜂窝网络出现带宽拥塞的现象。本文假设各个客户端顺序启动和完成上载任务。
笔者观点:
文献 [2] 中首次提出「让训练数据分布在移动客户端设备中,通过聚合本地计算的更新来学习共享模型」的联邦学习概念。作者提出,区别于传统分布式优化问题,联邦学习有几个关键属性:1)客户端中 Non-IID 数据;2)各个客户端环境不平衡;3)大规模分布;4)有限通讯回合。关于第三点,本篇文章中作者理解为参与每一轮更新的客户端数量越多,就能在越短时间内得到全局模型。因此每轮 MEC 中央服务器都将全部能在截止时间内完成的客户端纳入到更新中。但事实上,本文后续实验中(表 1)发现,盲目增加每轮参与更新的客户端数量,会降低模型收敛速度。参与每轮通信的客户端数量与全局模型优化速度之间的关系是否并非简单的单调递增关系?
推荐阅读
- 捉迷藏|?LOL世界赛“含金量”数据出炉:EDG仅排第六,IG稳居榜首
- ag战队|AG超玩会的轮换就是花架子,一诺英雄达到十八位,打破单赛季纪录
- 碧蓝航线|碧蓝航线SR重巡福煦数据详解 期待越高失望越大 强度平平无奇
- kramer|国服极地大乱斗数据上线,来看看胜率榜符合你的预期吗?
- 孤岛惊魂6|英雄联盟世界赛参赛队分析!EDG战队!
- 米莱狄|峡谷数据榜:分均输出TOP5,干将莫邪只排第四,米莱狄至今被误解
- 育碧|“不患均而患不寡”,育碧给刺客信条和孤岛惊魂团队涨薪
- ai|S11AI预测离全对就差最后一场!EDG能否打破不败之身?
- |S11淘汰赛数据盘点:场均时长为33分 55个不同英雄登场
- 中单|2021年英雄联盟世界赛终于落下帷幕!!大数据统计二!!