打破数据孤岛:联邦学习近期重要研究进展( 七 )

客户端选择机制的目的是在每轮更新过程中尽可能多的收集有效客户端更新。本文提出的机制思想来源于 [2] 中,即「希望参与优化的客户端数量远大于每个客户端中的平均样本数」。根据这一标准,MEC 中央服务器选择能在指定截止时间内完成分发和计划更新上载任务的客户端,同时制定关于何时将模型的资源块(resource blocks,RBs)分配至选定的客户端的策略,从而避免蜂窝网络出现带宽拥塞的现象。本文假设各个客户端顺序启动和完成上载任务。

笔者观点:

文献 [2] 中首次提出「让训练数据分布在移动客户端设备中,通过聚合本地计算的更新来学习共享模型」的联邦学习概念。作者提出,区别于传统分布式优化问题,联邦学习有几个关键属性:1)客户端中 Non-IID 数据;2)各个客户端环境不平衡;3)大规模分布;4)有限通讯回合。关于第三点,本篇文章中作者理解为参与每一轮更新的客户端数量越多,就能在越短时间内得到全局模型。因此每轮 MEC 中央服务器都将全部能在截止时间内完成的客户端纳入到更新中。但事实上,本文后续实验中(表 1)发现,盲目增加每轮参与更新的客户端数量,会降低模型收敛速度。参与每轮通信的客户端数量与全局模型优化速度之间的关系是否并非简单的单调递增关系?

推荐阅读