打破数据孤岛:联邦学习近期重要研究进展(29)

图36/49

图 4. 附加通信回合的联邦学习.

图 4 给出了一层和两层神经网络的结果。在两种实验数据情况下,每层都使用 100 个神经元。在保证足够通信回合的情况下,PFNM 的性能都优于聚合算法。此外,在所有的实验中,与联邦学习和 D-SGD 相比,PFNM 需要较少的通信回合就能达到给定的性能水平。

总结与分析

本文提出了一种利用单样本/少样本探索式学习的方法(PFNM),仅通过一次或少次通信回合构建全局模型,从而有效解决联邦学习中的通信问题。在适当的通信条件下,PFNM 效果优于使用神经网络的联邦学习的最新算法。在未来的工作中,计划探索更复杂的方式来组合本地网络,特别针对每个本地网络的训练样本都较少的情况提出有效解决方案。本文方法中使用的匹配方法是完全无监督的,结合某种形式的监督可能有助于进一步提高性能。最后,当前建模框架可以扩展到其他架构,如卷积神经网络(CNNS)和递归神经网络(RNNS)等,引入其他架构神经网络中的参数调整和设置将是今后工作的研究方向。

Protection Against Reconstruction and Its Applications in Private Federated Learning

推荐阅读