打破数据孤岛:联邦学习近期重要研究进展(13)

打破数据孤岛:联邦学习近期重要研究进展

图11/49

基于传统的训练和推理机制,经典联邦学习的全局模型训练结果可能会倾向于某些客户端上载的更新参数。本文针对这一问题提出了一种不可知的联邦学习框架 (Agnostic Federated Learning, AFL),在该框架中,全局模型针对由各个客户端分布聚合而成的任一目标分布进行优化。本文引入数据相关的 Rademacher 复杂度用于模型的目标学习,从而满足任务不可知的联邦学习要求。此外,本文还提出了一种快速随机优化算法,证明了该算法在假定凸损失函数和假设集情况下的收敛性。

学习框架介绍

1)损失函数

假设 X 表示输入空间,Y 表示输出空间同时 Y 是有限类集,本文以多类别分类问题为例讨论不可知联邦学习框架的构建,其分析结果可直接推广到其他机器学习问题中。h(x) 表示 x 属于某类别的概率分布,H 为 h 的分布集合。问题损失函数定义为:

打破数据孤岛:联邦学习近期重要研究进展

推荐阅读