打破数据孤岛:联邦学习近期重要研究进展(14)

图12/49

L_D(h) 表示假设 h 相对于 X×Y 上分布 D 的期望损失。

考虑这样一个机器学习场景,学习者接收到 p 个样本 S1,...,Sp,其中样本 Sk 为从专门域或分布 Dk 提取的 IID 数据,(D_k)^表示样本 Sk 相关的经验分布。经典联邦学习的训练是在所有样本 Sk 的联合均匀分布情况下进行的,即

而本文提出的不可知联邦学习 AFL 框架,其目标分布表征为分布 Dk 的未知混合,其中各个混合项的权重为 lambda。因此,AFL 中的不可知损失函数为:

实际上,学习者只能通过有限的样本 Sk 来获取分布 Dk。因此,对于任何 lambda,上式中只能计算经验分布的 lambda-混合如下:

打破数据孤岛:联邦学习近期重要研究进展

图13/49

图 1: 未知混合分布 D_lambda.

由此,AFL 中的不可知经验损失函数定义为:

推荐阅读