打破数据孤岛:联邦学习近期重要研究进展(16)

图16/49

对于本文的损失函数和不可知经验损失函数,假设损失函数以 M 为界,对于任何 epsilon>=0 和 delta>0,概率至少为 1-delta,下述不等式适用于所有的类别概率 h:

3)算法介绍

由上面的数学分析,本文提出的 AFL 算法表示为:

当损失函数为凸函数,可以使用投影梯度下降或其它通用镜像下降算法来解决优化问题。优化过程主要涉及两组参数:假设概率分布 h 和混合权重 lambda。将损失函数定义为:

打破数据孤岛:联邦学习近期重要研究进展

图17/49

其中有

打破数据孤岛:联邦学习近期重要研究进展

图18/49

为了简化讨论,本文使用 AFK 的非正则化版本,即由变量集 w 给出的以下问题:

推荐阅读