打破数据孤岛:联邦学习近期重要研究进展(15)

2)学习界限

本文基于加权 Rademacher 复杂度计算学习界限:

打破数据孤岛:联邦学习近期重要研究进展

图14/49

其中 Sk 表示大小为 m_k 的样本,sigma 为 Rademacher 变量集合,这些变量均为 {-1,+1} 范围内的均匀分布随机变量。假设损失函数以 M>0 为界。对于任何大于 0 的 delta,在样本 Sk~Dk.^(m_k) 中以最小(1-delta)的概率抽样,具有下列不等式:

由该定理可知,不可知损失值具有上界:

打破数据孤岛:联邦学习近期重要研究进展

图15/49

对于取值范围为 的损失函数,下列加权 Rademacher 复杂度的上界成立:

打破数据孤岛:联邦学习近期重要研究进展

推荐阅读