打破数据孤岛:联邦学习近期重要研究进展(35)

图39/49

M 为私有化处理机制,是对于 delta_i 的无偏(私有)视角估计。考虑平均梯度映射:

其中的投影操作 proj 限制任何单个更新的贡献,向量 Z~N(0,sigma.^2)是高斯分布的且能提供集中的隐私保证,具体表示为 sigma.^2。本文提出的隐私机制主要应用是最小最大化速率最优的私有(分布式)统计学习场景。对于本地私有模型拟合,梯度或影响函数的大小估计非常具有挑战性,此外更新的规模也是至关重要的。通过私有化数据对 (U,R) 的方式传输随机映射 W:方向为 U=W/||W||_2、大小为 R=||W||_2。令 Z_1=M_1(U) 以及 Z_2=M_2(R) 为 W 的私有化形式,见图 1:

打破数据孤岛:联邦学习近期重要研究进展

图40/49

图 1. 数据 X 与私有对 (Z1,Z2) 之间的马尔可夫图形结构.

差分私有信道的基本组成特性保证了 M=(M1,M2) 是 (epsilon1+epsilon2)-本地差分私有的,这种机制保证差分私有算法的组隐私、后处理以及组合保护的好处,从而实现上面提到的重建保护。

推荐阅读