打破数据孤岛:联邦学习近期重要研究进展(33)

旁观者(或对手)具有先验知识 pi,已知随机映射机制 M:WZ, WZ=M(W)。f 为重建目标,L_Rec 为损失函数。估计值 v.^提供一个针对 L_Rec 的 (alpha,p,f) 重建破坏如下:

同时,如果对于任一估计 v.^则有:

上式适用于所有可能的机制 M 的观察值 z,因此需要对机制有一些严格的条件,不允许在差异性隐私之外放宽隐私限制条件。

3)重建保护

接下来可以为重建提供保护。如果对手掌握了 f(X) 的扩散先验知识,由于该先验知识并不能用于重建 f(X),因此对手即使在非常大的 epsilon 数据范围内,都不可能根据 X 的差异性私有视图重建 f(X)。本文给出了几个例子,提供了限制信息以防止重建的最佳实践建议,并对合理的先验信息给出了一些有效的启发式计算。包括:扩散先验与线性函数的重构、稀疏数据的重建保护等。

联邦学习应用

基于上文提到的风险优化目标函数,联邦学习的分布式学习过程(不考虑隐私性)重复如下:

推荐阅读