打破数据孤岛:联邦学习近期重要研究进展(31)

满足上式表示即使对手知道初始数据是 x 或 x' 中的一个,也无法在给定结果 Z 的情况下区分它们。在本文考虑的大规模机器学习场景中,对手并不能掌握关于 X 的先验信息,因此,本文提出的本地隐私保护方法仅需做到在对手先验知识的某些假设下防止重构(x 的函数),即可显著改进模型拟合效果。

给定参数空间和损失函数,目标是解决风险优化问题如下:

本文通过解决随机最小化问题的方式优化上式,同时提供本地隐私个人数据 Xi 并提供差异性隐私的可靠保证,进而提出了一种本地数学隐私模型拟合方法。

模型分析

1)隐私类型及扩展

在分布式模型匹配和联合学习场景中,主要考虑两个潜在的攻击者:一是旁观者,他可以观察到模型的所有更新和单个设备的通信情况;第二种是外部对手,他可以观察到最终模型或其它关于可能参与数据收集和模型拟合的个人信息。对于前者,主要是阻止其成功的重建模型,对于后者则需要在本地化或集中式差异化私有策略中使用较小的隐私参数。

推荐阅读