打破数据孤岛:联邦学习近期重要研究进展(34)

a. 中央服务器的全局参数 theta 广播到一个包含 b 个客户端的子集中,客户端本地样本为 Xi,i=1,...b;

b. 每个客户端计算模型参数更新;

c. 中央服务器汇聚更新的参数形成全局更新参数,并更新全局模型。

在本文提出的考虑隐私安全的架构中,第 2、3 步需要增加额外的安全保护措施:在客户端本地执行的步骤 2 中,应用本地隐私保护机制保护本地数据 Xi(参照上文提到的重建破坏保护);针对在中央服务器中执行的汇聚步骤 3,采用差异性隐私机制保证模型参数的通信过程是全局私有的。整个反馈环路提供了有效的隐私保护,用户的本地数据不会传输到中央服务器,而集中式隐私保护能够保证过程和最终参数都不存在敏感性披露的风险。

针对初始化本地参数 theta_0,本地运行模型计算后得到更新后的参数 theta_i,则私有化处理本地差异:delta_i:=(1/eta)(theta_i-theta_0),delta_i 为随机梯度映射,其中的按步长的缩放实现一致的预期更新量。执行下面的处理:

打破数据孤岛:联邦学习近期重要研究进展

推荐阅读