打破数据孤岛:联邦学习近期重要研究进展(36)

影响联邦学习效率的一个关键指标是模型的更新 delta 的精度,通常该值为随机梯度 delta l(theta;x) 的计算结果。本文专门考虑了两种情况下更新准确度的情况,包括:欧式距离情况(对输入单位向量 u 进行重采样,从 L_2 阴影球形中均匀选择),以及在高维估计优化问题中常见的非欧氏距离的情况(私有化向量到 L_Infinity)。欧氏距离和高维的私有化过程分别见算法 1 和算法 2。

打破数据孤岛:联邦学习近期重要研究进展

图41/49

打破数据孤岛:联邦学习近期重要研究进展

图42/49

本文对无偏向量释放处理机制的最后一个操作是将 r∈[0,r_max] 的情况释放扩展为 r

打破数据孤岛:联邦学习近期重要研究进展

图43/49

推荐阅读