打破数据孤岛:联邦学习近期重要研究进展(23)

考虑一种迭代优化方法,给定 B^j,找到相应的最优分配,然后随机选取一个新的 j,直到收敛。本文对上式进行了数学计算并用 Hungarian 算法进行求解。下图 1 中总结了整个单层推理过程。

打破数据孤岛:联邦学习近期重要研究进展

图25/49

图 1. 三个 MLPs 匹配的单层概率联邦神经匹配算法.

2)多层神经匹配

分析到目前为止,本文给出的模型可以处理任意宽度的单层神经网络,从理论上讲,该单层网络能够模拟逼近任何目标函数。下一步,通过定义从输出到输入(自上而下)的深度神经网络权值生成模型,本文将单层神经网络匹配扩展到对深度网络的匹配中。

令 C 表示多层网络结构中的隐层数量,L^c 表示第 c 层的神经元数量,L^(C+1)=K 为标签数量,L^0=D 为输入维度。在自上而下的方法中,全局原子不再是构成单个神经元隐层模型中的神经元的权重,而是来自神经元的输出权重的向量。

推荐阅读