打破数据孤岛：联邦学习近期重要研究进展(21)_机器之心原创作者：仵冀颖编辑：H4O随

在给定权重和偏移的前提下学习全局神经网络。首先，神经网络中 MLP 隐层的神经元排列具备置换不变性。因此，不能够将权重当作矩阵、偏差当作向量，而是要将它们分别看作向量和标量的无序集合。第二，神经网络中的隐藏层通常被视为特征抽取器，每个 (（v_jl）.^(0),（v-tilde_jl）.^(0)）参数化对应神经元的特征提取器。由于 J-MLP 基于相同的一般数据类型（不一定是同质的）训练，假设它们至少共享一些用于相同目的的特征抽取器。然而，由于前面讨论的置换不变性问题，由第 j 个 MLP 的 l 标注的特征提取器不太可能对应到不同 MLP 的相同索引的特征抽取器。

由上述分析，为了将联合概率神经匹配方法应用于联邦学习，在构建全局特征提取器（神经元）的过程中，必须对 MLP 集合的特征抽取器进行分组和组合的过程建模。

1）单层神经匹配

本文提出的联邦学习框架关键组成部分是引入了一个基于 Beta-Bernoulli 过程的 MLP 权重参数模型 [4]。首先，从一个 Beta 过程中提取一组全局原子（隐层神经元），其中包含一个基本度量 h 和质量参数 gamma_0：