打破数据孤岛：联邦学习近期重要研究进展(20)_机器之心原创作者：仵冀颖编辑：H4O随

Bayesian Nonparametric Federated Learning of Neural Networks

图22/49

本文提出了一种贝叶斯非参数的神经网络联邦学习框架。每个客户端基于本地数据计算神经网络参数构建本地模型，利用本文提出的联合概率神经匹配（Probabilistic Federated Neural Matching，PFNM）完成全局模型的构建。利用本文提出的推理方法，在没有额外监控、数据池等信息以及只执行一轮通信的情况下，能够生成效果更优的全局神经网络模型。

联合概率神经匹配 PFNM

本文首先介绍了如何将贝叶斯非参数机制应用于使用神经网络的联邦学习框架中。贝叶斯非参数机制的目标是识别 J-本地模型中与其他本地模型中的神经元相匹配的神经元子集。然后，将匹配的神经元组合后形成全局模型。

假设训练 J -多层感知器（MLP）j=1,...,J，每个感知器有一个隐藏层。令 V.^(0) 和 v.^(0) 分别表示隐藏层的权重及偏移,V.^(1) 和 v.^(1) 表示 softmax 层的权重和偏移。D 为数据维度，Lj 表示隐层的神经元数量，K 为类别数量。简单的神经网络结构为：