打破数据孤岛:联邦学习近期重要研究进展(18)

表 1. 训练模型在不同域内的测试准确度.

打破数据孤岛:联邦学习近期重要研究进展

图20/49

2)MNIST

MNIST 数据库包含 60000 个训练图像和 10000 个测试图像,以 28x28 个灰度像素强度阵列的方式存储,同时在 10 个类别中均匀分布。本文首先训练一个简单的逻辑回归分类器,观察到以下三个类别的分类性能最差:T 恤衫/上衣、套头衫和衬衫。接下来,提取了用这三个类别标记的数据子集,并将该子集分成三个域,每个域由一类衣服组成。然后,使用逻辑回归和 Adam 优化器训练针对这 3 个类别的分类器。实验结果见表 2。由于各个域分别给定了标签,在这个实验中,本文没有对比在特定域上训练的模型。在 3 个类别中,衬衫的分类难度最大。与基于均匀分布 u^训练的经典模型相比,AFL 可以提高衬衫类别的整体识别准确度。此外,不可知学习方案不仅改善了难度最大的域内的识别效果,而且具有更好的推广性,提高了平均测试准确度。AFL 模型在任何目标分布 D_lambda 上达到了约 74.5% 的准确度,而经典联邦学习的准确度约为 71.2%。

推荐阅读