打破数据孤岛:联邦学习近期重要研究进展(17)

上式将自然博弈论解释为两人博弈问题(minmax),其中整体目标为选择最大化目标函数的 lambda,而学习者的目标是找到最小化损失的 w,总体任务是找到这个问题的平衡点。解决 AFL 优化问题随机代码如下:

打破数据孤岛:联邦学习近期重要研究进展

图19/49

在每一步中算法计算一个关于 lambda 和 w 的随机梯度,并相应地更新模型。然后通过计算凸极小化得到 Lambda 的值从而将 lambda 投影到 Lambda。重复计算 T 次并返回权重的平均值。

实验分析

1)成人数据库

利用 UCI 机器学习库的人口普查数据集构建成人数据库,共 32561 个训练样本。根据是否获得博士学位,将训练样本划分为两个域,其中博士域包括 413 个样本,非博士域包含 32148 个样本。基于类别特征和 Adagrad 优化器训练得到 Logistic 回归模型。表 1 列出了平均运行 50 次以上的模型性能。使用 u^训练得到的 D_lambda 代表经典联邦学习方法的结果,而使用 L_D_lambda 训练得到的 D_lambda 表示 AFL 效果。在所有模型中,AFL 在最差的域内获得最高的准确度 (71.5%)。AFL 模型的测试准确度在各域上的平均值略低于经典的均衡化处理模型,但不可知论模型的偏差较小,在 D_lambda 上表现较好。在本文实验的两个域中,博士域更难预测。对于这个领域,领域不可知模型的性能接近于仅基于博士域数据的模型,优于经典均匀分布模型。

推荐阅读