Yam|训练2021年每个SOTA模型，他的「核武」策略意外收获Kaggle银牌模型|训练|reddit|Kaggle|

机器之心报道
编辑：杜伟

可谓是「无心插柳柳成荫」。

在 Kaggle 的世界，软件开发者、金融模式和行为研究公司 Deep trading 的创始人 Yam Peleg 称得上一位「大神」。目前，他在 Notebooks Grandmaster 中排名第 11 ，在 Discussion Grandmaster 中排名第 5 。
最近，他干的一件事在 reddit 上引发了网友热议：他训练了 2021 年的每一个 SOTA 模型，并在最近的一项 Kaggle 图像分类比赛中意外斩获了一枚银牌。这项 Kaggle 比赛名为「Pawpularity Contest」，这是一个典型的多模态回归问题，根据宠物图片来预测它们的可爱程度。

Yam|训练2021年每个SOTA模型，他的「核武」策略意外收获Kaggle银牌

文章图片

图源：https://www.kaggle.com/c/petfinder-pawpularity-score
他的思路是这样的：训练每个 SOTA 模型，使用 100 亿参数的集合的集合（ensemble of ensembles）来「核武攻击」（Nuke）Kaggle 比赛的排行榜。
对于这一策略（trick）的命名 ——「Nuke option」，网友表示非常喜欢，并将在其他比赛中用这一命名。

文章图片

另一位网友称赞道，「在 Kaggle 环境中完成所有事情真了不起。」

文章图片

方案解读
根据 Yam Peleg 的 Notebook 介绍，他训练的模型包括如下：

EfficientNet
NFNet
ViT
Swin Transformer
Deep Orthogonal Fusion of Local and Global Features（DOLG）
Hybrid Swin Transformer
External Attention Transformer（EAT）

他将自己的方案称为「Nuclear Protocols for Image Classification」，并表示只有用尽了其他方案才考虑使用。 pipeline 如下图所示：提出的方法是 7 个堆叠 pipeline（140 + 模型）的集合，并且每个 pipeline 都有一个在提取图像嵌入上训练的第二阶段（2nd）模型。

文章图片

【Yam|训练2021年每个SOTA模型，他的「核武」策略意外收获Kaggle银牌】实现步骤
训练这些 SOTA 模型之前， Yam Peleg 首先导入库：

文章图片

接着安装其他配置，完成数据填充（seeding）：

文章图片

文章图片

配置部分截图
然后是 TPU 配置、加载元数据、CV 的分层 K 折回归（Stratified KFold for Regression）、增强（Augmentations）等步骤。数据 pipeline 如下所示：

读取原始文件，然后解码到 tf.Tensor
按需求重新调整图像大小
将数据类型变为 float32
缓存数据以提升速度
使用增强来降低过拟合，并使模型更稳健
将数据分割为 batch

最后依次训练模型，并将 Notebook 提交至了 Pawpularity Contest 中，获得了一枚银牌。

文章图片

完整排行榜：https://www.kaggle.com/c/petfinder-pawpularity-score/leaderboard
参考链接：
https://www.kaggle.com/yamqwe/the-nuclear-option-train
https://www.reddit.com/r/MachineLearning/comments/s6spou/p_i_trained_every_single_sota_from_2021_and/